bin/osv/expression.py

   1 #!/usr/bin/env python
   2 # -*- encoding: utf-8 -*-
   3
   4 from tools import flatten
   5
   6 class expression(object):
   7     """
   8     parse a domain expression
   9     examples:
  10
  11     >>> e = [('foo', '=', 'bar')]
  12     >>> expression(e).parse().to_sql()
  13     'foo = bar'
  14     >>> e = [('id', 'in', [1,2,3])]
  15     >>> expression(e).parse().to_sql()
  16     'id in (1, 2, 3)'
  17     >>> e = [('field', '=', 'value'), ('field', '<>', 'value')]
  18     >>> expression(e).parse().to_sql()
  19     '( field = value AND field <> value )'
  20     >>> e = [('&', ('field', '<', 'value'), ('field', '>', 'value'))]
  21     >>> expression(e).parse().to_sql()
  22     '( field < value AND field > value )'
  23     >>> e = [('|', ('field', '=', 'value'), ('field', '=', 'value'))]
  24     >>> expression(e).parse().to_sql()
  25     '( field = value OR field = value )'
  26     >>> e = [('&', ('field1', '=', 'value'), ('field2', '=', 'value'), ('|', ('field3', '<>', 'value'), ('field4', '=', 'value')))]
  27     >>> expression(e).parse().to_sql()
  28     '( field1 = value AND field2 = value AND ( field3 <> value OR field4 = value ) )'
  29     >>> e = [('&', ('|', ('a', '=', '1'), ('b', '=', '2')), ('|', ('c', '=', '3'), ('d', '=', '4')))]
  30     >>> expression(e).parse().to_sql()
  31     '( ( a = 1 OR b = 2 ) AND ( c = 3 OR d = 4 ) )'
  32     >>> e = [('|', (('a', '=', '1'), ('b', '=', '2')), (('c', '=', '3'), ('d', '=', '4')))]
  33     >>> expression(e).parse().to_sql()
  34     '( ( a = 1 AND b = 2 ) OR ( c = 3 AND d = 4 ) )'
  35     >>> expression(e).parse().get_tables()
  36     []
  37     >>> expression('fail').parse().to_sql()
  38     Traceback (most recent call last):
  39     ...
  40     ValueError: Bad expression: 'fail'
  41     >>> e = [('fail', 'is', 'True')]
  42     >>> expression(e).parse().to_sql()
  43     Traceback (most recent call last):
  44     ...
  45     ValueError: Bad expression: ('&', ('fail', 'is', 'True'))
  46     """
  47
  48     def _is_operator(self, element):
  49         return isinstance(element, str) \
  50            and element in ['&','|']
  51
  52     def _is_leaf(self, element):
  53         return isinstance(element, tuple) \
  54            and len(element) == 3 \
  55            and element[1] in ('=', '!=', '<>', '<=', '<', '>', '>=', '=like', 'like', 'not like', 'ilike', 'not ilike', 'in', 'not in', 'child_of')
  56
  57     def _is_expression(self, element):
  58         return isinstance(element, tuple) \
  59            and len(element) > 2 \
  60            and self._is_operator(element[0])
  61
  62
  63     def __execute_recursive_in(self, cr, s, f, w, ids):
  64         res = []
  65         for i in range(0, len(ids), cr.IN_MAX):
  66             subids = ids[i:i+cr.IN_MAX]
  67             cr.execute('SELECT "%s"'    \
  68                        '  FROM "%s"'    \
  69                        ' WHERE "%s" in (%s)' % (s, f, w, ','.join(['%d']*len(subids))),
  70                        subids)
  71             res.extend([r[0] for r in cr.fetchall()])
  72         return res
  73
  74
  75     def __init__(self, exp):
  76         if exp and isinstance(exp, tuple):
  77             if not self._is_leaf(exp) and not self._is_operator(exp[0]):
  78                 exp = list(exp)
  79         if exp and isinstance(exp, list):
  80             if len(exp) == 1 and self._is_leaf(exp[0]):
  81                 exp = exp[0]
  82             else:
  83                 if not self._is_operator(exp[0][0]):
  84                     exp.insert(0, '&')
  85                     exp = tuple(exp)
  86                 else:
  87                     exp = exp[0]
  88
  89         self.__exp = exp
  90         self.__operator = '&'
  91         self.__children = []
  92
  93         self.__tables = []
  94         self.__joins = []
  95         self.__table = None
  96
  97         self.__left, self.__right = None, None
  98         if self._is_leaf(self.__exp):
  99             self.__left, self.__operator, self.__right = self.__exp
 100             if isinstance(self.__right, list):
 101                 self.__right = tuple(self.__right)
 102         elif exp and not self._is_expression(self.__exp):
 103             raise ValueError, 'Bad expression: %r' % (self.__exp,)
 104
 105     def parse(self, cr, uid, table, context):
 106
 107         def _rec_get(ids, table, parent):
 108             if not ids:
 109                 return []
 110             ids2 = table.search(cr, uid, [(parent, 'in', ids)], context=context)
 111             return ids + _rec_get(ids2, table, parent)
 112
 113         if not self.__exp:
 114             return self
 115
 116         if self._is_leaf(self.__exp):
 117             self.__table = table
 118             self.__tables.append(self.__table._table)
 119             if self.__left in table._inherit_fields:
 120                 self.__table = table.pool.get(table._inherit_fields[self.__left][0])
 121                 if self.__table._table not in self.__tables:
 122                     self.__tables.append(self.__table._table)
 123                     self.__joins.append('%s.%s' % (table._table, table._inherits[self.__table._name]))
 124             fargs = self.__left.split('.', 1)
 125             field = self.__table._columns.get(fargs[0], False)
 126             if not field:
 127                 if self.__left == 'id' and self.__operator == 'child_of':
 128                     self.__right += _rec_get(self.__right, self.__table, self.__table._parent_name)
 129                     self.__operator = 'in'
 130                 return self
 131             if len(fargs) > 1:
 132                 if field._type == 'many2one':
 133                     self.__left = fargs[0]
 134                     self.__right = table.pool.get(field._obj).search(cr, uid, [(fargs[1], self.__operator, self.__right)], context=context)
 135                     self.__operator = 'in'
 136                 return self
 137
 138             field_obj = table.pool.get(field._obj)
 139             if field._properties:
 140                 # this is a function field
 141                 if not field._fnct_search and not field.store:
 142                     # the function field doesn't provide a search function and doesn't store values in the database, so we must ignore it : we generate a dummy leaf
 143                     self.__left, self__operator, self.__right = 1, '=', 1
 144                     self.__exp = '' # force to generate an empty sql expression
 145                 else:
 146                     # we need to replace this leaf to a '&' expression
 147                     # we clone ourself...
 148                     import copy
 149                     newexp = copy.copy(self)
 150                     self.__table = None
 151                     self.__tables, self.__joins = [], []
 152                     self.__children = []
 153
 154                     if field._fnct_search:
 155                         subexp = field.search(cr, uid, table, self.__left, [self.__exp])
 156                         self.__children.append(expression(subexp).parse(cr, uid, table, context))
 157                     if field.store:
 158                         self.__children.append(newexp)
 159
 160                     self.__left, self.__right = None, None
 161                     self.__operator = '&'
 162                     self.__exp = ('&',) + tuple( [tuple(e.__exp) for e in self.__children] )
 163
 164             elif field._type == 'one2many':
 165                 if isinstance(self.__right, basestring):
 166                     ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 167                 else:
 168                     ids2 = self.__right
 169                 if not ids2:
 170                     self.__left, self.__operator, self.__right = 'id', '=', '0'
 171                 else:
 172                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._fields_id, field_obj._table, 'id', ids2)
 173
 174             elif field._type == 'many2many':
 175                 #FIXME
 176                 if self.__operator == 'child_of':
 177                     if isinstance(self.__right, basestring):
 178                         ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], 'like')]
 179                     else:
 180                         ids2 = self.__right
 181
 182                     def _rec_convert(ids):
 183                         if field_obj == table:
 184                             return ids
 185                         return self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, ids)
 186
 187                     self.__left, self.__operator, self.__right = 'id', 'in', _rec_convert(ids2 + _rec_get(ids2, field_obj, self.__table._parent_name))
 188                 else:
 189                     if isinstance(self.__right, basestring):
 190                         res_ids = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 191                     else:
 192                         res_ids = self.__right
 193                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, res_ids) or [0]
 194             elif field._type == 'many2one':
 195                 if self.__operator == 'child_of':
 196                     if isinstance(self.__right, basestring):
 197                         ids2 = [x[0] for x in field_obj.search_name(cr, uid, self.__right, [], 'like')]
 198                     else:
 199                         ids2 = list(self.__right)
 200
 201                     self.__operator = 'in'
 202                     if field._obj <> self.__table._name:
 203                         self.__right = ids2 + _rec_get(ids2, field_obj, self.__table._parent_name)
 204                     else:
 205                         self.__right = ids2 + _rec_get(ids2, self.__table, self.__left)
 206                         self.__left = 'id'
 207                 else:
 208                     if isinstance(self.__right, basestring):
 209                         res_ids = field_obj.name_search(cr, uid, self.__right, [], self.__operator)
 210                         self.__operator = 'in'
 211                         self.__right = map(lambda x: x[0], res_ids)
 212             else:
 213                 # other field type
 214                 if field.translate:
 215                     if self.__operator in ('like', 'ilike', 'not like', 'not ilike'):
 216                         self.__right = '%%%s%%' % self.__right
 217
 218                     query1 = '( SELECT res_id'          \
 219                              '    FROM ir_translation'  \
 220                              '   WHERE name = %s'       \
 221                              '     AND lang = %s'       \
 222                              '     AND type = %s'       \
 223                              '     AND value ' + self.__operator + ' %s'    \
 224                              ') UNION ('                \
 225                              '  SELECT id'              \
 226                              '    FROM "' + self.__table._table + '"'       \
 227                              '   WHERE "' + self.__left + '" ' + self.__operator + ' %s' \
 228                              ')'
 229                     query2 = [self.__table._name + ',' + self.__left,
 230                               context.get('lang', False) or 'en_US',
 231                               'model',
 232                               self.__right,
 233                               self.__right,
 234                              ]
 235
 236                     self.__left = 'id'
 237                     self.__operator = 'inselect'
 238                     self.__right = (query1, query2,)
 239
 240
 241         elif self._is_expression(self.__exp):
 242             self.__operator = self.__exp[0]
 243
 244             for element in self.__exp[1:]:
 245                 if not self._is_operator(element):
 246                     self.__children.append(expression(element).parse(cr, uid, table, context))
 247         return self
 248
 249     def to_sql(self):
 250         if not self.__exp:
 251             return ('', [])
 252         elif self._is_leaf(self.__exp):
 253             if self.__operator == 'inselect':
 254                 query = '(%s.%s in (%s))' % (self.__table._table, self.__left, self.__right[0])
 255                 params = self.__right[1]
 256             elif self.__operator in ['in', 'not in']:
 257                 params = self.__right[:]
 258                 len_before = len(params)
 259                 for i in range(len_before)[::-1]:
 260                     if params[i] == False:
 261                         del params[i]
 262
 263                 len_after = len(params)
 264                 check_nulls = len_after <> len_before
 265                 query = '(1=0)'
 266
 267                 if len_after:
 268                     if self.__left == 'id':
 269                         instr = ','.join(['%d'] * len_after)
 270                     else:
 271                         instr = ','.join([self.__table._columns[self.__left]._symbol_set[0]] * len_after)
 272
 273                     query = '(%s.%s %s (%s))' % (self.__table._table, self.__left, self.__operator, instr)
 274
 275                 if check_nulls:
 276                     query = '(%s OR %s IS NULL)' % (query, self.__left)
 277             else:
 278                 params = []
 279                 if self.__right is False and self.__operator == '=':
 280                     query = '%s IS NULL' % self.__left
 281                 elif self.__right is False and self.__operator == '<>':
 282                     query = '%s IS NOT NULL' % self.__left
 283                 else:
 284                     if self.__left == 'id':
 285                         query = '%s.id %s %%s' % (self.__table._table, self.__operator)
 286                         params = self.__right
 287                     else:
 288                         like = self.__operator in ('like', 'ilike', 'not like', 'not ilike')
 289
 290                         op = self.__operator == '=like' and 'like' or self.__operator
 291                         if self.__left in self.__table._columns:
 292                             format = like and '%s' or self.__table._columns[self.__left]._symbol_set[0]
 293                             query = '(%s.%s %s %s)' % (self.__table._table, self.__left, op, format)
 294                         else:
 295                             query = "(%s.%s %s '%s')" % (self.__table._table, self.__left, op, self.__right)
 296
 297                         add_null = False
 298                         if like:
 299                             if isinstance(self.__right, str):
 300                                 str_utf8 = self.__right
 301                             elif isinstance(self.__right, unicode):
 302                                 str_utf8 = self.__right.encode('utf-8')
 303                             else:
 304                                 str_utf8 = str(self.__right)
 305                             params = '%%%s%%' % str_utf8
 306                             add_null = not str_utf8
 307                         elif self.__left in self.__table._columns:
 308                             params = self.__table._columns[self.__left]._symbol_set[1](self.__right)
 309
 310                         if add_null:
 311                             query = '(%s OR %s IS NULL)' % (query, self.__left)
 312
 313             joins = ' AND '.join(map(lambda j: '%s.id = %s' % (self.__table._table, j), self.__joins))
 314             if joins:
 315                 query = '(%s AND (%s))' % (joins, query)
 316             if isinstance(params, basestring):
 317                 params = [params]
 318             return (query, params)
 319
 320         else:
 321             children = [child.to_sql() for child in self.__children]
 322             params = flatten([child[1] for child in children])
 323             query = "( %s )" % (" %s " % {'&' : 'AND', '|' : 'OR' }[self.__operator]).join([child[0] for child in children if child[0]])
 324             return (query, params)
 325
 326     def __get_tables(self):
 327         return self.__tables + [child.__get_tables() for child in self.__children]
 328
 329     def get_tables(self):
 330         return [ '"%s"' % t for t in set(flatten(self.__get_tables()))]
 331
 332     #def
 333
 334 if __name__ == '__main__':
 335     pass
 336     #import doctest
 337     #doctest.testmod()
 338
 339 # vim:expandtab:smartindent:tabstop=4:softtabstop=4:shiftwidth=4:
 340