bin/osv/expression.py

   1 #!/usr/bin/env python
   2 # -*- encoding: utf-8 -*-
   3
   4 from tools import flatten
   5
   6 class expression(object):
   7     """
   8     parse a domain expression
   9     examples:
  10
  11     >>> e = [('foo', '=', 'bar')]
  12     >>> expression(e).parse().to_sql()
  13     'foo = bar'
  14     >>> e = [('id', 'in', [1,2,3])]
  15     >>> expression(e).parse().to_sql()
  16     'id in (1, 2, 3)'
  17     >>> e = [('field', '=', 'value'), ('field', '<>', 'value')]
  18     >>> expression(e).parse().to_sql()
  19     '( field = value AND field <> value )'
  20     >>> e = [('&', ('field', '<', 'value'), ('field', '>', 'value'))]
  21     >>> expression(e).parse().to_sql()
  22     '( field < value AND field > value )'
  23     >>> e = [('|', ('field', '=', 'value'), ('field', '=', 'value'))]
  24     >>> expression(e).parse().to_sql()
  25     '( field = value OR field = value )'
  26     >>> e = [('&', ('field1', '=', 'value'), ('field2', '=', 'value'), ('|', ('field3', '<>', 'value'), ('field4', '=', 'value')))]
  27     >>> expression(e).parse().to_sql()
  28     '( field1 = value AND field2 = value AND ( field3 <> value OR field4 = value ) )'
  29     >>> e = [('&', ('|', ('a', '=', '1'), ('b', '=', '2')), ('|', ('c', '=', '3'), ('d', '=', '4')))]
  30     >>> expression(e).parse().to_sql()
  31     '( ( a = 1 OR b = 2 ) AND ( c = 3 OR d = 4 ) )'
  32     >>> e = [('|', (('a', '=', '1'), ('b', '=', '2')), (('c', '=', '3'), ('d', '=', '4')))]
  33     >>> expression(e).parse().to_sql()
  34     '( ( a = 1 AND b = 2 ) OR ( c = 3 AND d = 4 ) )'
  35     >>> expression(e).parse().get_tables()
  36     []
  37     >>> expression('fail').parse().to_sql()
  38     Traceback (most recent call last):
  39     ...
  40     ValueError: Bad expression: 'fail'
  41     >>> e = [('fail', 'is', 'True')]
  42     >>> expression(e).parse().to_sql()
  43     Traceback (most recent call last):
  44     ...
  45     ValueError: Bad expression: ('&', ('fail', 'is', 'True'))
  46     """
  47
  48     def _is_operator(self, element):
  49         return isinstance(element, str) \
  50            and element in ['&','|']
  51
  52     def _is_leaf(self, element):
  53         return isinstance(element, tuple) \
  54            and len(element) == 3 \
  55            and element[1] in ('=', '!=', '<>', '<=', '<', '>', '>=', '=like', 'like', 'not like', 'ilike', 'not ilike', 'in', 'not in', 'child_of')
  56
  57     def _is_expression(self, element):
  58         return isinstance(element, tuple) \
  59            and len(element) > 2 \
  60            and self._is_operator(element[0])
  61
  62
  63     def __execute_recursive_in(self, cr, s, f, w, ids):
  64         res = []
  65         for i in range(0, len(ids), cr.IN_MAX):
  66             subids = ids[i:i+cr.IN_MAX]
  67             cr.execute('SELECT "%s"'    \
  68                        '  FROM "%s"'    \
  69                        ' WHERE "%s" in (%s)' % (s, f, w, ','.join(['%d']*len(subids))),
  70                        subids)
  71             res.extend([r[0] for r in cr.fetchall()])
  72         return res
  73
  74
  75     def __init__(self, exp):
  76         if exp and isinstance(exp, tuple):
  77             if not self._is_leaf(exp) and not self._is_operator(exp[0]):
  78                 exp = list(exp)
  79         if exp and isinstance(exp, list):
  80             if len(exp) == 1 and self._is_leaf(exp[0]):
  81                 exp = exp[0]
  82             else:
  83                 if not self._is_operator(exp[0][0]):
  84                     if isinstance(exp[0],list):
  85                         exp=tuple(exp[0])
  86                     else:
  87                         exp.insert(0, '&')
  88                         exp = tuple(exp)
  89                 else:
  90                     exp = exp[0]
  91
  92         self.__exp = exp
  93         self.__operator = '&'
  94         self.__children = []
  95
  96         self.__tables = []
  97         self.__joins = []
  98         self.__table = None
  99
 100         self.__left, self.__right = None, None
 101         if self._is_leaf(self.__exp):
 102             self.__left, self.__operator, self.__right = self.__exp
 103             if isinstance(self.__right, list):
 104                 self.__right = tuple(self.__right)
 105         elif exp and not self._is_expression(self.__exp):
 106             raise ValueError, 'Bad expression: %r' % (self.__exp,)
 107
 108     def parse(self, cr, uid, table, context):
 109
 110         def _rec_get(ids, table, parent):
 111             if not ids:
 112                 return []
 113             ids2 = table.search(cr, uid, [(parent, 'in', ids)], context=context)
 114             return ids + _rec_get(ids2, table, parent)
 115
 116         if not self.__exp:
 117             return self
 118
 119         if self._is_leaf(self.__exp):
 120             self.__table = table
 121             self.__tables.append(self.__table._table)
 122             if self.__left in table._inherit_fields:
 123                 self.__table = table.pool.get(table._inherit_fields[self.__left][0])
 124                 if self.__table._table not in self.__tables:
 125                     self.__tables.append(self.__table._table)
 126                     self.__joins.append('%s.%s' % (table._table, table._inherits[self.__table._name]))
 127             fargs = self.__left.split('.', 1)
 128             field = self.__table._columns.get(fargs[0], False)
 129             if not field:
 130                 if self.__left == 'id' and self.__operator == 'child_of':
 131                     self.__right += _rec_get(self.__right, self.__table, self.__table._parent_name)
 132                     self.__operator = 'in'
 133                 return self
 134             if len(fargs) > 1:
 135                 if field._type == 'many2one':
 136                     self.__left = fargs[0]
 137                     self.__right = table.pool.get(field._obj).search(cr, uid, [(fargs[1], self.__operator, self.__right)], context=context)
 138                     self.__operator = 'in'
 139                 return self
 140
 141             field_obj = table.pool.get(field._obj)
 142             if field._properties:
 143                 # this is a function field
 144                 if not field._fnct_search and not field.store:
 145                     # the function field doesn't provide a search function and doesn't store values in the database, so we must ignore it : we generate a dummy leaf
 146                     self.__left, self.__operator, self.__right = 1, '=', 1
 147                     self.__exp = '' # force to generate an empty sql expression
 148                 else:
 149                     # we need to replace this leaf to a '&' expression
 150                     # we clone ourself...
 151                     import copy
 152                     newexp = copy.copy(self)
 153                     self.__table = None
 154                     self.__tables, self.__joins = [], []
 155                     self.__children = []
 156
 157                     if field._fnct_search:
 158                         subexp = field.search(cr, uid, table, self.__left, [self.__exp])
 159                         self.__children.append(expression(subexp).parse(cr, uid, table, context))
 160                     if field.store:
 161                         self.__children.append(newexp)
 162
 163                     self.__left, self.__right = None, None
 164                     self.__operator = '&'
 165                     self.__exp = ('&',) + tuple( [tuple(e.__exp) for e in self.__children] )
 166
 167             elif field._type == 'one2many':
 168                 if isinstance(self.__right, basestring):
 169                     ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 170                 else:
 171                     ids2 = self.__right
 172                 if not ids2:
 173                     self.__left, self.__operator, self.__right = 'id', '=', '0'
 174                 else:
 175                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._fields_id, field_obj._table, 'id', ids2)
 176
 177             elif field._type == 'many2many':
 178                 #FIXME
 179                 if self.__operator == 'child_of':
 180                     if isinstance(self.__right, basestring):
 181                         ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], 'like')]
 182                     else:
 183                         ids2 = self.__right
 184
 185                     def _rec_convert(ids):
 186                         if field_obj == table:
 187                             return ids
 188                         return self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, ids)
 189
 190                     self.__left, self.__operator, self.__right = 'id', 'in', _rec_convert(ids2 + _rec_get(ids2, field_obj, self.__table._parent_name))
 191                 else:
 192                     if isinstance(self.__right, basestring):
 193                         res_ids = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 194                     else:
 195                         res_ids = self.__right
 196                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, res_ids) or [0]
 197             elif field._type == 'many2one':
 198                 if self.__operator == 'child_of':
 199                     if isinstance(self.__right, basestring):
 200                         ids2 = [x[0] for x in field_obj.search_name(cr, uid, self.__right, [], 'like')]
 201                     else:
 202                         ids2 = list(self.__right)
 203
 204                     self.__operator = 'in'
 205                     if field._obj <> self.__table._name:
 206                         self.__right = ids2 + _rec_get(ids2, field_obj, self.__table._parent_name)
 207                     else:
 208                         self.__right = ids2 + _rec_get(ids2, self.__table, self.__left)
 209                         self.__left = 'id'
 210                 else:
 211                     if isinstance(self.__right, basestring):
 212                         res_ids = field_obj.name_search(cr, uid, self.__right, [], self.__operator)
 213                         self.__operator = 'in'
 214                         self.__right = map(lambda x: x[0], res_ids)
 215             else:
 216                 # other field type
 217                 if field.translate:
 218                     if self.__operator in ('like', 'ilike', 'not like', 'not ilike'):
 219                         self.__right = '%%%s%%' % self.__right
 220
 221                     query1 = '( SELECT res_id'          \
 222                              '    FROM ir_translation'  \
 223                              '   WHERE name = %s'       \
 224                              '     AND lang = %s'       \
 225                              '     AND type = %s'       \
 226                              '     AND value ' + self.__operator + ' %s'    \
 227                              ') UNION ('                \
 228                              '  SELECT id'              \
 229                              '    FROM "' + self.__table._table + '"'       \
 230                              '   WHERE "' + self.__left + '" ' + self.__operator + ' %s' \
 231                              ')'
 232                     query2 = [self.__table._name + ',' + self.__left,
 233                               context.get('lang', False) or 'en_US',
 234                               'model',
 235                               self.__right,
 236                               self.__right,
 237                              ]
 238
 239                     self.__left = 'id'
 240                     self.__operator = 'inselect'
 241                     self.__right = (query1, query2,)
 242
 243
 244         elif self._is_expression(self.__exp):
 245             self.__operator = self.__exp[0]
 246
 247             for element in self.__exp[1:]:
 248                 if not self._is_operator(element):
 249                     self.__children.append(expression(element).parse(cr, uid, table, context))
 250         return self
 251
 252     def to_sql(self):
 253         if not self.__exp:
 254             return ('', [])
 255         elif self._is_leaf(self.__exp):
 256             if self.__operator == 'inselect':
 257                 query = '(%s.%s in (%s))' % (self.__table._table, self.__left, self.__right[0])
 258                 params = self.__right[1]
 259             elif self.__operator in ['in', 'not in']:
 260                 params = self.__right[:]
 261                 len_before = len(params)
 262                 for i in range(len_before)[::-1]:
 263                     if params[i] == False:
 264                         del params[i]
 265
 266                 len_after = len(params)
 267                 check_nulls = len_after <> len_before
 268                 query = '(1=0)'
 269
 270                 if len_after:
 271                     if self.__left == 'id':
 272                         instr = ','.join(['%d'] * len_after)
 273                     else:
 274                         instr = ','.join([self.__table._columns[self.__left]._symbol_set[0]] * len_after)
 275
 276                     query = '(%s.%s %s (%s))' % (self.__table._table, self.__left, self.__operator, instr)
 277
 278                 if check_nulls:
 279                     query = '(%s OR %s IS NULL)' % (query, self.__left)
 280             else:
 281                 params = []
 282                 if self.__right is False and self.__operator == '=':
 283                     query = '%s IS NULL' % self.__left
 284                 elif self.__right is False and self.__operator == '<>':
 285                     query = '%s IS NOT NULL' % self.__left
 286                 else:
 287                     if self.__left == 'id':
 288                         query = '%s.id %s %%s' % (self.__table._table, self.__operator)
 289                         params = self.__right
 290                     else:
 291                         like = self.__operator in ('like', 'ilike', 'not like', 'not ilike')
 292
 293                         op = self.__operator == '=like' and 'like' or self.__operator
 294                         if self.__left in self.__table._columns:
 295                             format = like and '%s' or self.__table._columns[self.__left]._symbol_set[0]
 296                             query = '(%s.%s %s %s)' % (self.__table._table, self.__left, op, format)
 297                         else:
 298                             query = "(%s.%s %s '%s')" % (self.__table._table, self.__left, op, self.__right)
 299
 300                         add_null = False
 301                         if like:
 302                             if isinstance(self.__right, str):
 303                                 str_utf8 = self.__right
 304                             elif isinstance(self.__right, unicode):
 305                                 str_utf8 = self.__right.encode('utf-8')
 306                             else:
 307                                 str_utf8 = str(self.__right)
 308                             params = '%%%s%%' % str_utf8
 309                             add_null = not str_utf8
 310                         elif self.__left in self.__table._columns:
 311                             params = self.__table._columns[self.__left]._symbol_set[1](self.__right)
 312
 313                         if add_null:
 314                             query = '(%s OR %s IS NULL)' % (query, self.__left)
 315
 316             joins = ' AND '.join(map(lambda j: '%s.id = %s' % (self.__table._table, j), self.__joins))
 317             if joins:
 318                 query = '(%s AND (%s))' % (joins, query)
 319             if isinstance(params, basestring):
 320                 params = [params]
 321             return (query, params)
 322
 323         else:
 324             children = [child.to_sql() for child in self.__children]
 325             params = flatten([child[1] for child in children])
 326             query = "( %s )" % (" %s " % {'&' : 'AND', '|' : 'OR' }[self.__operator]).join([child[0] for child in children if child[0]])
 327             return (query, params)
 328
 329     def __get_tables(self):
 330         return self.__tables + [child.__get_tables() for child in self.__children]
 331
 332     def get_tables(self):
 333         return [ '"%s"' % t for t in set(flatten(self.__get_tables()))]
 334
 335     #def
 336
 337 if __name__ == '__main__':
 338     pass
 339     #import doctest
 340     #doctest.testmod()
 341
 342 # vim:expandtab:smartindent:tabstop=4:softtabstop=4:shiftwidth=4:
 343