bin/osv/expression.py

   1 #!/usr/bin/env python
   2 # -*- encoding: utf-8 -*-
   3
   4 from tools import flatten
   5
   6 class expression(object):
   7     """
   8     parse a domain expression
   9     examples:
  10
  11     >>> e = [('foo', '=', 'bar')]
  12     >>> expression(e).parse().to_sql()
  13     'foo = bar'
  14     >>> e = [('id', 'in', [1,2,3])]
  15     >>> expression(e).parse().to_sql()
  16     'id in (1, 2, 3)'
  17     >>> e = [('field', '=', 'value'), ('field', '<>', 'value')]
  18     >>> expression(e).parse().to_sql()
  19     '( field = value AND field <> value )'
  20     >>> e = [('&', ('field', '<', 'value'), ('field', '>', 'value'))]
  21     >>> expression(e).parse().to_sql()
  22     '( field < value AND field > value )'
  23     >>> e = [('|', ('field', '=', 'value'), ('field', '=', 'value'))]
  24     >>> expression(e).parse().to_sql()
  25     '( field = value OR field = value )'
  26     >>> e = [('&', ('field1', '=', 'value'), ('field2', '=', 'value'), ('|', ('field3', '<>', 'value'), ('field4', '=', 'value')))]
  27     >>> expression(e).parse().to_sql()
  28     '( field1 = value AND field2 = value AND ( field3 <> value OR field4 = value ) )'
  29     >>> e = [('&', ('|', ('a', '=', '1'), ('b', '=', '2')), ('|', ('c', '=', '3'), ('d', '=', '4')))]
  30     >>> expression(e).parse().to_sql()
  31     '( ( a = 1 OR b = 2 ) AND ( c = 3 OR d = 4 ) )'
  32     >>> e = [('|', (('a', '=', '1'), ('b', '=', '2')), (('c', '=', '3'), ('d', '=', '4')))]
  33     >>> expression(e).parse().to_sql()
  34     '( ( a = 1 AND b = 2 ) OR ( c = 3 AND d = 4 ) )'
  35     >>> expression(e).parse().get_tables()
  36     []
  37     >>> expression('fail').parse().to_sql()
  38     Traceback (most recent call last):
  39     ...
  40     ValueError: Bad expression: 'fail'
  41     >>> e = [('fail', 'is', 'True')]
  42     >>> expression(e).parse().to_sql()
  43     Traceback (most recent call last):
  44     ...
  45     ValueError: Bad expression: ('&', ('fail', 'is', 'True'))
  46     """
  47
  48     def _is_operator(self, element):
  49         return isinstance(element, str) \
  50            and element in ['&','|']
  51
  52     def _is_leaf(self, element):
  53         return isinstance(element, tuple) \
  54            and len(element) == 3 \
  55            and element[1] in ('=', '<>', '<=', '<', '>', '>=', '=like', 'like', 'not like', 'ilike', 'not ilike', 'in', 'not in', 'child_of')
  56
  57     def _is_expression(self, element):
  58         return isinstance(element, tuple) \
  59            and len(element) > 2 \
  60            and self._is_operator(element[0])
  61
  62
  63     def __execute_recursive_in(self, cr, s, f, w, ids):
  64         ID_MAX = 1000
  65         res = []
  66         for i in range(0, len(ids), ID_MAX):
  67             subids = ids[i:i+ID_MAX]
  68             cr.execute('SELECT "%s"'    \
  69                        '  FROM "%s"'    \
  70                        ' WHERE "%s" in (%s)' % (s, f, w, ','.join(['%d']*len(subids))),
  71                        subids)
  72             res.extend([r[0] for r in cr.fetchall()])
  73         return res
  74
  75
  76     def __init__(self, exp):
  77         if exp and isinstance(exp, tuple):
  78             if not self._is_leaf(exp) and not self._is_operator(exp[0]):
  79                 exp = list(exp)
  80         if exp and isinstance(exp, list):
  81             if len(exp) == 1 and self._is_leaf(exp[0]):
  82                 exp = exp[0]
  83             else:
  84                 if not self._is_operator(exp[0][0]):
  85                     exp.insert(0, '&')
  86                     exp = tuple(exp)
  87                 else:
  88                     exp = exp[0]
  89
  90         self.__exp = exp
  91         self.__operator = '&'
  92         self.__children = []
  93
  94         self.__tables = []
  95         self.__joins = []
  96         self.__table = None
  97
  98         self.__left, self.__right = None, None
  99         if self._is_leaf(self.__exp):
 100             self.__left, self.__operator, self.__right = self.__exp
 101             if isinstance(self.__right, list):
 102                 self.__right = tuple(self.__right)
 103         elif exp and not self._is_expression(self.__exp):
 104             raise ValueError, 'Bad expression: %r' % (self.__exp,)
 105
 106     def parse(self, cr, uid, table, context):
 107
 108         def _rec_get(ids, table, parent):
 109             if not ids:
 110                 return []
 111             ids2 = table.search(cr, uid, [(parent, 'in', ids)], context=context)
 112             return ids + _rec_get(ids2, table, parent)
 113
 114         if not self.__exp:
 115             return self
 116
 117         if self._is_leaf(self.__exp):
 118             self.__table = table
 119             self.__tables.append(self.__table._table)
 120             if self.__left in table._inherit_fields:
 121                 self.__table = table.pool.get(table._inherit_fields[self.__left][0])
 122                 if self.__table._table not in self.__tables:
 123                     self.__tables.append(self.__table._table)
 124                     self.__joins.append('%s.%s' % (table._table, table._inherits[self.__table._name]))
 125             fargs = self.__left.split('.', 1)
 126             field = self.__table._columns.get(fargs[0], False)
 127             if not field:
 128                 if self.__left == 'id' and self.__operator == 'child_of':
 129                     self.__right += _rec_get(self.__right, self.__table, self.__table._parent_name)
 130                     self.__operator = 'in'
 131                 return self
 132             if len(fargs) > 1:
 133                 if field._type == 'many2one':
 134                     self.__left = fargs[0]
 135                     self.__right = table.pool.get(field._obj).search(cr, uid, [(fargs[1], self.__operator, self.__right)], context=context)
 136                     self.__operator = 'in'
 137                 return self
 138
 139             field_obj = table.pool.get(field._obj)
 140             if field._properties:
 141                 # this is a function field
 142                 if not field._fnct_search and not field.store:
 143                     # the function field doesn't provide a search function and doesn't store values in the database, so we must ignore it : we generate a dummy leaf
 144                     self.__left, self__operator, self.__right = 1, '=', 1
 145                     self.__exp = '' # force to generate an empty sql expression
 146                 else:
 147                     # we need to replace this leaf to a '&' expression
 148                     # we clone ourself...
 149                     import copy
 150                     newexp = copy.copy(self)
 151                     self.__table = None
 152                     self.__tables, self.__joins = [], []
 153                     self.__children = []
 154
 155                     if field._fnct_search:
 156                         subexp = field.search(cr, uid, table, self.__left, [self.__exp])
 157                         self.__children.append(expression(subexp).parse(cr, uid, table, context))
 158                     if field.store:
 159                         self.__children.append(newexp)
 160
 161                     self.__left, self.__right = None, None
 162                     self.__operator = '&'
 163                     self.__exp = ('&',) + tuple( [tuple(e.__exp) for e in self.__children] )
 164
 165             elif field._type == 'one2many':
 166                 if isinstance(self.__right, basestring):
 167                     ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 168                 else:
 169                     ids2 = self.__right
 170                 if not ids2:
 171                     self.__left, self.__operator, self.__right = 'id', '=', '0'
 172                 else:
 173                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._fields_id, field_obj._table, 'id', ids2)
 174
 175             elif field._type == 'many2many':
 176                 #FIXME
 177                 if self.__operator == 'child_of':
 178                     if isinstance(self.__right, basestring):
 179                         ids2 = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], 'like')]
 180                     else:
 181                         ids2 = self.__right
 182
 183                     def _rec_convert(ids):
 184                         if field_obj == table:
 185                             return ids
 186                         return self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, ids)
 187
 188                     self.__left, self.__operator, self.__right = 'id', 'in', _rec_convert(ids2 + _rec_get(ids2, field_obj, self.__table._parent_name))
 189                 else:
 190                     if isinstance(self.__right, basestring):
 191                         res_ids = [x[0] for x in field_obj.name_search(cr, uid, self.__right, [], self.__operator)]
 192                     else:
 193                         res_ids = self.__right
 194                     self.__left, self.__operator, self.__right = 'id', 'in', self.__execute_recursive_in(cr, field._id1, field._rel, field._id2, res_ids) or [0]
 195             elif field._type == 'many2one':
 196                 if self.__operator == 'child_of':
 197                     if isinstance(self.__right, basestring):
 198                         ids2 = [x[0] for x in field_obj.search_name(cr, uid, self.__right, [], 'like')]
 199                     else:
 200                         ids2 = list(self.__right)
 201
 202                     self.__operator = 'in'
 203                     if field._obj <> self.__table._name:
 204                         self.__right = ids2 + _rec_get(ids2, field_obj, self.__table._parent_name)
 205                     else:
 206                         self.__right = ids2 + _rec_get(ids2, self.__table, self.__left)
 207                         self.__left = 'id'
 208                 else:
 209                     if isinstance(self.__right, basestring):
 210                         res_ids = field_obj.name_search(cr, uid, self.__right, [], self.__operator)
 211                         self.__operator = 'in'
 212                         self.__right = map(lambda x: x[0], res_ids)
 213             else:
 214                 # other field type
 215                 if field.translate:
 216                     if self.__operator in ('like', 'ilike', 'not like', 'not ilike'):
 217                         self.__right = '%%%s%%' % self.__right
 218
 219                     query1 = '( SELECT res_id'          \
 220                              '    FROM ir_translation'  \
 221                              '   WHERE name = %s'       \
 222                              '     AND lang = %s'       \
 223                              '     AND type = %s'       \
 224                              '     AND value ' + self.__operator + ' %s'    \
 225                              ') UNION ('                \
 226                              '  SELECT id'              \
 227                              '    FROM "' + self.__table._table + '"'       \
 228                              '   WHERE "' + self.__left + '" ' + self.__operator + ' %s' \
 229                              ')'
 230                     query2 = [self.__table._name + ',' + self.__left,
 231                               context.get('lang', False) or 'en_US',
 232                               'model',
 233                               self.__right,
 234                               self.__right,
 235                              ]
 236
 237                     self.__left = 'id'
 238                     self.__operator = 'inselect'
 239                     self.__right = (query1, query2,)
 240
 241
 242         elif self._is_expression(self.__exp):
 243             self.__operator = self.__exp[0]
 244
 245             for element in self.__exp[1:]:
 246                 if not self._is_operator(element):
 247                     self.__children.append(expression(element).parse(cr, uid, table, context))
 248         return self
 249
 250     def to_sql(self):
 251         if not self.__exp:
 252             return ('', [])
 253         elif self._is_leaf(self.__exp):
 254             if self.__operator == 'inselect':
 255                 query = '(%s.%s in (%s))' % (self.__table._table, self.__left, self.__right[0])
 256                 params = self.__right[1]
 257             elif self.__operator in ['in', 'not in']:
 258                 params = self.__right[:]
 259                 len_before = len(params)
 260                 for i in range(len_before)[::-1]:
 261                     if params[i] == False:
 262                         del params[i]
 263
 264                 len_after = len(params)
 265                 check_nulls = len_after <> len_before
 266                 query = '(1=0)'
 267
 268                 if len_after:
 269                     if self.__left == 'id':
 270                         instr = ','.join(['%d'] * len_after)
 271                     else:
 272                         instr = ','.join([self.__table._columns[self.__left]._symbol_set[0]] * len_after)
 273
 274                     query = '(%s.%s %s (%s))' % (self.__table._table, self.__left, self.__operator, instr)
 275
 276                 if check_nulls:
 277                     query = '(%s OR %s IS NULL)' % (query, self.__left)
 278             else:
 279                 params = []
 280                 if self.__right is False and self.__operator == '=':
 281                     query = '%s IS NULL' % self.__left
 282                 elif self.__right is False and self.__operator == '<>':
 283                     query = '%s IS NOT NULL' % self.__left
 284                 else:
 285                     if self.__left == 'id':
 286                         query = '%s.id %s %%s' % (self.__table._table, self.__operator)
 287                         params = self.__right
 288                     else:
 289                         like = self.__operator in ('like', 'ilike', 'not like', 'not ilike')
 290
 291                         op = self.__operator == '=like' and 'like' or self.__operator
 292                         if self.__left in self.__table._columns:
 293                             format = like and '%s' or self.__table._columns[self.__left]._symbol_set[0]
 294                             query = '(%s.%s %s %s)' % (self.__table._table, self.__left, op, format)
 295                         else:
 296                             query = "(%s.%s %s '%s')" % (self.__table._table, self.__left, op, self.__right)
 297
 298                         add_null = False
 299                         if like:
 300                             if isinstance(self.__right, str):
 301                                 str_utf8 = self.__right
 302                             elif isinstance(self.__right, unicode):
 303                                 str_utf8 = self.__right.encode('utf-8')
 304                             else:
 305                                 str_utf8 = str(self.__right)
 306                             params = '%%%s%%' % str_utf8
 307                             add_null = not str_utf8
 308                         elif self.__left in self.__table._columns:
 309                             params = self.__table._columns[self.__left]._symbol_set[1](self.__right)
 310
 311                         if add_null:
 312                             query = '(%s OR %s IS NULL)' % (query, self.__left)
 313
 314             joins = ' AND '.join(map(lambda j: '%s.id = %s' % (self.__table._table, j), self.__joins))
 315             if joins:
 316                 query = '(%s AND (%s))' % (joins, query)
 317             if isinstance(params, basestring):
 318                 params = [params]
 319             return (query, params)
 320
 321         else:
 322             children = [child.to_sql() for child in self.__children]
 323             params = flatten([child[1] for child in children])
 324             query = "( %s )" % (" %s " % {'&' : 'AND', '|' : 'OR' }[self.__operator]).join([child[0] for child in children if child[0]])
 325             return (query, params)
 326
 327     def __get_tables(self):
 328         return self.__tables + [child.__get_tables() for child in self.__children]
 329
 330     def get_tables(self):
 331         return [ '"%s"' % t for t in set(flatten(self.__get_tables()))]
 332
 333     #def
 334
 335 if __name__ == '__main__':
 336     pass
 337     #import doctest
 338     #doctest.testmod()
 339
 340 # vim:expandtab:smartindent:tabstop=4:softtabstop=4:shiftwidth=4:
 341