addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 from openerp import tools
  24
  25 from email.header import decode_header
  26 from openerp import SUPERUSER_ID
  27 from openerp.osv import osv, orm, fields
  28 from openerp.tools import html_email_clean
  29 from openerp.tools.translate import _
  30
  31 _logger = logging.getLogger(__name__)
  32
  33 try:
  34     from mako.template import Template as MakoTemplate
  35 except ImportError:
  36     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  37
  38
  39 """ Some tools for parsing / creating email fields """
  40 def decode(text):
  41     """Returns unicode() string conversion of the the given encoded smtp header text"""
  42     if text:
  43         text = decode_header(text.replace('\r', ''))
  44         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  45
  46
  47 class mail_message(osv.Model):
  48     """ Messages model: system notification (replacing res.log notifications),
  49         comments (OpenChatter discussion) and incoming emails. """
  50     _name = 'mail.message'
  51     _description = 'Message'
  52     _inherit = ['ir.needaction_mixin']
  53     _order = 'id desc'
  54     _rec_name = 'record_name'
  55
  56     _message_read_limit = 30
  57     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  58         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  59     _message_record_name_length = 18
  60     _message_read_more_limit = 1024
  61
  62     def default_get(self, cr, uid, fields, context=None):
  63         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  64         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  65             context = dict(context, default_type=None)
  66         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  67
  68     def _shorten_name(self, name):
  69         if len(name) <= (self._message_record_name_length + 3):
  70             return name
  71         return name[:self._message_record_name_length] + '...'
  72
  73     def _get_record_name(self, cr, uid, ids, name, arg, context=None):
  74         """ Return the related document name, using name_get. It is done using
  75             SUPERUSER_ID, to be sure to have the record name correctly stored. """
  76         # TDE note: regroup by model/ids, to have less queries to perform
  77         result = dict.fromkeys(ids, False)
  78         for message in self.read(cr, uid, ids, ['model', 'res_id'], context=context):
  79             if not message.get('model') or not message.get('res_id') or not self.pool.get(message['model']):
  80                 continue
  81             result[message['id']] = self.pool.get(message['model']).name_get(cr, SUPERUSER_ID, [message['res_id']], context=context)[0][1]
  82         return result
  83
  84     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  85         """ Compute if the message is unread by the current user. """
  86         res = dict((id, False) for id in ids)
  87         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
  88         notif_obj = self.pool.get('mail.notification')
  89         notif_ids = notif_obj.search(cr, uid, [
  90             ('partner_id', 'in', [partner_id]),
  91             ('message_id', 'in', ids),
  92             ('read', '=', False),
  93         ], context=context)
  94         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
  95             res[notif.message_id.id] = True
  96         return res
  97
  98     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
  99         """ Search for messages to read by the current user. Condition is
 100             inversed because we search unread message on a read column. """
 101         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 102
 103     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 104         """ Compute if the message is unread by the current user. """
 105         res = dict((id, False) for id in ids)
 106         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 107         notif_obj = self.pool.get('mail.notification')
 108         notif_ids = notif_obj.search(cr, uid, [
 109             ('partner_id', 'in', [partner_id]),
 110             ('message_id', 'in', ids),
 111             ('starred', '=', True),
 112         ], context=context)
 113         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 114             res[notif.message_id.id] = True
 115         return res
 116
 117     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 118         """ Search for messages to read by the current user. Condition is
 119             inversed because we search unread message on a read column. """
 120         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 121
 122     def name_get(self, cr, uid, ids, context=None):
 123         # name_get may receive int id instead of an id list
 124         if isinstance(ids, (int, long)):
 125             ids = [ids]
 126         res = []
 127         for message in self.browse(cr, uid, ids, context=context):
 128             name = '%s: %s' % (message.subject or '', message.body or '')
 129             res.append((message.id, self._shorten_name(name.lstrip(' :'))))
 130         return res
 131
 132     _columns = {
 133         'type': fields.selection([
 134                         ('email', 'Email'),
 135                         ('comment', 'Comment'),
 136                         ('notification', 'System notification'),
 137                         ], 'Type',
 138             help="Message type: email for email message, notification for system "\
 139                  "message, comment for other messages such as user replies"),
 140         'email_from': fields.char('From',
 141             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 142         'author_id': fields.many2one('res.partner', 'Author', select=1,
 143             ondelete='set null',
 144             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 145         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 146         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 147             'message_id', 'partner_id', 'Notified partners',
 148             help='Partners that have a notification pushing this message in their mailboxes'),
 149         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 150             'message_id', 'attachment_id', 'Attachments'),
 151         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 152             ondelete='set null', help="Initial thread message."),
 153         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 154         'model': fields.char('Related Document Model', size=128, select=1),
 155         'res_id': fields.integer('Related Document ID', select=1),
 156         'record_name': fields.function(_get_record_name, type='char',
 157             store=True, string='Message Record Name',
 158             help="Name get of the related document."),
 159         'notification_ids': fields.one2many('mail.notification', 'message_id',
 160             string='Notifications', auto_join=True,
 161             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 162         'subject': fields.char('Subject'),
 163         'date': fields.datetime('Date'),
 164         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 165         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 166         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 167             type='boolean', string='To read',
 168             help='Current user has an unread notification linked to this message'),
 169         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 170             type='boolean', string='Starred',
 171             help='Current user has a starred notification linked to this message'),
 172         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 173             ondelete='set null', select=1,),
 174         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 175             'message_id', 'user_id', string='Votes',
 176             help='Users that voted for this message'),
 177     }
 178
 179     def _needaction_domain_get(self, cr, uid, context=None):
 180         return [('to_read', '=', True)]
 181
 182     def _get_default_author(self, cr, uid, context=None):
 183         return self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 184
 185     _defaults = {
 186         'type': 'email',
 187         'date': lambda *a: fields.datetime.now(),
 188         'author_id': lambda self, cr, uid, ctx={}: self._get_default_author(cr, uid, ctx),
 189         'body': '',
 190     }
 191
 192     #------------------------------------------------------
 193     # Vote/Like
 194     #------------------------------------------------------
 195
 196     def vote_toggle(self, cr, uid, ids, context=None):
 197         ''' Toggles vote. Performed using read to avoid access rights issues.
 198             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 199         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 200             new_has_voted = not (uid in message.get('vote_user_ids'))
 201             if new_has_voted:
 202                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 203             else:
 204                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 205         return new_has_voted or False
 206
 207     #------------------------------------------------------
 208     # download an attachment
 209     #------------------------------------------------------
 210
 211     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 212         """ Return the content of linked attachments. """
 213         message = self.browse(cr, uid, id_message, context=context)
 214         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 215             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 216             if attachment.datas and attachment.datas_fname:
 217                 return {
 218                     'base64': attachment.datas,
 219                     'filename': attachment.datas_fname,
 220                 }
 221         return False
 222
 223     #------------------------------------------------------
 224     # Notification API
 225     #------------------------------------------------------
 226
 227     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 228         """ Set messages as (un)read. Technically, the notifications related
 229             to uid are set to (un)read. If for some msg_ids there are missing
 230             notifications (i.e. due to load more or thread parent fetching),
 231             they are created.
 232
 233             :param bool read: set notification as (un)read
 234             :param bool create_missing: create notifications for missing entries
 235                 (i.e. when acting on displayed messages not notified)
 236         """
 237         notification_obj = self.pool.get('mail.notification')
 238         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 239         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 240         if not create_missing:
 241             domain += [('read', '=', not read)]
 242         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 243
 244         # all message have notifications: already set them as (un)read
 245         if len(notif_ids) == len(msg_ids) or not create_missing:
 246             return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 247
 248         # some messages do not have notifications: find which one, create notification, update read status
 249         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 250         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 251         for msg_id in to_create_msg_ids:
 252             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 253         return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 254
 255     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 256         """ Set messages as (un)starred. Technically, the notifications related
 257             to uid are set to (un)starred.
 258
 259             :param bool starred: set notification as (un)starred
 260             :param bool create_missing: create notifications for missing entries
 261                 (i.e. when acting on displayed messages not notified)
 262         """
 263         notification_obj = self.pool.get('mail.notification')
 264         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 265         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 266         if not create_missing:
 267             domain += [('starred', '=', not starred)]
 268         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 269
 270         # all message have notifications: already set them as (un)starred
 271         if len(notif_ids) == len(msg_ids) or not create_missing:
 272             notification_obj.write(cr, uid, notif_ids, {'starred': starred}, context=context)
 273             return starred
 274
 275         # some messages do not have notifications: find which one, create notification, update starred status
 276         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 277         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 278         for msg_id in to_create_msg_ids:
 279             notification_obj.create(cr, uid, {'partner_id': user_pid, 'starred': starred, 'message_id': msg_id}, context=context)
 280         notification_obj.write(cr, uid, notif_ids, {'starred': starred}, context=context)
 281         return starred
 282
 283     #------------------------------------------------------
 284     # Message loading for web interface
 285     #------------------------------------------------------
 286
 287     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 288         """ Post-processing on values given by message_read. This method will
 289             handle partners in batch to avoid doing numerous queries.
 290
 291             :param list messages: list of message, as get_dict result
 292             :param dict message_tree: {[msg.id]: msg browse record}
 293         """
 294         res_partner_obj = self.pool.get('res.partner')
 295         ir_attachment_obj = self.pool.get('ir.attachment')
 296         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 297
 298         # 1. Aggregate partners (author_id and partner_ids) and attachments
 299         partner_ids = set()
 300         attachment_ids = set()
 301         for key, message in message_tree.iteritems():
 302             if message.author_id:
 303                 partner_ids |= set([message.author_id.id])
 304             if message.notified_partner_ids:
 305                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 306             if message.attachment_ids:
 307                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 308         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 309         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 310         partner_tree = dict((partner[0], partner) for partner in partners)
 311
 312         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 313         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name'], context=context)
 314         attachments_tree = dict((attachment['id'], {'id': attachment['id'], 'filename': attachment['datas_fname'], 'name': attachment['name']}) for attachment in attachments)
 315
 316         # 3. Update message dictionaries
 317         for message_dict in messages:
 318             message_id = message_dict.get('id')
 319             message = message_tree[message_id]
 320             if message.author_id:
 321                 author = partner_tree[message.author_id.id]
 322             else:
 323                 author = (0, message.email_from)
 324             partner_ids = []
 325             for partner in message.notified_partner_ids:
 326                 if partner.id in partner_tree:
 327                     partner_ids.append(partner_tree[partner.id])
 328             attachment_ids = []
 329             for attachment in message.attachment_ids:
 330                 if attachment.id in attachments_tree:
 331                     attachment_ids.append(attachments_tree[attachment.id])
 332             message_dict.update({
 333                 'is_author': pid == author[0],
 334                 'author_id': author,
 335                 'partner_ids': partner_ids,
 336                 'attachment_ids': attachment_ids,
 337                 })
 338         return True
 339
 340     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 341         """ Return a dict representation of the message. This representation is
 342             used in the JS client code, to display the messages. Partners and
 343             attachments related stuff will be done in post-processing in batch.
 344
 345             :param dict message: mail.message browse record
 346         """
 347         # private message: no model, no res_id
 348         is_private = False
 349         if not message.model or not message.res_id:
 350             is_private = True
 351         # votes and favorites: res.users ids, no prefetching should be done
 352         vote_nb = len(message.vote_user_ids)
 353         has_voted = uid in [user.id for user in message.vote_user_ids]
 354
 355         try:
 356             body_html = html_email_clean(message.body)
 357         except Exception:
 358             body_html = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 359             _logger.exception(Exception)
 360
 361         return {'id': message.id,
 362                 'type': message.type,
 363                 'body': body_html,
 364                 'model': message.model,
 365                 'res_id': message.res_id,
 366                 'record_name': message.record_name,
 367                 'subject': message.subject,
 368                 'date': message.date,
 369                 'to_read': message.to_read,
 370                 'parent_id': parent_id,
 371                 'is_private': is_private,
 372                 'author_id': False,
 373                 'is_author': False,
 374                 'partner_ids': [],
 375                 'vote_nb': vote_nb,
 376                 'has_voted': has_voted,
 377                 'is_favorite': message.starred,
 378                 'attachment_ids': [],
 379             }
 380
 381     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 382             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 383         """ Create expandables for message_read, to load new messages.
 384             1. get the expandable for new threads
 385                 if display is flat (thread_level == 0):
 386                     fetch message_ids < min(already displayed ids), because we
 387                     want a flat display, ordered by id
 388                 else:
 389                     fetch message_ids that are not childs of already displayed
 390                     messages
 391             2. get the expandables for new messages inside threads if display
 392                is not flat
 393                 for each thread header, search for its childs
 394                     for each hole in the child list based on message displayed,
 395                     create an expandable
 396
 397             :param list messages: list of message structure for the Chatter
 398                 widget to which expandables are added
 399             :param dict message_tree: dict [id]: browse record of this message
 400             :param dict parent_tree: dict [parent_id]: [child_ids]
 401             :param list message_unload_ids: list of message_ids we do not want
 402                 to load
 403             :return bool: True
 404         """
 405         def _get_expandable(domain, message_nb, parent_id, max_limit):
 406             return {
 407                 'domain': domain,
 408                 'nb_messages': message_nb,
 409                 'type': 'expandable',
 410                 'parent_id': parent_id,
 411                 'max_limit':  max_limit,
 412             }
 413
 414         if not messages:
 415             return True
 416         message_ids = sorted(message_tree.keys())
 417
 418         # 1. get the expandable for new threads
 419         if thread_level == 0:
 420             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 421         else:
 422             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 423         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 424         if ids:
 425             # inside a thread: prepend
 426             if parent_id:
 427                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 428             # new threads: append
 429             else:
 430                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 431
 432         # 2. get the expandables for new messages inside threads if display is not flat
 433         if thread_level == 0:
 434             return True
 435         for message_id in message_ids:
 436             message = message_tree[message_id]
 437
 438             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 439             if message.parent_id:
 440                 continue
 441
 442             # check there are message for expandable
 443             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 444             child_ids = sorted(list(child_ids), reverse=True)
 445             if not child_ids:
 446                 continue
 447
 448             # make groups of unread messages
 449             id_min, id_max, nb = max(child_ids), 0, 0
 450             for child_id in child_ids:
 451                 if not child_id in message_ids:
 452                     nb += 1
 453                     if id_min > child_id:
 454                         id_min = child_id
 455                     if id_max < child_id:
 456                         id_max = child_id
 457                 elif nb > 0:
 458                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 459                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 460                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 461                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 462                     id_min, id_max, nb = max(child_ids), 0, 0
 463                 else:
 464                     id_min, id_max, nb = max(child_ids), 0, 0
 465             if nb > 0:
 466                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 467                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 468                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 469                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 470
 471         return True
 472
 473     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 474                         thread_level=0, context=None, parent_id=False, limit=None):
 475         """ Read messages from mail.message, and get back a list of structured
 476             messages to be displayed as discussion threads. If IDs is set,
 477             fetch these records. Otherwise use the domain to fetch messages.
 478             After having fetch messages, their ancestors will be added to obtain
 479             well formed threads, if uid has access to them.
 480
 481             After reading the messages, expandable messages are added in the
 482             message list (see ``_message_read_add_expandables``). It consists
 483             in messages holding the 'read more' data: number of messages to
 484             read, domain to apply.
 485
 486             :param list ids: optional IDs to fetch
 487             :param list domain: optional domain for searching ids if ids not set
 488             :param list message_unload_ids: optional ids we do not want to fetch,
 489                 because i.e. they are already displayed somewhere
 490             :param int parent_id: context of parent_id
 491                 - if parent_id reached when adding ancestors, stop going further
 492                   in the ancestor search
 493                 - if set in flat mode, ancestor_id is set to parent_id
 494             :param int limit: number of messages to fetch, before adding the
 495                 ancestors and expandables
 496             :return list: list of message structure for the Chatter widget
 497         """
 498         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 499         domain = domain if domain is not None else []
 500         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 501         if message_unload_ids:
 502             domain += [('id', 'not in', message_unload_ids)]
 503         notification_obj = self.pool.get('mail.notification')
 504         limit = limit or self._message_read_limit
 505         message_tree = {}
 506         message_list = []
 507         parent_tree = {}
 508
 509         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 510         if ids is None:
 511             ids = self.search(cr, uid, domain, context=context, limit=limit)
 512
 513         # fetch parent if threaded, sort messages
 514         for message in self.browse(cr, uid, ids, context=context):
 515             message_id = message.id
 516             if message_id in message_tree:
 517                 continue
 518             message_tree[message_id] = message
 519
 520             # find parent_id
 521             if thread_level == 0:
 522                 tree_parent_id = parent_id
 523             else:
 524                 tree_parent_id = message_id
 525                 parent = message
 526                 while parent.parent_id and parent.parent_id.id != parent_id:
 527                     parent = parent.parent_id
 528                     tree_parent_id = parent.id
 529                 if not parent.id in message_tree:
 530                     message_tree[parent.id] = parent
 531             # newest messages first
 532             parent_tree.setdefault(tree_parent_id, [])
 533             if tree_parent_id != message_id:
 534                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 535
 536         if thread_level:
 537             for key, message_id_list in parent_tree.iteritems():
 538                 message_id_list.sort(key=lambda item: item['id'])
 539                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 540
 541         # create final ordered message_list based on parent_tree
 542         parent_list = parent_tree.items()
 543         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 544         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 545
 546         # get the child expandable messages for the tree
 547         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 548         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 549             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 550         return message_list
 551
 552     #------------------------------------------------------
 553     # mail_message internals
 554     #------------------------------------------------------
 555
 556     def init(self, cr):
 557         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 558         if not cr.fetchone():
 559             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 560
 561     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 562         doc_ids = doc_dict.keys()
 563         allowed_doc_ids = self.pool.get(doc_model).search(cr, uid, [('id', 'in', doc_ids)], context=context)
 564         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 565
 566     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 567         model_access_obj = self.pool.get('ir.model.access')
 568         allowed_ids = set()
 569         for doc_model, doc_dict in model_ids.iteritems():
 570             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 571                 continue
 572             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 573         return allowed_ids
 574
 575     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 576         context=None, count=False, access_rights_uid=None):
 577         """ Override that adds specific access rights of mail.message, to remove
 578             ids uid could not see according to our custom rules. Please refer
 579             to check_access_rule for more details about those rules.
 580
 581             After having received ids of a classic search, keep only:
 582             - if author_id == pid, uid is the author, OR
 583             - a notification (id, pid) exists, uid has been notified, OR
 584             - uid have read access to the related document is model, res_id
 585             - otherwise: remove the id
 586         """
 587         # Rules do not apply to administrator
 588         if uid == SUPERUSER_ID:
 589             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 590                 context=context, count=count, access_rights_uid=access_rights_uid)
 591         # Perform a super with count as False, to have the ids, not a counter
 592         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 593             context=context, count=False, access_rights_uid=access_rights_uid)
 594         if not ids and count:
 595             return 0
 596         elif not ids:
 597             return ids
 598
 599         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'])['partner_id'][0]
 600         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 601         model_ids = {}
 602
 603         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 604         for message in messages:
 605             if message.get('author_id') and message.get('author_id')[0] == pid:
 606                 author_ids.add(message.get('id'))
 607             elif pid in message.get('notified_partner_ids'):
 608                 partner_ids.add(message.get('id'))
 609             elif message.get('model') and message.get('res_id'):
 610                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 611
 612         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 613         final_ids = author_ids | partner_ids | allowed_ids
 614
 615         if count:
 616             return len(final_ids)
 617         else:
 618             # re-construct a list based on ids, because set did not keep the original order
 619             id_list = [id for id in ids if id in final_ids]
 620             return id_list
 621
 622     def check_access_rule(self, cr, uid, ids, operation, context=None):
 623         """ Access rules of mail.message:
 624             - read: if
 625                 - author_id == pid, uid is the author, OR
 626                 - mail_notification (id, pid) exists, uid has been notified, OR
 627                 - uid have read access to the related document if model, res_id
 628                 - otherwise: raise
 629             - create: if
 630                 - no model, no res_id, I create a private message OR
 631                 - pid in message_follower_ids if model, res_id OR
 632                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 633                 - uid have write access on the related document if model, res_id, OR
 634                 - otherwise: raise
 635             - write: if
 636                 - author_id == pid, uid is the author, OR
 637                 - uid has write access on the related document if model, res_id
 638                 - otherwise: raise
 639             - unlink: if
 640                 - uid has write access on the related document if model, res_id
 641                 - otherwise: raise
 642         """
 643         def _generate_model_record_ids(msg_val, msg_ids=[]):
 644             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 645                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 646             """
 647             model_record_ids = {}
 648             for id in msg_ids:
 649                 if msg_val[id]['model'] and msg_val[id]['res_id']:
 650                     model_record_ids.setdefault(msg_val[id]['model'], dict()).setdefault(msg_val[id]['res_id'], set()).add(msg_val[id]['res_id'])
 651             return model_record_ids
 652
 653         if uid == SUPERUSER_ID:
 654             return
 655         if isinstance(ids, (int, long)):
 656             ids = [ids]
 657         not_obj = self.pool.get('mail.notification')
 658         fol_obj = self.pool.get('mail.followers')
 659         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 660
 661         # Read mail_message.ids to have their values
 662         message_values = dict.fromkeys(ids)
 663         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 664         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 665             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 666
 667         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 668         author_ids = []
 669         if operation == 'read' or operation == 'write':
 670             author_ids = [mid for mid, message in message_values.iteritems()
 671                 if message.get('author_id') and message.get('author_id') == partner_id]
 672         elif operation == 'create':
 673             author_ids = [mid for mid, message in message_values.iteritems()
 674                 if not message.get('model') and not message.get('res_id')]
 675
 676         # Parent condition, for create (check for received notifications for the created message parent)
 677         notified_ids = []
 678         if operation == 'create':
 679             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 680                 if message.get('parent_id')]
 681             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 682             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 683             notified_ids += [mid for mid, message in message_values.iteritems()
 684                 if message.get('parent_id') in not_parent_ids]
 685
 686         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 687         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 688         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 689         if operation == 'read':
 690             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 691                 ('partner_id', '=', partner_id),
 692                 ('message_id', 'in', ids),
 693             ], context=context)
 694             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 695         elif operation == 'create':
 696             for doc_model, doc_dict in model_record_ids.items():
 697                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 698                     ('res_model', '=', doc_model),
 699                     ('res_id', 'in', list(doc_dict.keys())),
 700                     ('partner_id', '=', partner_id),
 701                     ], context=context)
 702                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 703                 notified_ids += [mid for mid, message in message_values.iteritems()
 704                     if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 705
 706         # CRUD: Access rights related to the document
 707         other_ids = other_ids.difference(set(notified_ids))
 708         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 709         document_related_ids = []
 710         for model, doc_dict in model_record_ids.items():
 711             model_obj = self.pool.get(model)
 712             mids = model_obj.exists(cr, uid, doc_dict.keys())
 713             if operation in ['create', 'write', 'unlink']:
 714                 model_obj.check_access_rights(cr, uid, 'write')
 715                 model_obj.check_access_rule(cr, uid, mids, 'write', context=context)
 716             else:
 717                 model_obj.check_access_rights(cr, uid, operation)
 718                 model_obj.check_access_rule(cr, uid, mids, operation, context=context)
 719             document_related_ids += [mid for mid, message in message_values.iteritems()
 720                 if message.get('model') == model and message.get('res_id') in mids]
 721
 722         # Calculate remaining ids: if not void, raise an error
 723         other_ids = other_ids.difference(set(document_related_ids))
 724         if not other_ids:
 725             return
 726         raise orm.except_orm(_('Access Denied'),
 727                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 728                             (self._description, operation))
 729
 730     def create(self, cr, uid, values, context=None):
 731         if context is None:
 732             context = {}
 733         default_starred = context.pop('default_starred', False)
 734         if not values.get('message_id') and values.get('res_id') and values.get('model'):
 735             values['message_id'] = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 736         elif not values.get('message_id'):
 737             values['message_id'] = tools.generate_tracking_message_id('private')
 738         newid = super(mail_message, self).create(cr, uid, values, context)
 739         self._notify(cr, uid, newid, context=context)
 740         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 741         # Because starred will call set_message_starred, that looks for notifications.
 742         # When creating a new mail_message, it will create a notification to a message
 743         # that does not exist, leading to an error (key not existing). Also this
 744         # this means unread notifications will be created, yet we can not assure
 745         # this is what we want.
 746         if default_starred:
 747             self.set_message_starred(cr, uid, [newid], True, context=context)
 748         return newid
 749
 750     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 751         """ Override to explicitely call check_access_rule, that is not called
 752             by the ORM. It instead directly fetches ir.rules and apply them. """
 753         self.check_access_rule(cr, uid, ids, 'read', context=context)
 754         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 755         return res
 756
 757     def unlink(self, cr, uid, ids, context=None):
 758         # cascade-delete attachments that are directly attached to the message (should only happen
 759         # for mail.messages that act as parent for a standalone mail.mail record).
 760         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 761         attachments_to_delete = []
 762         for message in self.browse(cr, uid, ids, context=context):
 763             for attach in message.attachment_ids:
 764                 if attach.res_model == self._name and attach.res_id == message.id:
 765                     attachments_to_delete.append(attach.id)
 766         if attachments_to_delete:
 767             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 768         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 769
 770     def copy(self, cr, uid, id, default=None, context=None):
 771         """ Overridden to avoid duplicating fields that are unique to each email """
 772         if default is None:
 773             default = {}
 774         default.update(message_id=False, headers=False)
 775         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 776
 777     #------------------------------------------------------
 778     # Messaging API
 779     #------------------------------------------------------
 780
 781     # TDE note: this code is not used currently, will be improved in a future merge, when quoted context
 782     # will be added to email send for notifications. Currently only WIP.
 783     MAIL_TEMPLATE = """<div>
 784     % if message:
 785         ${display_message(message)}
 786     % endif
 787     % for ctx_msg in context_messages:
 788         ${display_message(ctx_msg)}
 789     % endfor
 790     % if add_expandable:
 791         ${display_expandable()}
 792     % endif
 793     ${display_message(header_message)}
 794     </div>
 795
 796     <%def name="display_message(message)">
 797         <div>
 798             Subject: ${message.subject}<br />
 799             Body: ${message.body}
 800         </div>
 801     </%def>
 802
 803     <%def name="display_expandable()">
 804         <div>This is an expandable.</div>
 805     </%def>
 806     """
 807
 808     def message_quote_context(self, cr, uid, id, context=None, limit=3, add_original=False):
 809         """
 810             1. message.parent_id = False: new thread, no quote_context
 811             2. get the lasts messages in the thread before message
 812             3. get the message header
 813             4. add an expandable between them
 814
 815             :param dict quote_context: options for quoting
 816             :return string: html quote
 817         """
 818         add_expandable = False
 819
 820         message = self.browse(cr, uid, id, context=context)
 821         if not message.parent_id:
 822             return ''
 823         context_ids = self.search(cr, uid, [
 824             ('parent_id', '=', message.parent_id.id),
 825             ('id', '<', message.id),
 826             ], limit=limit, context=context)
 827
 828         if len(context_ids) >= limit:
 829             add_expandable = True
 830             context_ids = context_ids[0:-1]
 831
 832         context_ids.append(message.parent_id.id)
 833         context_messages = self.browse(cr, uid, context_ids, context=context)
 834         header_message = context_messages.pop()
 835
 836         try:
 837             if not add_original:
 838                 message = False
 839             result = MakoTemplate(self.MAIL_TEMPLATE).render_unicode(message=message,
 840                                                         context_messages=context_messages,
 841                                                         header_message=header_message,
 842                                                         add_expandable=add_expandable,
 843                                                         # context kw would clash with mako internals
 844                                                         ctx=context,
 845                                                         format_exceptions=True)
 846             result = result.strip()
 847             return result
 848         except Exception:
 849             _logger.exception("failed to render mako template for quoting message")
 850             return ''
 851         return result
 852
 853     def _notify(self, cr, uid, newid, context=None):
 854         """ Add the related record followers to the destination partner_ids if is not a private message.
 855             Call mail_notification.notify to manage the email sending
 856         """
 857         notification_obj = self.pool.get('mail.notification')
 858         message = self.browse(cr, uid, newid, context=context)
 859
 860         partners_to_notify = set([])
 861         # message has no subtype_id: pure log message -> no partners, no one notified
 862         if not message.subtype_id:
 863             return True
 864
 865         # all followers of the mail.message document have to be added as partners and notified
 866         if message.model and message.res_id:
 867             fol_obj = self.pool.get("mail.followers")
 868             # browse as SUPERUSER because rules could restrict the search results
 869             fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 870                 ('res_model', '=', message.model),
 871                 ('res_id', '=', message.res_id),
 872                 ('subtype_ids', 'in', message.subtype_id.id)
 873                 ], context=context)
 874             partners_to_notify |= set(fo.partner_id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context))
 875         # remove me from notified partners, unless the message is written on my own wall
 876         if message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 877             partners_to_notify |= set([message.author_id])
 878         elif message.author_id:
 879             partners_to_notify -= set([message.author_id])
 880
 881         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 882         if message.partner_ids:
 883             partners_to_notify |= set(message.partner_ids)
 884
 885         # notify
 886         if partners_to_notify:
 887             self.write(cr, SUPERUSER_ID, [newid], {'notified_partner_ids': [(4, p.id) for p in partners_to_notify]}, context=context)
 888         notification_obj._notify(cr, uid, newid, context=context)
 889         message.refresh()
 890
 891         # An error appear when a user receive a notification without notifying
 892         # the parent message -> add a read notification for the parent
 893         if message.parent_id:
 894             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 895             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 896             for partner in partners_to_parent_notify:
 897                 notification_obj.create(cr, uid, {
 898                         'message_id': message.parent_id.id,
 899                         'partner_id': partner.id,
 900                         'read': True,
 901                     }, context=context)
 902
 903     #------------------------------------------------------
 904     # Tools
 905     #------------------------------------------------------
 906
 907     def check_partners_email(self, cr, uid, partner_ids, context=None):
 908         """ Verify that selected partner_ids have an email_address defined.
 909             Otherwise throw a warning. """
 910         partner_wo_email_lst = []
 911         for partner in self.pool.get('res.partner').browse(cr, uid, partner_ids, context=context):
 912             if not partner.email:
 913                 partner_wo_email_lst.append(partner)
 914         if not partner_wo_email_lst:
 915             return {}
 916         warning_msg = _('The following partners chosen as recipients for the email have no email address linked :')
 917         for partner in partner_wo_email_lst:
 918             warning_msg += '\n- %s' % (partner.name)
 919         return {'warning': {
 920                     'title': _('Partners email addresses not found'),
 921                     'message': warning_msg,
 922                     }
 923                 }