addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 import tools
  24
  25 from email.header import decode_header
  26 from openerp import SUPERUSER_ID
  27 from openerp.osv import osv, orm, fields
  28 from openerp.tools import html_email_clean
  29 from openerp.tools.translate import _
  30
  31 _logger = logging.getLogger(__name__)
  32
  33 try:
  34     from mako.template import Template as MakoTemplate
  35 except ImportError:
  36     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  37
  38
  39 """ Some tools for parsing / creating email fields """
  40 def decode(text):
  41     """Returns unicode() string conversion of the the given encoded smtp header text"""
  42     if text:
  43         text = decode_header(text.replace('\r', ''))
  44         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  45
  46
  47 class mail_message(osv.Model):
  48     """ Messages model: system notification (replacing res.log notifications),
  49         comments (OpenChatter discussion) and incoming emails. """
  50     _name = 'mail.message'
  51     _description = 'Message'
  52     _inherit = ['ir.needaction_mixin']
  53     _order = 'id desc'
  54     _rec_name = 'record_name'
  55
  56     _message_read_limit = 30
  57     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  58         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  59     _message_record_name_length = 18
  60     _message_read_more_limit = 1024
  61
  62     def default_get(self, cr, uid, fields, context=None):
  63         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  64         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  65             context = dict(context, default_type=None)
  66         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  67
  68     def _shorten_name(self, name):
  69         if len(name) <= (self._message_record_name_length + 3):
  70             return name
  71         return name[:self._message_record_name_length] + '...'
  72
  73     def _get_record_name(self, cr, uid, ids, name, arg, context=None):
  74         """ Return the related document name, using name_get. It is done using
  75             SUPERUSER_ID, to be sure to have the record name correctly stored. """
  76         # TDE note: regroup by model/ids, to have less queries to perform
  77         result = dict.fromkeys(ids, False)
  78         for message in self.read(cr, uid, ids, ['model', 'res_id'], context=context):
  79             if not message.get('model') or not message.get('res_id'):
  80                 continue
  81             result[message['id']] = self._shorten_name(self.pool.get(message['model']).name_get(cr, SUPERUSER_ID, [message['res_id']], context=context)[0][1])
  82         return result
  83
  84     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  85         """ Compute if the message is unread by the current user. """
  86         res = dict((id, False) for id in ids)
  87         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
  88         notif_obj = self.pool.get('mail.notification')
  89         notif_ids = notif_obj.search(cr, uid, [
  90             ('partner_id', 'in', [partner_id]),
  91             ('message_id', 'in', ids),
  92             ('read', '=', False),
  93         ], context=context)
  94         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
  95             res[notif.message_id.id] = True
  96         return res
  97
  98     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
  99         """ Search for messages to read by the current user. Condition is
 100             inversed because we search unread message on a read column. """
 101         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 102
 103     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 104         """ Compute if the message is unread by the current user. """
 105         res = dict((id, False) for id in ids)
 106         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 107         notif_obj = self.pool.get('mail.notification')
 108         notif_ids = notif_obj.search(cr, uid, [
 109             ('partner_id', 'in', [partner_id]),
 110             ('message_id', 'in', ids),
 111             ('starred', '=', True),
 112         ], context=context)
 113         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 114             res[notif.message_id.id] = True
 115         return res
 116
 117     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 118         """ Search for messages to read by the current user. Condition is
 119             inversed because we search unread message on a read column. """
 120         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 121
 122     def name_get(self, cr, uid, ids, context=None):
 123         # name_get may receive int id instead of an id list
 124         if isinstance(ids, (int, long)):
 125             ids = [ids]
 126         res = []
 127         for message in self.browse(cr, uid, ids, context=context):
 128             name = '%s: %s' % (message.subject or '', message.body or '')
 129             res.append((message.id, self._shorten_name(name.lstrip(' :'))))
 130         return res
 131
 132     _columns = {
 133         'type': fields.selection([
 134                         ('email', 'Email'),
 135                         ('comment', 'Comment'),
 136                         ('notification', 'System notification'),
 137                         ], 'Type',
 138             help="Message type: email for email message, notification for system "\
 139                  "message, comment for other messages such as user replies"),
 140         'email_from': fields.char('From',
 141             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 142         'author_id': fields.many2one('res.partner', 'Author', select=1,
 143             ondelete='set null',
 144             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 145         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 146         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 147             'message_id', 'partner_id', 'Notified partners',
 148             help='Partners that have a notification pushing this message in their mailboxes'),
 149         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 150             'message_id', 'attachment_id', 'Attachments'),
 151         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 152             ondelete='set null', help="Initial thread message."),
 153         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 154         'model': fields.char('Related Document Model', size=128, select=1),
 155         'res_id': fields.integer('Related Document ID', select=1),
 156         'record_name': fields.function(_get_record_name, type='char',
 157             store=True, string='Message Record Name',
 158             help="Name get of the related document."),
 159         'notification_ids': fields.one2many('mail.notification', 'message_id',
 160             string='Notifications', auto_join=True,
 161             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 162         'subject': fields.char('Subject'),
 163         'date': fields.datetime('Date'),
 164         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 165         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 166         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 167             type='boolean', string='To read',
 168             help='Current user has an unread notification linked to this message'),
 169         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 170             type='boolean', string='Starred',
 171             help='Current user has a starred notification linked to this message'),
 172         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 173             ondelete='set null', select=1,),
 174         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 175             'message_id', 'user_id', string='Votes',
 176             help='Users that voted for this message'),
 177     }
 178
 179     def _needaction_domain_get(self, cr, uid, context=None):
 180         return [('to_read', '=', True)]
 181
 182     def _get_default_author(self, cr, uid, context=None):
 183         return self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 184
 185     _defaults = {
 186         'type': 'email',
 187         'date': lambda *a: fields.datetime.now(),
 188         'author_id': lambda self, cr, uid, ctx={}: self._get_default_author(cr, uid, ctx),
 189         'body': '',
 190     }
 191
 192     #------------------------------------------------------
 193     # Vote/Like
 194     #------------------------------------------------------
 195
 196     def vote_toggle(self, cr, uid, ids, context=None):
 197         ''' Toggles vote. Performed using read to avoid access rights issues.
 198             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 199         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 200             new_has_voted = not (uid in message.get('vote_user_ids'))
 201             if new_has_voted:
 202                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 203             else:
 204                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 205         return new_has_voted or False
 206
 207     #------------------------------------------------------
 208     # download an attachment
 209     #------------------------------------------------------
 210
 211     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 212         """ Return the content of linked attachments. """
 213         message = self.browse(cr, uid, id_message, context=context)
 214         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 215             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 216             if attachment.datas and attachment.datas_fname:
 217                 return {
 218                     'base64': attachment.datas,
 219                     'filename': attachment.datas_fname,
 220                 }
 221         return False
 222
 223     #------------------------------------------------------
 224     # Notification API
 225     #------------------------------------------------------
 226
 227     def set_message_read(self, cr, uid, msg_ids, read, context=None):
 228         """ Set messages as (un)read. Technically, the notifications related
 229             to uid are set to (un)read. If for some msg_ids there are missing
 230             notifications (i.e. due to load more or thread parent fetching),
 231             they are created.
 232
 233             :param bool read: set notification as (un)read
 234         """
 235         notification_obj = self.pool.get('mail.notification')
 236         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 237         notif_ids = notification_obj.search(cr, uid, [
 238             ('partner_id', '=', user_pid),
 239             ('message_id', 'in', msg_ids)
 240             ], context=context)
 241
 242         # all message have notifications: already set them as (un)read
 243         if len(notif_ids) == len(msg_ids):
 244             return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 245
 246         # some messages do not have notifications: find which one, create notification, update read status
 247         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 248         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 249         for msg_id in to_create_msg_ids:
 250             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 251         return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 252
 253     def set_message_starred(self, cr, uid, msg_ids, starred, context=None):
 254         """ Set messages as (un)starred. Technically, the notifications related
 255             to uid are set to (un)starred. If for some msg_ids there are missing
 256             notifications (i.e. due to load more or thread parent fetching),
 257             they are created.
 258
 259             :param bool starred: set notification as (un)starred
 260         """
 261         notification_obj = self.pool.get('mail.notification')
 262         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 263         notif_ids = notification_obj.search(cr, uid, [
 264             ('partner_id', '=', user_pid),
 265             ('message_id', 'in', msg_ids)
 266             ], context=context)
 267
 268         # all message have notifications: already set them as (un)starred
 269         if len(notif_ids) == len(msg_ids):
 270             notification_obj.write(cr, uid, notif_ids, {'starred': starred}, context=context)
 271             return starred
 272
 273         # some messages do not have notifications: find which one, create notification, update starred status
 274         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 275         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 276         for msg_id in to_create_msg_ids:
 277             notification_obj.create(cr, uid, {'partner_id': user_pid, 'starred': starred, 'message_id': msg_id}, context=context)
 278         notification_obj.write(cr, uid, notif_ids, {'starred': starred}, context=context)
 279         return starred
 280
 281     #------------------------------------------------------
 282     # Message loading for web interface
 283     #------------------------------------------------------
 284
 285     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 286         """ Post-processing on values given by message_read. This method will
 287             handle partners in batch to avoid doing numerous queries.
 288
 289             :param list messages: list of message, as get_dict result
 290             :param dict message_tree: {[msg.id]: msg browse record}
 291         """
 292         res_partner_obj = self.pool.get('res.partner')
 293         ir_attachment_obj = self.pool.get('ir.attachment')
 294         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 295
 296         # 1. Aggregate partners (author_id and partner_ids) and attachments
 297         partner_ids = set()
 298         attachment_ids = set()
 299         for key, message in message_tree.iteritems():
 300             if message.author_id:
 301                 partner_ids |= set([message.author_id.id])
 302             if message.partner_ids:
 303                 partner_ids |= set([partner.id for partner in message.partner_ids])
 304             if message.attachment_ids:
 305                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 306
 307         # Filter author_ids uid can see
 308         # partner_ids = self.pool.get('res.partner').search(cr, uid, [('id', 'in', partner_ids)], context=context)
 309         partners = res_partner_obj.name_get(cr, uid, list(partner_ids), context=context)
 310         partner_tree = dict((partner[0], partner) for partner in partners)
 311
 312         # 2. Attachments
 313         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname'], context=context)
 314         attachments_tree = dict((attachment['id'], {'id': attachment['id'], 'filename': attachment['datas_fname']}) for attachment in attachments)
 315
 316         # 3. Update message dictionaries
 317         for message_dict in messages:
 318             message_id = message_dict.get('id')
 319             message = message_tree[message_id]
 320             if message.author_id:
 321                 author = partner_tree[message.author_id.id]
 322             else:
 323                 author = (0, message.email_from)
 324             partner_ids = []
 325             for partner in message.partner_ids:
 326                 if partner.id in partner_tree:
 327                     partner_ids.append(partner_tree[partner.id])
 328             attachment_ids = []
 329             for attachment in message.attachment_ids:
 330                 if attachment.id in attachments_tree:
 331                     attachment_ids.append(attachments_tree[attachment.id])
 332             message_dict.update({
 333                 'is_author': pid == author[0],
 334                 'author_id': author,
 335                 'partner_ids': partner_ids,
 336                 'attachment_ids': attachment_ids,
 337                 })
 338         return True
 339
 340     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 341         """ Return a dict representation of the message. This representation is
 342             used in the JS client code, to display the messages. Partners and
 343             attachments related stuff will be done in post-processing in batch.
 344
 345             :param dict message: mail.message browse record
 346         """
 347         # private message: no model, no res_id
 348         is_private = False
 349         if not message.model or not message.res_id:
 350             is_private = True
 351         # votes and favorites: res.users ids, no prefetching should be done
 352         vote_nb = len(message.vote_user_ids)
 353         has_voted = uid in [user.id for user in message.vote_user_ids]
 354
 355         return {'id': message.id,
 356                 'type': message.type,
 357                 'body': html_email_clean(message.body or ''),
 358                 'model': message.model,
 359                 'res_id': message.res_id,
 360                 'record_name': message.record_name,
 361                 'subject': message.subject,
 362                 'date': message.date,
 363                 'to_read': message.to_read,
 364                 'parent_id': parent_id,
 365                 'is_private': is_private,
 366                 'author_id': False,
 367                 'is_author': False,
 368                 'partner_ids': [],
 369                 'vote_nb': vote_nb,
 370                 'has_voted': has_voted,
 371                 'is_favorite': message.starred,
 372                 'attachment_ids': [],
 373             }
 374
 375     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 376             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 377         """ Create expandables for message_read, to load new messages.
 378             1. get the expandable for new threads
 379                 if display is flat (thread_level == 0):
 380                     fetch message_ids < min(already displayed ids), because we
 381                     want a flat display, ordered by id
 382                 else:
 383                     fetch message_ids that are not childs of already displayed
 384                     messages
 385             2. get the expandables for new messages inside threads if display
 386                is not flat
 387                 for each thread header, search for its childs
 388                     for each hole in the child list based on message displayed,
 389                     create an expandable
 390
 391             :param list messages: list of message structure for the Chatter
 392                 widget to which expandables are added
 393             :param dict message_tree: dict [id]: browse record of this message
 394             :param dict parent_tree: dict [parent_id]: [child_ids]
 395             :param list message_unload_ids: list of message_ids we do not want
 396                 to load
 397             :return bool: True
 398         """
 399         def _get_expandable(domain, message_nb, parent_id, max_limit):
 400             return {
 401                 'domain': domain,
 402                 'nb_messages': message_nb,
 403                 'type': 'expandable',
 404                 'parent_id': parent_id,
 405                 'max_limit':  max_limit,
 406             }
 407
 408         if not messages:
 409             return True
 410         message_ids = sorted(message_tree.keys())
 411
 412         # 1. get the expandable for new threads
 413         if thread_level == 0:
 414             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 415         else:
 416             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 417         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 418         if ids:
 419             # inside a thread: prepend
 420             if parent_id:
 421                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 422             # new threads: append
 423             else:
 424                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 425
 426         # 2. get the expandables for new messages inside threads if display is not flat
 427         if thread_level == 0:
 428             return True
 429         for message_id in message_ids:
 430             message = message_tree[message_id]
 431
 432             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 433             if message.parent_id:
 434                 continue
 435
 436             # check there are message for expandable
 437             child_ids = set([child.id for child in message.child_ids if child.notified_partner_ids]) - set(message_unload_ids)
 438             child_ids = sorted(list(child_ids), reverse=True)
 439             if not child_ids:
 440                 continue
 441
 442             # make groups of unread messages
 443             id_min, id_max, nb = max(child_ids), 0, 0
 444             for child_id in child_ids:
 445                 if not child_id in message_ids:
 446                     nb += 1
 447                     if id_min > child_id:
 448                         id_min = child_id
 449                     if id_max < child_id:
 450                         id_max = child_id
 451                 elif nb > 0:
 452                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 453                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 454                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 455                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 456                     id_min, id_max, nb = max(child_ids), 0, 0
 457                 else:
 458                     id_min, id_max, nb = max(child_ids), 0, 0
 459             if nb > 0:
 460                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 461                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 462                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 463                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 464
 465         return True
 466
 467     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 468                         thread_level=0, context=None, parent_id=False, limit=None):
 469         """ Read messages from mail.message, and get back a list of structured
 470             messages to be displayed as discussion threads. If IDs is set,
 471             fetch these records. Otherwise use the domain to fetch messages.
 472             After having fetch messages, their ancestors will be added to obtain
 473             well formed threads, if uid has access to them.
 474
 475             After reading the messages, expandable messages are added in the
 476             message list (see ``_message_read_add_expandables``). It consists
 477             in messages holding the 'read more' data: number of messages to
 478             read, domain to apply.
 479
 480             :param list ids: optional IDs to fetch
 481             :param list domain: optional domain for searching ids if ids not set
 482             :param list message_unload_ids: optional ids we do not want to fetch,
 483                 because i.e. they are already displayed somewhere
 484             :param int parent_id: context of parent_id
 485                 - if parent_id reached when adding ancestors, stop going further
 486                   in the ancestor search
 487                 - if set in flat mode, ancestor_id is set to parent_id
 488             :param int limit: number of messages to fetch, before adding the
 489                 ancestors and expandables
 490             :return list: list of message structure for the Chatter widget
 491         """
 492         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 493         domain = domain if domain is not None else []
 494         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 495         if message_unload_ids:
 496             domain += [('id', 'not in', message_unload_ids)]
 497         limit = limit or self._message_read_limit
 498         message_tree = {}
 499         message_list = []
 500         parent_tree = {}
 501
 502         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 503         if ids is None:
 504             ids = self.search(cr, uid, domain, context=context, limit=limit)
 505
 506         # fetch parent if threaded, sort messages
 507         for message in self.browse(cr, uid, ids, context=context):
 508             notified_partner_id = [user.id for user in message.notified_partner_ids]
 509             # fatch only parent meassages & chiled messages which have notified_partner_id
 510             if not parent_id or notified_partner_id:
 511                 message_id = message.id
 512                 if message_id in message_tree:
 513                     continue
 514                 message_tree[message_id] = message
 515
 516                 # find parent_id
 517                 if thread_level == 0:
 518                     tree_parent_id = parent_id
 519                 else:
 520                     tree_parent_id = message_id
 521                     parent = message
 522                     while parent.parent_id and parent.parent_id.id != parent_id:
 523                         parent = parent.parent_id
 524                         tree_parent_id = parent.id
 525                     if not parent.id in message_tree:
 526                         message_tree[parent.id] = parent
 527                 # newest messages first
 528                 parent_tree.setdefault(tree_parent_id, [])
 529                 if tree_parent_id != message_id:
 530                     parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 531
 532         if thread_level:
 533             for key, message_id_list in parent_tree.iteritems():
 534                 message_id_list.sort(key=lambda item: item['id'])
 535                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 536
 537         parent_list = parent_tree.items()
 538         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 539         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 540
 541         # get the child expandable messages for the tree
 542         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 543         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 544             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 545         return message_list
 546
 547     #------------------------------------------------------
 548     # mail_message internals
 549     #------------------------------------------------------
 550
 551     def init(self, cr):
 552         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 553         if not cr.fetchone():
 554             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 555
 556     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 557         doc_ids = doc_dict.keys()
 558         allowed_doc_ids = self.pool.get(doc_model).search(cr, uid, [('id', 'in', doc_ids)], context=context)
 559         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 560
 561     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 562         model_access_obj = self.pool.get('ir.model.access')
 563         allowed_ids = set()
 564         for doc_model, doc_dict in model_ids.iteritems():
 565             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 566                 continue
 567             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 568         return allowed_ids
 569
 570     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 571         context=None, count=False, access_rights_uid=None):
 572         """ Override that adds specific access rights of mail.message, to remove
 573             ids uid could not see according to our custom rules. Please refer
 574             to check_access_rule for more details about those rules.
 575
 576             After having received ids of a classic search, keep only:
 577             - if author_id == pid, uid is the author, OR
 578             - a notification (id, pid) exists, uid has been notified, OR
 579             - uid have read access to the related document is model, res_id
 580             - otherwise: remove the id
 581         """
 582         # Rules do not apply to administrator
 583         if uid == SUPERUSER_ID:
 584             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 585                 context=context, count=count, access_rights_uid=access_rights_uid)
 586         # Perform a super with count as False, to have the ids, not a counter
 587         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 588             context=context, count=False, access_rights_uid=access_rights_uid)
 589         if not ids and count:
 590             return 0
 591         elif not ids:
 592             return ids
 593
 594         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'])['partner_id'][0]
 595         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 596         model_ids = {}
 597
 598         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 599         for message in messages:
 600             if message.get('author_id') and message.get('author_id')[0] == pid:
 601                 author_ids.add(message.get('id'))
 602             elif pid in message.get('notified_partner_ids'):
 603                 partner_ids.add(message.get('id'))
 604             elif message.get('model') and message.get('res_id'):
 605                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 606
 607         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 608
 609         final_ids = author_ids | partner_ids | allowed_ids
 610         if count:
 611             return len(final_ids)
 612         else:
 613             return list(final_ids)
 614
 615     def check_access_rule(self, cr, uid, ids, operation, context=None):
 616         """ Access rules of mail.message:
 617             - read: if
 618                 - author_id == pid, uid is the author, OR
 619                 - mail_notification (id, pid) exists, uid has been notified, OR
 620                 - uid have read access to the related document if model, res_id
 621                 - otherwise: raise
 622             - create: if
 623                 - no model, no res_id, I create a private message
 624                 - pid in message_follower_ids if model, res_id OR
 625                 - uid have write access on the related document if model, res_id, OR
 626                 - otherwise: raise
 627             - write: if
 628                 - uid has write access on the related document if model, res_id
 629                 - Otherwise: raise
 630             - unlink: if
 631                 - uid has write access on the related document if model, res_id
 632                 - Otherwise: raise
 633         """
 634         if uid == SUPERUSER_ID:
 635             return
 636         if isinstance(ids, (int, long)):
 637             ids = [ids]
 638         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 639
 640         # Read mail_message.ids to have their values
 641         message_values = dict.fromkeys(ids)
 642         model_record_ids = {}
 643         cr.execute('SELECT DISTINCT id, model, res_id, author_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 644         for id, rmod, rid, author_id in cr.fetchall():
 645             message_values[id] = {'res_model': rmod, 'res_id': rid, 'author_id': author_id}
 646             if rmod:
 647                 model_record_ids.setdefault(rmod, dict()).setdefault(rid, set()).add(id)
 648
 649         # Author condition, for read and create (private message) -> could become an ir.rule, but not till we do not have a many2one variable field
 650         if operation == 'read':
 651             author_ids = [mid for mid, message in message_values.iteritems()
 652                 if message.get('author_id') and message.get('author_id') == partner_id]
 653         elif operation == 'create':
 654             author_ids = [mid for mid, message in message_values.iteritems()
 655                 if not message.get('model') and not message.get('res_id')]
 656         else:
 657             author_ids = []
 658
 659         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 660         if operation == 'read':
 661             not_obj = self.pool.get('mail.notification')
 662             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 663                 ('partner_id', '=', partner_id),
 664                 ('message_id', 'in', ids),
 665             ], context=context)
 666             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 667         elif operation == 'create':
 668             notified_ids = []
 669             for doc_model, doc_dict in model_record_ids.items():
 670                 fol_obj = self.pool.get('mail.followers')
 671                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 672                     ('res_model', '=', doc_model),
 673                     ('res_id', 'in', list(doc_dict.keys())),
 674                     ('partner_id', '=', partner_id),
 675                     ], context=context)
 676                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 677                 notified_ids += [mid for mid, message in message_values.iteritems()
 678                     if message.get('res_model') == doc_model and message.get('res_id') in fol_mids]
 679         else:
 680             notified_ids = []
 681
 682         # Calculate remaining ids, and related model/res_ids
 683         model_record_ids = {}
 684         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 685         for id in other_ids:
 686             if message_values[id]['res_model']:
 687                 model_record_ids.setdefault(message_values[id]['res_model'], set()).add(message_values[id]['res_id'])
 688
 689         # CRUD: Access rights related to the document
 690         document_related_ids = []
 691         for model, mids in model_record_ids.items():
 692             model_obj = self.pool.get(model)
 693             mids = model_obj.exists(cr, uid, mids)
 694             if operation in ['create', 'write', 'unlink']:
 695                 model_obj.check_access_rights(cr, uid, 'write')
 696                 model_obj.check_access_rule(cr, uid, mids, 'write', context=context)
 697             else:
 698                 model_obj.check_access_rights(cr, uid, operation)
 699                 model_obj.check_access_rule(cr, uid, mids, operation, context=context)
 700             document_related_ids += [mid for mid, message in message_values.iteritems()
 701                 if message.get('res_model') == model and message.get('res_id') in mids]
 702
 703         # Calculate remaining ids: if not void, raise an error
 704         other_ids = other_ids - set(document_related_ids)
 705         if not other_ids:
 706             return
 707         raise orm.except_orm(_('Access Denied'),
 708                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 709                             (self._description, operation))
 710
 711     def create(self, cr, uid, values, context=None):
 712         if context is None:
 713             context = {}
 714         default_starred = context.pop('default_starred', False)
 715         if not values.get('message_id') and values.get('res_id') and values.get('model'):
 716             values['message_id'] = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 717         elif not values.get('message_id'):
 718             values['message_id'] = tools.generate_tracking_message_id('private')
 719         newid = super(mail_message, self).create(cr, uid, values, context)
 720         self._notify(cr, SUPERUSER_ID, newid, context=context)
 721         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 722         # Because starred will call set_message_starred, that looks for notifications.
 723         # When creating a new mail_message, it will create a notification to a message
 724         # that does not exist, leading to an error (key not existing). Also this
 725         # this means unread notifications will be created, yet we can not assure
 726         # this is what we want.
 727         if default_starred:
 728             self.set_message_starred(cr, uid, [newid], True, context=context)
 729         return newid
 730
 731     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 732         """ Override to explicitely call check_access_rule, that is not called
 733             by the ORM. It instead directly fetches ir.rules and apply them. """
 734         self.check_access_rule(cr, uid, ids, 'read', context=context)
 735         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 736         return res
 737
 738     def unlink(self, cr, uid, ids, context=None):
 739         # cascade-delete attachments that are directly attached to the message (should only happen
 740         # for mail.messages that act as parent for a standalone mail.mail record).
 741         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 742         attachments_to_delete = []
 743         for message in self.browse(cr, uid, ids, context=context):
 744             for attach in message.attachment_ids:
 745                 if attach.res_model == self._name and attach.res_id == message.id:
 746                     attachments_to_delete.append(attach.id)
 747         if attachments_to_delete:
 748             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 749         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 750
 751     def copy(self, cr, uid, id, default=None, context=None):
 752         """ Overridden to avoid duplicating fields that are unique to each email """
 753         if default is None:
 754             default = {}
 755         default.update(message_id=False, headers=False)
 756         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 757
 758     #------------------------------------------------------
 759     # Messaging API
 760     #------------------------------------------------------
 761
 762     # TDE note: this code is not used currently, will be improved in a future merge, when quoted context
 763     # will be added to email send for notifications. Currently only WIP.
 764     MAIL_TEMPLATE = """<div>
 765     % if message:
 766         ${display_message(message)}
 767     % endif
 768     % for ctx_msg in context_messages:
 769         ${display_message(ctx_msg)}
 770     % endfor
 771     % if add_expandable:
 772         ${display_expandable()}
 773     % endif
 774     ${display_message(header_message)}
 775     </div>
 776
 777     <%def name="display_message(message)">
 778         <div>
 779             Subject: ${message.subject}<br />
 780             Body: ${message.body}
 781         </div>
 782     </%def>
 783
 784     <%def name="display_expandable()">
 785         <div>This is an expandable.</div>
 786     </%def>
 787     """
 788
 789     def message_quote_context(self, cr, uid, id, context=None, limit=3, add_original=False):
 790         """
 791             1. message.parent_id = False: new thread, no quote_context
 792             2. get the lasts messages in the thread before message
 793             3. get the message header
 794             4. add an expandable between them
 795
 796             :param dict quote_context: options for quoting
 797             :return string: html quote
 798         """
 799         add_expandable = False
 800
 801         message = self.browse(cr, uid, id, context=context)
 802         if not message.parent_id:
 803             return ''
 804         context_ids = self.search(cr, uid, [
 805             ('parent_id', '=', message.parent_id.id),
 806             ('id', '<', message.id),
 807             ], limit=limit, context=context)
 808
 809         if len(context_ids) >= limit:
 810             add_expandable = True
 811             context_ids = context_ids[0:-1]
 812
 813         context_ids.append(message.parent_id.id)
 814         context_messages = self.browse(cr, uid, context_ids, context=context)
 815         header_message = context_messages.pop()
 816
 817         try:
 818             if not add_original:
 819                 message = False
 820             result = MakoTemplate(self.MAIL_TEMPLATE).render_unicode(message=message,
 821                                                         context_messages=context_messages,
 822                                                         header_message=header_message,
 823                                                         add_expandable=add_expandable,
 824                                                         # context kw would clash with mako internals
 825                                                         ctx=context,
 826                                                         format_exceptions=True)
 827             result = result.strip()
 828             return result
 829         except Exception:
 830             _logger.exception("failed to render mako template for quoting message")
 831             return ''
 832         return result
 833
 834     def _notify(self, cr, uid, newid, context=None):
 835         """ Add the related record followers to the destination partner_ids if is not a private message.
 836             Call mail_notification.notify to manage the email sending
 837         """
 838         message = self.read(cr, uid, newid, ['model', 'res_id', 'author_id', 'subtype_id', 'partner_ids'], context=context)
 839
 840         partners_to_notify = set([])
 841         # message has no subtype_id: pure log message -> no partners, no one notified
 842         if not message.get('subtype_id'):
 843             return True
 844         # all partner_ids of the mail.message have to be notified
 845         if message.get('partner_ids'):
 846             partners_to_notify |= set(message.get('partner_ids'))
 847         # all followers of the mail.message document have to be added as partners and notified
 848         if message.get('model') and message.get('res_id'):
 849             fol_obj = self.pool.get("mail.followers")
 850             fol_ids = fol_obj.search(cr, uid, [
 851                 ('res_model', '=', message.get('model')),
 852                 ('res_id', '=', message.get('res_id')),
 853                 ('subtype_ids', 'in', message.get('subtype_id')[0])
 854                 ], context=context)
 855             fol_objs = fol_obj.read(cr, uid, fol_ids, ['partner_id'], context=context)
 856             partners_to_notify |= set(fol['partner_id'][0] for fol in fol_objs)
 857         # remove me from notified partners, unless the message is written on my own wall
 858         if message.get('author_id') and message.get('model') == "res.partner" and message.get('res_id') == message.get('author_id')[0]:
 859             partners_to_notify |= set([message.get('author_id')[0]])
 860         elif message.get('author_id'):
 861             partners_to_notify = partners_to_notify - set([message.get('author_id')[0]])
 862
 863         if partners_to_notify:
 864             self.write(cr, SUPERUSER_ID, [newid], {'notified_partner_ids': [(4, p_id) for p_id in partners_to_notify]}, context=context)
 865
 866         self.pool.get('mail.notification')._notify(cr, uid, newid, context=context)
 867
 868     #------------------------------------------------------
 869     # Tools
 870     #------------------------------------------------------
 871
 872     def check_partners_email(self, cr, uid, partner_ids, context=None):
 873         """ Verify that selected partner_ids have an email_address defined.
 874             Otherwise throw a warning. """
 875         partner_wo_email_lst = []
 876         for partner in self.pool.get('res.partner').browse(cr, uid, partner_ids, context=context):
 877             if not partner.email:
 878                 partner_wo_email_lst.append(partner)
 879         if not partner_wo_email_lst:
 880             return {}
 881         warning_msg = _('The following partners chosen as recipients for the email have no email address linked :')
 882         for partner in partner_wo_email_lst:
 883             warning_msg += '\n- %s' % (partner.name)
 884         return {'warning': {
 885                     'title': _('Partners email addresses not found'),
 886                     'message': warning_msg,
 887                     }
 888                 }