addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 from openerp import tools
  24
  25 from email.header import decode_header
  26 from openerp import SUPERUSER_ID
  27 from openerp.osv import osv, orm, fields
  28 from openerp.tools import html_email_clean
  29 from openerp.tools.translate import _
  30
  31 _logger = logging.getLogger(__name__)
  32
  33 try:
  34     from mako.template import Template as MakoTemplate
  35 except ImportError:
  36     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  37
  38
  39 """ Some tools for parsing / creating email fields """
  40 def decode(text):
  41     """Returns unicode() string conversion of the the given encoded smtp header text"""
  42     if text:
  43         text = decode_header(text.replace('\r', ''))
  44         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  45
  46
  47 class mail_message(osv.Model):
  48     """ Messages model: system notification (replacing res.log notifications),
  49         comments (OpenChatter discussion) and incoming emails. """
  50     _name = 'mail.message'
  51     _description = 'Message'
  52     _inherit = ['ir.needaction_mixin']
  53     _order = 'id desc'
  54     _rec_name = 'record_name'
  55
  56     _message_read_limit = 30
  57     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  58         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  59     _message_record_name_length = 18
  60     _message_read_more_limit = 1024
  61
  62     def default_get(self, cr, uid, fields, context=None):
  63         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  64         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  65             context = dict(context, default_type=None)
  66         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  67
  68     def _shorten_name(self, name):
  69         if len(name) <= (self._message_record_name_length + 3):
  70             return name
  71         return name[:self._message_record_name_length] + '...'
  72
  73     def _get_record_name(self, cr, uid, ids, name, arg, context=None):
  74         """ Return the related document name, using name_get. It is done using
  75             SUPERUSER_ID, to be sure to have the record name correctly stored. """
  76         # TDE note: regroup by model/ids, to have less queries to perform
  77         result = dict.fromkeys(ids, False)
  78         for message in self.read(cr, uid, ids, ['model', 'res_id'], context=context):
  79             if not message.get('model') or not message.get('res_id') or message['model'] not in self.pool:
  80                 continue
  81             result[message['id']] = self.pool[message['model']].name_get(cr, SUPERUSER_ID, [message['res_id']], context=context)[0][1]
  82         return result
  83
  84     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  85         """ Compute if the message is unread by the current user. """
  86         res = dict((id, False) for id in ids)
  87         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
  88         notif_obj = self.pool.get('mail.notification')
  89         notif_ids = notif_obj.search(cr, uid, [
  90             ('partner_id', 'in', [partner_id]),
  91             ('message_id', 'in', ids),
  92             ('read', '=', False),
  93         ], context=context)
  94         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
  95             res[notif.message_id.id] = True
  96         return res
  97
  98     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
  99         """ Search for messages to read by the current user. Condition is
 100             inversed because we search unread message on a read column. """
 101         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 102
 103     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 104         """ Compute if the message is unread by the current user. """
 105         res = dict((id, False) for id in ids)
 106         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 107         notif_obj = self.pool.get('mail.notification')
 108         notif_ids = notif_obj.search(cr, uid, [
 109             ('partner_id', 'in', [partner_id]),
 110             ('message_id', 'in', ids),
 111             ('starred', '=', True),
 112         ], context=context)
 113         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 114             res[notif.message_id.id] = True
 115         return res
 116
 117     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 118         """ Search for messages to read by the current user. Condition is
 119             inversed because we search unread message on a read column. """
 120         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 121
 122     def name_get(self, cr, uid, ids, context=None):
 123         # name_get may receive int id instead of an id list
 124         if isinstance(ids, (int, long)):
 125             ids = [ids]
 126         res = []
 127         for message in self.browse(cr, uid, ids, context=context):
 128             name = '%s: %s' % (message.subject or '', message.body or '')
 129             res.append((message.id, self._shorten_name(name.lstrip(' :'))))
 130         return res
 131
 132     _columns = {
 133         'type': fields.selection([
 134                         ('email', 'Email'),
 135                         ('comment', 'Comment'),
 136                         ('notification', 'System notification'),
 137                         ], 'Type',
 138             help="Message type: email for email message, notification for system "\
 139                  "message, comment for other messages such as user replies"),
 140         'email_from': fields.char('From',
 141             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 142         'reply_to': fields.char('Reply-To',
 143             help='Reply email address. Setting the reply_to bypasses the automatic thread creation.'),
 144         'author_id': fields.many2one('res.partner', 'Author', select=1,
 145             ondelete='set null',
 146             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 147         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 148         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 149             'message_id', 'partner_id', 'Notified partners',
 150             help='Partners that have a notification pushing this message in their mailboxes'),
 151         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 152             'message_id', 'attachment_id', 'Attachments'),
 153         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 154             ondelete='set null', help="Initial thread message."),
 155         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 156         'model': fields.char('Related Document Model', size=128, select=1),
 157         'res_id': fields.integer('Related Document ID', select=1),
 158         'record_name': fields.function(_get_record_name, type='char',
 159             store=True, string='Message Record Name',
 160             help="Name get of the related document."),
 161         'notification_ids': fields.one2many('mail.notification', 'message_id',
 162             string='Notifications', auto_join=True,
 163             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 164         'subject': fields.char('Subject'),
 165         'date': fields.datetime('Date'),
 166         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 167         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 168         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 169             type='boolean', string='To read',
 170             help='Current user has an unread notification linked to this message'),
 171         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 172             type='boolean', string='Starred',
 173             help='Current user has a starred notification linked to this message'),
 174         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 175             ondelete='set null', select=1,),
 176         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 177             'message_id', 'user_id', string='Votes',
 178             help='Users that voted for this message'),
 179     }
 180
 181     def _needaction_domain_get(self, cr, uid, context=None):
 182         return [('to_read', '=', True)]
 183
 184     def _get_default_author(self, cr, uid, context=None):
 185         return self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 186
 187     _defaults = {
 188         'type': 'email',
 189         'date': lambda *a: fields.datetime.now(),
 190         'author_id': lambda self, cr, uid, ctx=None: self._get_default_author(cr, uid, ctx),
 191         'body': '',
 192         'email_from': lambda self, cr, uid, ctx=None: self.pool.get('mail.mail')._get_default_from(cr, uid, ctx),
 193     }
 194
 195     #------------------------------------------------------
 196     # Vote/Like
 197     #------------------------------------------------------
 198
 199     def vote_toggle(self, cr, uid, ids, context=None):
 200         ''' Toggles vote. Performed using read to avoid access rights issues.
 201             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 202         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 203             new_has_voted = not (uid in message.get('vote_user_ids'))
 204             if new_has_voted:
 205                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 206             else:
 207                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 208         return new_has_voted or False
 209
 210     #------------------------------------------------------
 211     # download an attachment
 212     #------------------------------------------------------
 213
 214     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 215         """ Return the content of linked attachments. """
 216         message = self.browse(cr, uid, id_message, context=context)
 217         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 218             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 219             if attachment.datas and attachment.datas_fname:
 220                 return {
 221                     'base64': attachment.datas,
 222                     'filename': attachment.datas_fname,
 223                 }
 224         return False
 225
 226     #------------------------------------------------------
 227     # Notification API
 228     #------------------------------------------------------
 229
 230     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 231         """ Set messages as (un)read. Technically, the notifications related
 232             to uid are set to (un)read. If for some msg_ids there are missing
 233             notifications (i.e. due to load more or thread parent fetching),
 234             they are created.
 235
 236             :param bool read: set notification as (un)read
 237             :param bool create_missing: create notifications for missing entries
 238                 (i.e. when acting on displayed messages not notified)
 239         """
 240         notification_obj = self.pool.get('mail.notification')
 241         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 242         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 243         if not create_missing:
 244             domain += [('read', '=', not read)]
 245         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 246
 247         # all message have notifications: already set them as (un)read
 248         if len(notif_ids) == len(msg_ids) or not create_missing:
 249             return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 250
 251         # some messages do not have notifications: find which one, create notification, update read status
 252         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 253         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 254         for msg_id in to_create_msg_ids:
 255             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 256         return notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 257
 258     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 259         """ Set messages as (un)starred. Technically, the notifications related
 260             to uid are set to (un)starred.
 261
 262             :param bool starred: set notification as (un)starred
 263             :param bool create_missing: create notifications for missing entries
 264                 (i.e. when acting on displayed messages not notified)
 265         """
 266         notification_obj = self.pool.get('mail.notification')
 267         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 268         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 269         if not create_missing:
 270             domain += [('starred', '=', not starred)]
 271         values = {
 272             'starred': starred
 273         }
 274         if starred:
 275             values['read'] = False
 276
 277         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 278
 279         # all message have notifications: already set them as (un)starred
 280         if len(notif_ids) == len(msg_ids) or not create_missing:
 281             notification_obj.write(cr, uid, notif_ids, values, context=context)
 282             return starred
 283
 284         # some messages do not have notifications: find which one, create notification, update starred status
 285         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 286         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 287         for msg_id in to_create_msg_ids:
 288             notification_obj.create(cr, uid, dict(values, partner_id=user_pid, message_id=msg_id), context=context)
 289         notification_obj.write(cr, uid, notif_ids, values, context=context)
 290         return starred
 291
 292     #------------------------------------------------------
 293     # Message loading for web interface
 294     #------------------------------------------------------
 295
 296     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 297         """ Post-processing on values given by message_read. This method will
 298             handle partners in batch to avoid doing numerous queries.
 299
 300             :param list messages: list of message, as get_dict result
 301             :param dict message_tree: {[msg.id]: msg browse record}
 302         """
 303         res_partner_obj = self.pool.get('res.partner')
 304         ir_attachment_obj = self.pool.get('ir.attachment')
 305         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 306
 307         # 1. Aggregate partners (author_id and partner_ids) and attachments
 308         partner_ids = set()
 309         attachment_ids = set()
 310         for key, message in message_tree.iteritems():
 311             if message.author_id:
 312                 partner_ids |= set([message.author_id.id])
 313             if message.notified_partner_ids:
 314                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 315             if message.attachment_ids:
 316                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 317         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 318         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 319         partner_tree = dict((partner[0], partner) for partner in partners)
 320
 321         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 322         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name'], context=context)
 323         attachments_tree = dict((attachment['id'], {'id': attachment['id'], 'filename': attachment['datas_fname'], 'name': attachment['name']}) for attachment in attachments)
 324
 325         # 3. Update message dictionaries
 326         for message_dict in messages:
 327             message_id = message_dict.get('id')
 328             message = message_tree[message_id]
 329             if message.author_id:
 330                 author = partner_tree[message.author_id.id]
 331             else:
 332                 author = (0, message.email_from)
 333             partner_ids = []
 334             for partner in message.notified_partner_ids:
 335                 if partner.id in partner_tree:
 336                     partner_ids.append(partner_tree[partner.id])
 337             attachment_ids = []
 338             for attachment in message.attachment_ids:
 339                 if attachment.id in attachments_tree:
 340                     attachment_ids.append(attachments_tree[attachment.id])
 341             message_dict.update({
 342                 'is_author': pid == author[0],
 343                 'author_id': author,
 344                 'partner_ids': partner_ids,
 345                 'attachment_ids': attachment_ids,
 346                 })
 347         return True
 348
 349     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 350         """ Return a dict representation of the message. This representation is
 351             used in the JS client code, to display the messages. Partners and
 352             attachments related stuff will be done in post-processing in batch.
 353
 354             :param dict message: mail.message browse record
 355         """
 356         # private message: no model, no res_id
 357         is_private = False
 358         if not message.model or not message.res_id:
 359             is_private = True
 360         # votes and favorites: res.users ids, no prefetching should be done
 361         vote_nb = len(message.vote_user_ids)
 362         has_voted = uid in [user.id for user in message.vote_user_ids]
 363
 364         try:
 365             body_html = html_email_clean(message.body)
 366         except Exception:
 367             body_html = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 368             _logger.exception(Exception)
 369
 370         return {'id': message.id,
 371                 'type': message.type,
 372                 'subtype': message.subtype_id.name if message.subtype_id else False,
 373                 'body': body_html,
 374                 'model': message.model,
 375                 'res_id': message.res_id,
 376                 'record_name': message.record_name,
 377                 'subject': message.subject,
 378                 'date': message.date,
 379                 'to_read': message.to_read,
 380                 'parent_id': parent_id,
 381                 'is_private': is_private,
 382                 'author_id': False,
 383                 'is_author': False,
 384                 'partner_ids': [],
 385                 'vote_nb': vote_nb,
 386                 'has_voted': has_voted,
 387                 'is_favorite': message.starred,
 388                 'attachment_ids': [],
 389             }
 390
 391     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 392             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 393         """ Create expandables for message_read, to load new messages.
 394             1. get the expandable for new threads
 395                 if display is flat (thread_level == 0):
 396                     fetch message_ids < min(already displayed ids), because we
 397                     want a flat display, ordered by id
 398                 else:
 399                     fetch message_ids that are not childs of already displayed
 400                     messages
 401             2. get the expandables for new messages inside threads if display
 402                is not flat
 403                 for each thread header, search for its childs
 404                     for each hole in the child list based on message displayed,
 405                     create an expandable
 406
 407             :param list messages: list of message structure for the Chatter
 408                 widget to which expandables are added
 409             :param dict message_tree: dict [id]: browse record of this message
 410             :param dict parent_tree: dict [parent_id]: [child_ids]
 411             :param list message_unload_ids: list of message_ids we do not want
 412                 to load
 413             :return bool: True
 414         """
 415         def _get_expandable(domain, message_nb, parent_id, max_limit):
 416             return {
 417                 'domain': domain,
 418                 'nb_messages': message_nb,
 419                 'type': 'expandable',
 420                 'parent_id': parent_id,
 421                 'max_limit':  max_limit,
 422             }
 423
 424         if not messages:
 425             return True
 426         message_ids = sorted(message_tree.keys())
 427
 428         # 1. get the expandable for new threads
 429         if thread_level == 0:
 430             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 431         else:
 432             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 433         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 434         if ids:
 435             # inside a thread: prepend
 436             if parent_id:
 437                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 438             # new threads: append
 439             else:
 440                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 441
 442         # 2. get the expandables for new messages inside threads if display is not flat
 443         if thread_level == 0:
 444             return True
 445         for message_id in message_ids:
 446             message = message_tree[message_id]
 447
 448             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 449             if message.parent_id:
 450                 continue
 451
 452             # check there are message for expandable
 453             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 454             child_ids = sorted(list(child_ids), reverse=True)
 455             if not child_ids:
 456                 continue
 457
 458             # make groups of unread messages
 459             id_min, id_max, nb = max(child_ids), 0, 0
 460             for child_id in child_ids:
 461                 if not child_id in message_ids:
 462                     nb += 1
 463                     if id_min > child_id:
 464                         id_min = child_id
 465                     if id_max < child_id:
 466                         id_max = child_id
 467                 elif nb > 0:
 468                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 469                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 470                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 471                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 472                     id_min, id_max, nb = max(child_ids), 0, 0
 473                 else:
 474                     id_min, id_max, nb = max(child_ids), 0, 0
 475             if nb > 0:
 476                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 477                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 478                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 479                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 480
 481         return True
 482
 483     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 484                         thread_level=0, context=None, parent_id=False, limit=None):
 485         """ Read messages from mail.message, and get back a list of structured
 486             messages to be displayed as discussion threads. If IDs is set,
 487             fetch these records. Otherwise use the domain to fetch messages.
 488             After having fetch messages, their ancestors will be added to obtain
 489             well formed threads, if uid has access to them.
 490
 491             After reading the messages, expandable messages are added in the
 492             message list (see ``_message_read_add_expandables``). It consists
 493             in messages holding the 'read more' data: number of messages to
 494             read, domain to apply.
 495
 496             :param list ids: optional IDs to fetch
 497             :param list domain: optional domain for searching ids if ids not set
 498             :param list message_unload_ids: optional ids we do not want to fetch,
 499                 because i.e. they are already displayed somewhere
 500             :param int parent_id: context of parent_id
 501                 - if parent_id reached when adding ancestors, stop going further
 502                   in the ancestor search
 503                 - if set in flat mode, ancestor_id is set to parent_id
 504             :param int limit: number of messages to fetch, before adding the
 505                 ancestors and expandables
 506             :return list: list of message structure for the Chatter widget
 507         """
 508         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 509         domain = domain if domain is not None else []
 510         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 511         if message_unload_ids:
 512             domain += [('id', 'not in', message_unload_ids)]
 513         notification_obj = self.pool.get('mail.notification')
 514         limit = limit or self._message_read_limit
 515         message_tree = {}
 516         message_list = []
 517         parent_tree = {}
 518
 519         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 520         if ids is None:
 521             ids = self.search(cr, uid, domain, context=context, limit=limit)
 522
 523         # fetch parent if threaded, sort messages
 524         for message in self.browse(cr, uid, ids, context=context):
 525             message_id = message.id
 526             if message_id in message_tree:
 527                 continue
 528             message_tree[message_id] = message
 529
 530             # find parent_id
 531             if thread_level == 0:
 532                 tree_parent_id = parent_id
 533             else:
 534                 tree_parent_id = message_id
 535                 parent = message
 536                 while parent.parent_id and parent.parent_id.id != parent_id:
 537                     parent = parent.parent_id
 538                     tree_parent_id = parent.id
 539                 if not parent.id in message_tree:
 540                     message_tree[parent.id] = parent
 541             # newest messages first
 542             parent_tree.setdefault(tree_parent_id, [])
 543             if tree_parent_id != message_id:
 544                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 545
 546         if thread_level:
 547             for key, message_id_list in parent_tree.iteritems():
 548                 message_id_list.sort(key=lambda item: item['id'])
 549                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 550
 551         # create final ordered message_list based on parent_tree
 552         parent_list = parent_tree.items()
 553         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 554         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 555
 556         # get the child expandable messages for the tree
 557         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 558         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 559             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 560         return message_list
 561
 562     #------------------------------------------------------
 563     # mail_message internals
 564     #------------------------------------------------------
 565
 566     def init(self, cr):
 567         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 568         if not cr.fetchone():
 569             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 570
 571     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 572         doc_ids = doc_dict.keys()
 573         allowed_doc_ids = self.pool[doc_model].search(cr, uid, [('id', 'in', doc_ids)], context=context)
 574         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 575
 576     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 577         model_access_obj = self.pool.get('ir.model.access')
 578         allowed_ids = set()
 579         for doc_model, doc_dict in model_ids.iteritems():
 580             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 581                 continue
 582             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 583         return allowed_ids
 584
 585     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 586         context=None, count=False, access_rights_uid=None):
 587         """ Override that adds specific access rights of mail.message, to remove
 588             ids uid could not see according to our custom rules. Please refer
 589             to check_access_rule for more details about those rules.
 590
 591             After having received ids of a classic search, keep only:
 592             - if author_id == pid, uid is the author, OR
 593             - a notification (id, pid) exists, uid has been notified, OR
 594             - uid have read access to the related document is model, res_id
 595             - otherwise: remove the id
 596         """
 597         # Rules do not apply to administrator
 598         if uid == SUPERUSER_ID:
 599             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 600                 context=context, count=count, access_rights_uid=access_rights_uid)
 601         # Perform a super with count as False, to have the ids, not a counter
 602         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 603             context=context, count=False, access_rights_uid=access_rights_uid)
 604         if not ids and count:
 605             return 0
 606         elif not ids:
 607             return ids
 608
 609         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'])['partner_id'][0]
 610         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 611         model_ids = {}
 612
 613         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 614         for message in messages:
 615             if message.get('author_id') and message.get('author_id')[0] == pid:
 616                 author_ids.add(message.get('id'))
 617             elif pid in message.get('notified_partner_ids'):
 618                 partner_ids.add(message.get('id'))
 619             elif message.get('model') and message.get('res_id'):
 620                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 621
 622         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 623         final_ids = author_ids | partner_ids | allowed_ids
 624
 625         if count:
 626             return len(final_ids)
 627         else:
 628             # re-construct a list based on ids, because set did not keep the original order
 629             id_list = [id for id in ids if id in final_ids]
 630             return id_list
 631
 632     def check_access_rule(self, cr, uid, ids, operation, context=None):
 633         """ Access rules of mail.message:
 634             - read: if
 635                 - author_id == pid, uid is the author, OR
 636                 - mail_notification (id, pid) exists, uid has been notified, OR
 637                 - uid have read access to the related document if model, res_id
 638                 - otherwise: raise
 639             - create: if
 640                 - no model, no res_id, I create a private message OR
 641                 - pid in message_follower_ids if model, res_id OR
 642                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 643                 - uid have write access on the related document if model, res_id, OR
 644                 - otherwise: raise
 645             - write: if
 646                 - author_id == pid, uid is the author, OR
 647                 - uid has write access on the related document if model, res_id
 648                 - otherwise: raise
 649             - unlink: if
 650                 - uid has write access on the related document if model, res_id
 651                 - otherwise: raise
 652         """
 653         def _generate_model_record_ids(msg_val, msg_ids=[]):
 654             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 655                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 656             """
 657             model_record_ids = {}
 658             for id in msg_ids:
 659                 if msg_val[id]['model'] and msg_val[id]['res_id']:
 660                     model_record_ids.setdefault(msg_val[id]['model'], dict()).setdefault(msg_val[id]['res_id'], set()).add(msg_val[id]['res_id'])
 661             return model_record_ids
 662
 663         if uid == SUPERUSER_ID:
 664             return
 665         if isinstance(ids, (int, long)):
 666             ids = [ids]
 667         not_obj = self.pool.get('mail.notification')
 668         fol_obj = self.pool.get('mail.followers')
 669         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 670
 671         # Read mail_message.ids to have their values
 672         message_values = dict.fromkeys(ids)
 673         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 674         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 675             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 676
 677         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 678         author_ids = []
 679         if operation == 'read' or operation == 'write':
 680             author_ids = [mid for mid, message in message_values.iteritems()
 681                 if message.get('author_id') and message.get('author_id') == partner_id]
 682         elif operation == 'create':
 683             author_ids = [mid for mid, message in message_values.iteritems()
 684                 if not message.get('model') and not message.get('res_id')]
 685
 686         # Parent condition, for create (check for received notifications for the created message parent)
 687         notified_ids = []
 688         if operation == 'create':
 689             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 690                 if message.get('parent_id')]
 691             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 692             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 693             notified_ids += [mid for mid, message in message_values.iteritems()
 694                 if message.get('parent_id') in not_parent_ids]
 695
 696         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 697         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 698         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 699         if operation == 'read':
 700             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 701                 ('partner_id', '=', partner_id),
 702                 ('message_id', 'in', ids),
 703             ], context=context)
 704             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 705         elif operation == 'create':
 706             for doc_model, doc_dict in model_record_ids.items():
 707                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 708                     ('res_model', '=', doc_model),
 709                     ('res_id', 'in', list(doc_dict.keys())),
 710                     ('partner_id', '=', partner_id),
 711                     ], context=context)
 712                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 713                 notified_ids += [mid for mid, message in message_values.iteritems()
 714                     if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 715
 716         # CRUD: Access rights related to the document
 717         other_ids = other_ids.difference(set(notified_ids))
 718         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 719         document_related_ids = []
 720         for model, doc_dict in model_record_ids.items():
 721             model_obj = self.pool[model]
 722             mids = model_obj.exists(cr, uid, doc_dict.keys())
 723             if operation in ['create', 'write', 'unlink']:
 724                 model_obj.check_access_rights(cr, uid, 'write')
 725                 model_obj.check_access_rule(cr, uid, mids, 'write', context=context)
 726             else:
 727                 model_obj.check_access_rights(cr, uid, operation)
 728                 model_obj.check_access_rule(cr, uid, mids, operation, context=context)
 729             document_related_ids += [mid for mid, message in message_values.iteritems()
 730                 if message.get('model') == model and message.get('res_id') in mids]
 731
 732         # Calculate remaining ids: if not void, raise an error
 733         other_ids = other_ids.difference(set(document_related_ids))
 734         if not other_ids:
 735             return
 736         raise orm.except_orm(_('Access Denied'),
 737                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 738                             (self._description, operation))
 739
 740     def create(self, cr, uid, values, context=None):
 741         if context is None:
 742             context = {}
 743         default_starred = context.pop('default_starred', False)
 744         # generate message_id, to redirect answers to the right discussion thread
 745         if not values.get('message_id') and values.get('reply_to'):
 746             values['message_id'] = tools.generate_tracking_message_id('reply_to')
 747         elif not values.get('message_id') and values.get('res_id') and values.get('model'):
 748             values['message_id'] = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 749         elif not values.get('message_id'):
 750             values['message_id'] = tools.generate_tracking_message_id('private')
 751         newid = super(mail_message, self).create(cr, uid, values, context)
 752         self._notify(cr, uid, newid, context=context)
 753         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 754         # Because starred will call set_message_starred, that looks for notifications.
 755         # When creating a new mail_message, it will create a notification to a message
 756         # that does not exist, leading to an error (key not existing). Also this
 757         # this means unread notifications will be created, yet we can not assure
 758         # this is what we want.
 759         if default_starred:
 760             self.set_message_starred(cr, uid, [newid], True, context=context)
 761         return newid
 762
 763     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 764         """ Override to explicitely call check_access_rule, that is not called
 765             by the ORM. It instead directly fetches ir.rules and apply them. """
 766         self.check_access_rule(cr, uid, ids, 'read', context=context)
 767         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 768         return res
 769
 770     def unlink(self, cr, uid, ids, context=None):
 771         # cascade-delete attachments that are directly attached to the message (should only happen
 772         # for mail.messages that act as parent for a standalone mail.mail record).
 773         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 774         attachments_to_delete = []
 775         for message in self.browse(cr, uid, ids, context=context):
 776             for attach in message.attachment_ids:
 777                 if attach.res_model == self._name and (attach.res_id == message.id or attach.res_id == 0):
 778                     attachments_to_delete.append(attach.id)
 779         if attachments_to_delete:
 780             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 781         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 782
 783     def copy(self, cr, uid, id, default=None, context=None):
 784         """ Overridden to avoid duplicating fields that are unique to each email """
 785         if default is None:
 786             default = {}
 787         default.update(message_id=False, headers=False)
 788         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 789
 790     #------------------------------------------------------
 791     # Messaging API
 792     #------------------------------------------------------
 793
 794     # TDE note: this code is not used currently, will be improved in a future merge, when quoted context
 795     # will be added to email send for notifications. Currently only WIP.
 796     MAIL_TEMPLATE = """<div>
 797     % if message:
 798         ${display_message(message)}
 799     % endif
 800     % for ctx_msg in context_messages:
 801         ${display_message(ctx_msg)}
 802     % endfor
 803     % if add_expandable:
 804         ${display_expandable()}
 805     % endif
 806     ${display_message(header_message)}
 807     </div>
 808
 809     <%def name="display_message(message)">
 810         <div>
 811             Subject: ${message.subject}<br />
 812             Body: ${message.body}
 813         </div>
 814     </%def>
 815
 816     <%def name="display_expandable()">
 817         <div>This is an expandable.</div>
 818     </%def>
 819     """
 820
 821     def message_quote_context(self, cr, uid, id, context=None, limit=3, add_original=False):
 822         """
 823             1. message.parent_id = False: new thread, no quote_context
 824             2. get the lasts messages in the thread before message
 825             3. get the message header
 826             4. add an expandable between them
 827
 828             :param dict quote_context: options for quoting
 829             :return string: html quote
 830         """
 831         add_expandable = False
 832
 833         message = self.browse(cr, uid, id, context=context)
 834         if not message.parent_id:
 835             return ''
 836         context_ids = self.search(cr, uid, [
 837             ('parent_id', '=', message.parent_id.id),
 838             ('id', '<', message.id),
 839             ], limit=limit, context=context)
 840
 841         if len(context_ids) >= limit:
 842             add_expandable = True
 843             context_ids = context_ids[0:-1]
 844
 845         context_ids.append(message.parent_id.id)
 846         context_messages = self.browse(cr, uid, context_ids, context=context)
 847         header_message = context_messages.pop()
 848
 849         try:
 850             if not add_original:
 851                 message = False
 852             result = MakoTemplate(self.MAIL_TEMPLATE).render_unicode(message=message,
 853                                                         context_messages=context_messages,
 854                                                         header_message=header_message,
 855                                                         add_expandable=add_expandable,
 856                                                         # context kw would clash with mako internals
 857                                                         ctx=context,
 858                                                         format_exceptions=True)
 859             result = result.strip()
 860             return result
 861         except Exception:
 862             _logger.exception("failed to render mako template for quoting message")
 863             return ''
 864         return result
 865
 866     def _notify(self, cr, uid, newid, context=None):
 867         """ Add the related record followers to the destination partner_ids if is not a private message.
 868             Call mail_notification.notify to manage the email sending
 869         """
 870         notification_obj = self.pool.get('mail.notification')
 871         message = self.browse(cr, uid, newid, context=context)
 872
 873         partners_to_notify = set([])
 874         # message has no subtype_id: pure log message -> no partners, no one notified
 875         if not message.subtype_id:
 876             return True
 877
 878         # all followers of the mail.message document have to be added as partners and notified
 879         if message.model and message.res_id:
 880             fol_obj = self.pool.get("mail.followers")
 881             # browse as SUPERUSER because rules could restrict the search results
 882             fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 883                 ('res_model', '=', message.model),
 884                 ('res_id', '=', message.res_id),
 885                 ('subtype_ids', 'in', message.subtype_id.id)
 886                 ], context=context)
 887             partners_to_notify |= set(fo.partner_id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context))
 888         # remove me from notified partners, unless the message is written on my own wall
 889         if message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 890             partners_to_notify |= set([message.author_id])
 891         elif message.author_id:
 892             partners_to_notify -= set([message.author_id])
 893
 894         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 895         if message.partner_ids:
 896             partners_to_notify |= set(message.partner_ids)
 897
 898         # notify
 899         if partners_to_notify:
 900             notification_obj._notify(cr, uid, newid, partners_to_notify=[p.id for p in partners_to_notify], context=context)
 901         message.refresh()
 902
 903         # An error appear when a user receive a notification without notifying
 904         # the parent message -> add a read notification for the parent
 905         if message.parent_id:
 906             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 907             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 908             for partner in partners_to_parent_notify:
 909                 notification_obj.create(cr, uid, {
 910                         'message_id': message.parent_id.id,
 911                         'partner_id': partner.id,
 912                         'read': True,
 913                     }, context=context)
 914
 915     #------------------------------------------------------
 916     # Tools
 917     #------------------------------------------------------
 918
 919     def check_partners_email(self, cr, uid, partner_ids, context=None):
 920         """ Verify that selected partner_ids have an email_address defined.
 921             Otherwise throw a warning. """
 922         partner_wo_email_lst = []
 923         for partner in self.pool.get('res.partner').browse(cr, uid, partner_ids, context=context):
 924             if not partner.email:
 925                 partner_wo_email_lst.append(partner)
 926         if not partner_wo_email_lst:
 927             return {}
 928         warning_msg = _('The following partners chosen as recipients for the email have no email address linked :')
 929         for partner in partner_wo_email_lst:
 930             warning_msg += '\n- %s' % (partner.name)
 931         return {'warning': {
 932                     'title': _('Partners email addresses not found'),
 933                     'message': warning_msg,
 934                     }
 935                 }