addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 from openerp import tools
  24
  25 from email.header import decode_header
  26 from openerp import SUPERUSER_ID
  27 from openerp.osv import osv, orm, fields
  28 from openerp.tools import html_email_clean
  29 from openerp.tools.translate import _
  30 from HTMLParser import HTMLParser
  31
  32 _logger = logging.getLogger(__name__)
  33
  34 try:
  35     from mako.template import Template as MakoTemplate
  36 except ImportError:
  37     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  38
  39
  40 """ Some tools for parsing / creating email fields """
  41 def decode(text):
  42     """Returns unicode() string conversion of the the given encoded smtp header text"""
  43     if text:
  44         text = decode_header(text.replace('\r', ''))
  45         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  46
  47 class MLStripper(HTMLParser):
  48     def __init__(self):
  49         self.reset()
  50         self.fed = []
  51     def handle_data(self, d):
  52         self.fed.append(d)
  53     def get_data(self):
  54         return ''.join(self.fed)
  55
  56 def strip_tags(html):
  57     s = MLStripper()
  58     s.feed(html)
  59     return s.get_data()
  60
  61 class mail_message(osv.Model):
  62     """ Messages model: system notification (replacing res.log notifications),
  63         comments (OpenChatter discussion) and incoming emails. """
  64     _name = 'mail.message'
  65     _description = 'Message'
  66     _inherit = ['ir.needaction_mixin']
  67     _order = 'id desc'
  68     _rec_name = 'record_name'
  69
  70     _message_read_limit = 30
  71     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  72         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  73     _message_record_name_length = 18
  74     _message_read_more_limit = 1024
  75
  76     def default_get(self, cr, uid, fields, context=None):
  77         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  78         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  79             context = dict(context, default_type=None)
  80         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  81
  82     def _shorten_name(self, name):
  83         if len(name) <= (self._message_record_name_length + 3):
  84             return name
  85         return name[:self._message_record_name_length] + '...'
  86
  87     def _get_record_name(self, cr, uid, ids, name, arg, context=None):
  88         """ Return the related document name, using name_get. It is done using
  89             SUPERUSER_ID, to be sure to have the record name correctly stored. """
  90         # TDE note: regroup by model/ids, to have less queries to perform
  91         result = dict.fromkeys(ids, False)
  92         for message in self.read(cr, uid, ids, ['model', 'res_id'], context=context):
  93             if not message.get('model') or not message.get('res_id') or message['model'] not in self.pool:
  94                 continue
  95             result[message['id']] = self.pool[message['model']].name_get(cr, SUPERUSER_ID, [message['res_id']], context=context)[0][1]
  96         return result
  97
  98     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  99         """ Compute if the message is unread by the current user. """
 100         res = dict((id, False) for id in ids)
 101         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 102         notif_obj = self.pool.get('mail.notification')
 103         notif_ids = notif_obj.search(cr, uid, [
 104             ('partner_id', 'in', [partner_id]),
 105             ('message_id', 'in', ids),
 106             ('read', '=', False),
 107         ], context=context)
 108         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 109             res[notif.message_id.id] = True
 110         return res
 111
 112     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
 113         """ Search for messages to read by the current user. Condition is
 114             inversed because we search unread message on a read column. """
 115         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 116
 117     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 118         """ Compute if the message is unread by the current user. """
 119         res = dict((id, False) for id in ids)
 120         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 121         notif_obj = self.pool.get('mail.notification')
 122         notif_ids = notif_obj.search(cr, uid, [
 123             ('partner_id', 'in', [partner_id]),
 124             ('message_id', 'in', ids),
 125             ('starred', '=', True),
 126         ], context=context)
 127         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 128             res[notif.message_id.id] = True
 129         return res
 130
 131     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 132         """ Search for messages to read by the current user. Condition is
 133             inversed because we search unread message on a read column. """
 134         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 135
 136     def name_get(self, cr, uid, ids, context=None):
 137         # name_get may receive int id instead of an id list
 138         if isinstance(ids, (int, long)):
 139             ids = [ids]
 140         res = []
 141         for message in self.browse(cr, uid, ids, context=context):
 142             name = '%s: %s' % (message.subject or '', strip_tags(message.body or '') or '')
 143             res.append((message.id, self._shorten_name(name.lstrip(' :'))))
 144         return res
 145
 146     _columns = {
 147         'type': fields.selection([
 148                         ('email', 'Email'),
 149                         ('comment', 'Comment'),
 150                         ('notification', 'System notification'),
 151                         ], 'Type',
 152             help="Message type: email for email message, notification for system "\
 153                  "message, comment for other messages such as user replies"),
 154         'email_from': fields.char('From',
 155             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 156         'reply_to': fields.char('Reply-To',
 157             help='Reply email address. Setting the reply_to bypasses the automatic thread creation.'),
 158         'author_id': fields.many2one('res.partner', 'Author', select=1,
 159             ondelete='set null',
 160             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 161         'author_avatar': fields.related('author_id', 'image_small', type="binary", string="Author's Avatar"),
 162         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 163         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 164             'message_id', 'partner_id', 'Notified partners',
 165             help='Partners that have a notification pushing this message in their mailboxes'),
 166         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 167             'message_id', 'attachment_id', 'Attachments'),
 168         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 169             ondelete='set null', help="Initial thread message."),
 170         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 171         'model': fields.char('Related Document Model', size=128, select=1),
 172         'res_id': fields.integer('Related Document ID', select=1),
 173         'record_name': fields.function(_get_record_name, type='char',
 174             store=True, string='Message Record Name',
 175             help="Name get of the related document."),
 176         'notification_ids': fields.one2many('mail.notification', 'message_id',
 177             string='Notifications', auto_join=True,
 178             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 179         'subject': fields.char('Subject'),
 180         'date': fields.datetime('Date'),
 181         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 182         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 183         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 184             type='boolean', string='To read',
 185             help='Current user has an unread notification linked to this message'),
 186         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 187             type='boolean', string='Starred',
 188             help='Current user has a starred notification linked to this message'),
 189         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 190             ondelete='set null', select=1,),
 191         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 192             'message_id', 'user_id', string='Votes',
 193             help='Users that voted for this message'),
 194     }
 195
 196     def _needaction_domain_get(self, cr, uid, context=None):
 197         return [('to_read', '=', True)]
 198
 199     def _get_default_from(self, cr, uid, context=None):
 200         this = self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context)
 201         if this.alias_domain:
 202             return '%s <%s@%s>' % (this.name, this.alias_name, this.alias_domain)
 203         elif this.email:
 204             return '%s <%s>' % (this.name, this.email)
 205         raise osv.except_osv(_('Invalid Action!'), _("Unable to send email, please configure the sender's email address or alias."))
 206
 207     def _get_default_author(self, cr, uid, context=None):
 208         return self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 209
 210     _defaults = {
 211         'type': 'email',
 212         'date': lambda *a: fields.datetime.now(),
 213         'author_id': lambda self, cr, uid, ctx=None: self._get_default_author(cr, uid, ctx),
 214         'body': '',
 215         'email_from': lambda self, cr, uid, ctx=None: self._get_default_from(cr, uid, ctx),
 216     }
 217
 218     #------------------------------------------------------
 219     # Vote/Like
 220     #------------------------------------------------------
 221
 222     def vote_toggle(self, cr, uid, ids, context=None):
 223         ''' Toggles vote. Performed using read to avoid access rights issues.
 224             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 225         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 226             new_has_voted = not (uid in message.get('vote_user_ids'))
 227             if new_has_voted:
 228                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 229             else:
 230                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 231         return new_has_voted or False
 232
 233     #------------------------------------------------------
 234     # download an attachment
 235     #------------------------------------------------------
 236
 237     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 238         """ Return the content of linked attachments. """
 239         message = self.browse(cr, uid, id_message, context=context)
 240         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 241             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 242             if attachment.datas and attachment.datas_fname:
 243                 return {
 244                     'base64': attachment.datas,
 245                     'filename': attachment.datas_fname,
 246                 }
 247         return False
 248
 249     #------------------------------------------------------
 250     # Notification API
 251     #------------------------------------------------------
 252
 253     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 254         """ Set messages as (un)read. Technically, the notifications related
 255             to uid are set to (un)read. If for some msg_ids there are missing
 256             notifications (i.e. due to load more or thread parent fetching),
 257             they are created.
 258
 259             :param bool read: set notification as (un)read
 260             :param bool create_missing: create notifications for missing entries
 261                 (i.e. when acting on displayed messages not notified)
 262
 263             :return number of message mark as read
 264         """
 265         notification_obj = self.pool.get('mail.notification')
 266         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 267         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 268         if not create_missing:
 269             domain += [('read', '=', not read)]
 270         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 271
 272         # all message have notifications: already set them as (un)read
 273         if len(notif_ids) == len(msg_ids) or not create_missing:
 274             notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 275             return len(notif_ids)
 276
 277         # some messages do not have notifications: find which one, create notification, update read status
 278         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 279         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 280         for msg_id in to_create_msg_ids:
 281             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 282         notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 283         return len(notif_ids)
 284
 285     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 286         """ Set messages as (un)starred. Technically, the notifications related
 287             to uid are set to (un)starred.
 288
 289             :param bool starred: set notification as (un)starred
 290             :param bool create_missing: create notifications for missing entries
 291                 (i.e. when acting on displayed messages not notified)
 292         """
 293         notification_obj = self.pool.get('mail.notification')
 294         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 295         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 296         if not create_missing:
 297             domain += [('starred', '=', not starred)]
 298         values = {
 299             'starred': starred
 300         }
 301         if starred:
 302             values['read'] = False
 303
 304         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 305
 306         # all message have notifications: already set them as (un)starred
 307         if len(notif_ids) == len(msg_ids) or not create_missing:
 308             notification_obj.write(cr, uid, notif_ids, values, context=context)
 309             return starred
 310
 311         # some messages do not have notifications: find which one, create notification, update starred status
 312         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 313         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 314         for msg_id in to_create_msg_ids:
 315             notification_obj.create(cr, uid, dict(values, partner_id=user_pid, message_id=msg_id), context=context)
 316         notification_obj.write(cr, uid, notif_ids, values, context=context)
 317         return starred
 318
 319     #------------------------------------------------------
 320     # Message loading for web interface
 321     #------------------------------------------------------
 322
 323     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 324         """ Post-processing on values given by message_read. This method will
 325             handle partners in batch to avoid doing numerous queries.
 326
 327             :param list messages: list of message, as get_dict result
 328             :param dict message_tree: {[msg.id]: msg browse record}
 329         """
 330         res_partner_obj = self.pool.get('res.partner')
 331         ir_attachment_obj = self.pool.get('ir.attachment')
 332         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 333
 334         # 1. Aggregate partners (author_id and partner_ids) and attachments
 335         partner_ids = set()
 336         attachment_ids = set()
 337         for key, message in message_tree.iteritems():
 338             if message.author_id:
 339                 partner_ids |= set([message.author_id.id])
 340             if message.subtype_id and message.notified_partner_ids:  # take notified people of message with a subtype
 341                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 342             elif not message.subtype_id and message.partner_ids:  # take specified people of message without a subtype (log)
 343                 partner_ids |= set([partner.id for partner in message.partner_ids])
 344             if message.attachment_ids:
 345                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 346         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 347         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 348         partner_tree = dict((partner[0], partner) for partner in partners)
 349
 350         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 351         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name'], context=context)
 352         attachments_tree = dict((attachment['id'], {'id': attachment['id'], 'filename': attachment['datas_fname'], 'name': attachment['name']}) for attachment in attachments)
 353
 354         # 3. Update message dictionaries
 355         for message_dict in messages:
 356             message_id = message_dict.get('id')
 357             message = message_tree[message_id]
 358             if message.author_id:
 359                 author = partner_tree[message.author_id.id]
 360             else:
 361                 author = (0, message.email_from)
 362             partner_ids = []
 363             if message.subtype_id:
 364                 partner_ids = [partner_tree[partner.id] for partner in message.notified_partner_ids
 365                                 if partner.id in partner_tree]
 366             else:
 367                 partner_ids = [partner_tree[partner.id] for partner in message.partner_ids
 368                                 if partner.id in partner_tree]
 369             attachment_ids = []
 370             for attachment in message.attachment_ids:
 371                 if attachment.id in attachments_tree:
 372                     attachment_ids.append(attachments_tree[attachment.id])
 373             message_dict.update({
 374                 'is_author': pid == author[0],
 375                 'author_id': author,
 376                 'partner_ids': partner_ids,
 377                 'attachment_ids': attachment_ids,
 378                 })
 379         return True
 380
 381     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 382         """ Return a dict representation of the message. This representation is
 383             used in the JS client code, to display the messages. Partners and
 384             attachments related stuff will be done in post-processing in batch.
 385
 386             :param dict message: mail.message browse record
 387         """
 388         # private message: no model, no res_id
 389         is_private = False
 390         if not message.model or not message.res_id:
 391             is_private = True
 392         # votes and favorites: res.users ids, no prefetching should be done
 393         vote_nb = len(message.vote_user_ids)
 394         has_voted = uid in [user.id for user in message.vote_user_ids]
 395
 396         try:
 397             body_html = html_email_clean(message.body)
 398         except Exception:
 399             body_html = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 400             _logger.exception(Exception)
 401
 402         return {'id': message.id,
 403                 'type': message.type,
 404                 'subtype': message.subtype_id.name if message.subtype_id else False,
 405                 'body': body_html,
 406                 'model': message.model,
 407                 'res_id': message.res_id,
 408                 'record_name': message.record_name,
 409                 'subject': message.subject,
 410                 'date': message.date,
 411                 'to_read': message.to_read,
 412                 'parent_id': parent_id,
 413                 'is_private': is_private,
 414                 'author_id': False,
 415                 'author_avatar': message.author_avatar,
 416                 'is_author': False,
 417                 'partner_ids': [],
 418                 'vote_nb': vote_nb,
 419                 'has_voted': has_voted,
 420                 'is_favorite': message.starred,
 421                 'attachment_ids': [],
 422             }
 423
 424     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 425             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 426         """ Create expandables for message_read, to load new messages.
 427             1. get the expandable for new threads
 428                 if display is flat (thread_level == 0):
 429                     fetch message_ids < min(already displayed ids), because we
 430                     want a flat display, ordered by id
 431                 else:
 432                     fetch message_ids that are not childs of already displayed
 433                     messages
 434             2. get the expandables for new messages inside threads if display
 435                is not flat
 436                 for each thread header, search for its childs
 437                     for each hole in the child list based on message displayed,
 438                     create an expandable
 439
 440             :param list messages: list of message structure for the Chatter
 441                 widget to which expandables are added
 442             :param dict message_tree: dict [id]: browse record of this message
 443             :param dict parent_tree: dict [parent_id]: [child_ids]
 444             :param list message_unload_ids: list of message_ids we do not want
 445                 to load
 446             :return bool: True
 447         """
 448         def _get_expandable(domain, message_nb, parent_id, max_limit):
 449             return {
 450                 'domain': domain,
 451                 'nb_messages': message_nb,
 452                 'type': 'expandable',
 453                 'parent_id': parent_id,
 454                 'max_limit':  max_limit,
 455             }
 456
 457         if not messages:
 458             return True
 459         message_ids = sorted(message_tree.keys())
 460
 461         # 1. get the expandable for new threads
 462         if thread_level == 0:
 463             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 464         else:
 465             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 466         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 467         if ids:
 468             # inside a thread: prepend
 469             if parent_id:
 470                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 471             # new threads: append
 472             else:
 473                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 474
 475         # 2. get the expandables for new messages inside threads if display is not flat
 476         if thread_level == 0:
 477             return True
 478         for message_id in message_ids:
 479             message = message_tree[message_id]
 480
 481             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 482             if message.parent_id:
 483                 continue
 484
 485             # check there are message for expandable
 486             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 487             child_ids = sorted(list(child_ids), reverse=True)
 488             if not child_ids:
 489                 continue
 490
 491             # make groups of unread messages
 492             id_min, id_max, nb = max(child_ids), 0, 0
 493             for child_id in child_ids:
 494                 if not child_id in message_ids:
 495                     nb += 1
 496                     if id_min > child_id:
 497                         id_min = child_id
 498                     if id_max < child_id:
 499                         id_max = child_id
 500                 elif nb > 0:
 501                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 502                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 503                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 504                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 505                     id_min, id_max, nb = max(child_ids), 0, 0
 506                 else:
 507                     id_min, id_max, nb = max(child_ids), 0, 0
 508             if nb > 0:
 509                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 510                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 511                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 512                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 513
 514         return True
 515
 516     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 517                         thread_level=0, context=None, parent_id=False, limit=None):
 518         """ Read messages from mail.message, and get back a list of structured
 519             messages to be displayed as discussion threads. If IDs is set,
 520             fetch these records. Otherwise use the domain to fetch messages.
 521             After having fetch messages, their ancestors will be added to obtain
 522             well formed threads, if uid has access to them.
 523
 524             After reading the messages, expandable messages are added in the
 525             message list (see ``_message_read_add_expandables``). It consists
 526             in messages holding the 'read more' data: number of messages to
 527             read, domain to apply.
 528
 529             :param list ids: optional IDs to fetch
 530             :param list domain: optional domain for searching ids if ids not set
 531             :param list message_unload_ids: optional ids we do not want to fetch,
 532                 because i.e. they are already displayed somewhere
 533             :param int parent_id: context of parent_id
 534                 - if parent_id reached when adding ancestors, stop going further
 535                   in the ancestor search
 536                 - if set in flat mode, ancestor_id is set to parent_id
 537             :param int limit: number of messages to fetch, before adding the
 538                 ancestors and expandables
 539             :return list: list of message structure for the Chatter widget
 540         """
 541         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 542         domain = domain if domain is not None else []
 543         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 544         if message_unload_ids:
 545             domain += [('id', 'not in', message_unload_ids)]
 546         limit = limit or self._message_read_limit
 547         message_tree = {}
 548         message_list = []
 549         parent_tree = {}
 550
 551         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 552         if ids is None:
 553             ids = self.search(cr, uid, domain, context=context, limit=limit)
 554
 555         # fetch parent if threaded, sort messages
 556         for message in self.browse(cr, uid, ids, context=context):
 557             message_id = message.id
 558             if message_id in message_tree:
 559                 continue
 560             message_tree[message_id] = message
 561
 562             # find parent_id
 563             if thread_level == 0:
 564                 tree_parent_id = parent_id
 565             else:
 566                 tree_parent_id = message_id
 567                 parent = message
 568                 while parent.parent_id and parent.parent_id.id != parent_id:
 569                     parent = parent.parent_id
 570                     tree_parent_id = parent.id
 571                 if not parent.id in message_tree:
 572                     message_tree[parent.id] = parent
 573             # newest messages first
 574             parent_tree.setdefault(tree_parent_id, [])
 575             if tree_parent_id != message_id:
 576                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 577
 578         if thread_level:
 579             for key, message_id_list in parent_tree.iteritems():
 580                 message_id_list.sort(key=lambda item: item['id'])
 581                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 582
 583         # create final ordered message_list based on parent_tree
 584         parent_list = parent_tree.items()
 585         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 586         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 587
 588         # get the child expandable messages for the tree
 589         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 590         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 591             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 592         return message_list
 593
 594     #------------------------------------------------------
 595     # mail_message internals
 596     #------------------------------------------------------
 597
 598     def init(self, cr):
 599         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 600         if not cr.fetchone():
 601             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 602
 603     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 604         doc_ids = doc_dict.keys()
 605         allowed_doc_ids = self.pool[doc_model].search(cr, uid, [('id', 'in', doc_ids)], context=context)
 606         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 607
 608     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 609         model_access_obj = self.pool.get('ir.model.access')
 610         allowed_ids = set()
 611         for doc_model, doc_dict in model_ids.iteritems():
 612             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 613                 continue
 614             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 615         return allowed_ids
 616
 617     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 618         context=None, count=False, access_rights_uid=None):
 619         """ Override that adds specific access rights of mail.message, to remove
 620             ids uid could not see according to our custom rules. Please refer
 621             to check_access_rule for more details about those rules.
 622
 623             After having received ids of a classic search, keep only:
 624             - if author_id == pid, uid is the author, OR
 625             - a notification (id, pid) exists, uid has been notified, OR
 626             - uid have read access to the related document is model, res_id
 627             - otherwise: remove the id
 628         """
 629         # Rules do not apply to administrator
 630         if uid == SUPERUSER_ID:
 631             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 632                 context=context, count=count, access_rights_uid=access_rights_uid)
 633         # Perform a super with count as False, to have the ids, not a counter
 634         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 635             context=context, count=False, access_rights_uid=access_rights_uid)
 636         if not ids and count:
 637             return 0
 638         elif not ids:
 639             return ids
 640
 641         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'])['partner_id'][0]
 642         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 643         model_ids = {}
 644
 645         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 646         for message in messages:
 647             if message.get('author_id') and message.get('author_id')[0] == pid:
 648                 author_ids.add(message.get('id'))
 649             elif pid in message.get('notified_partner_ids'):
 650                 partner_ids.add(message.get('id'))
 651             elif message.get('model') and message.get('res_id'):
 652                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 653
 654         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 655         final_ids = author_ids | partner_ids | allowed_ids
 656
 657         if count:
 658             return len(final_ids)
 659         else:
 660             # re-construct a list based on ids, because set did not keep the original order
 661             id_list = [id for id in ids if id in final_ids]
 662             return id_list
 663
 664     def check_access_rule(self, cr, uid, ids, operation, context=None):
 665         """ Access rules of mail.message:
 666             - read: if
 667                 - author_id == pid, uid is the author, OR
 668                 - mail_notification (id, pid) exists, uid has been notified, OR
 669                 - uid have read access to the related document if model, res_id
 670                 - otherwise: raise
 671             - create: if
 672                 - no model, no res_id, I create a private message OR
 673                 - pid in message_follower_ids if model, res_id OR
 674                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 675                 - uid have write access on the related document if model, res_id, OR
 676                 - otherwise: raise
 677             - write: if
 678                 - author_id == pid, uid is the author, OR
 679                 - uid has write access on the related document if model, res_id
 680                 - otherwise: raise
 681             - unlink: if
 682                 - uid has write access on the related document if model, res_id
 683                 - otherwise: raise
 684         """
 685         def _generate_model_record_ids(msg_val, msg_ids=[]):
 686             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 687                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 688             """
 689             model_record_ids = {}
 690             for id in msg_ids:
 691                 if msg_val[id]['model'] and msg_val[id]['res_id']:
 692                     model_record_ids.setdefault(msg_val[id]['model'], dict()).setdefault(msg_val[id]['res_id'], set()).add(msg_val[id]['res_id'])
 693             return model_record_ids
 694
 695         if uid == SUPERUSER_ID:
 696             return
 697         if isinstance(ids, (int, long)):
 698             ids = [ids]
 699         not_obj = self.pool.get('mail.notification')
 700         fol_obj = self.pool.get('mail.followers')
 701         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 702
 703         # Read mail_message.ids to have their values
 704         message_values = dict.fromkeys(ids)
 705         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 706         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 707             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 708
 709         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 710         author_ids = []
 711         if operation == 'read' or operation == 'write':
 712             author_ids = [mid for mid, message in message_values.iteritems()
 713                 if message.get('author_id') and message.get('author_id') == partner_id]
 714         elif operation == 'create':
 715             author_ids = [mid for mid, message in message_values.iteritems()
 716                 if not message.get('model') and not message.get('res_id')]
 717
 718         # Parent condition, for create (check for received notifications for the created message parent)
 719         notified_ids = []
 720         if operation == 'create':
 721             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 722                 if message.get('parent_id')]
 723             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 724             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 725             notified_ids += [mid for mid, message in message_values.iteritems()
 726                 if message.get('parent_id') in not_parent_ids]
 727
 728         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 729         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 730         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 731         if operation == 'read':
 732             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 733                 ('partner_id', '=', partner_id),
 734                 ('message_id', 'in', ids),
 735             ], context=context)
 736             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 737         elif operation == 'create':
 738             for doc_model, doc_dict in model_record_ids.items():
 739                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 740                     ('res_model', '=', doc_model),
 741                     ('res_id', 'in', list(doc_dict.keys())),
 742                     ('partner_id', '=', partner_id),
 743                     ], context=context)
 744                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 745                 notified_ids += [mid for mid, message in message_values.iteritems()
 746                     if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 747
 748         # CRUD: Access rights related to the document
 749         other_ids = other_ids.difference(set(notified_ids))
 750         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 751         document_related_ids = []
 752         for model, doc_dict in model_record_ids.items():
 753             model_obj = self.pool[model]
 754             mids = model_obj.exists(cr, uid, doc_dict.keys())
 755             if hasattr(model_obj, 'check_mail_message_access'):
 756                 model_obj.check_mail_message_access(cr, uid, mids, operation, context=context)
 757             else:
 758                 self.pool['mail.thread'].check_mail_message_access(cr, uid, mids, operation, model_obj=model_obj, context=context)
 759             document_related_ids += [mid for mid, message in message_values.iteritems()
 760                 if message.get('model') == model and message.get('res_id') in mids]
 761
 762         # Calculate remaining ids: if not void, raise an error
 763         other_ids = other_ids.difference(set(document_related_ids))
 764         if not other_ids:
 765             return
 766         raise orm.except_orm(_('Access Denied'),
 767                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 768                             (self._description, operation))
 769
 770     def create(self, cr, uid, values, context=None):
 771         if context is None:
 772             context = {}
 773         default_starred = context.pop('default_starred', False)
 774         # generate message_id, to redirect answers to the right discussion thread
 775         if not values.get('message_id') and values.get('reply_to'):
 776             values['message_id'] = tools.generate_tracking_message_id('reply_to')
 777         elif not values.get('message_id') and values.get('res_id') and values.get('model'):
 778             values['message_id'] = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 779         elif not values.get('message_id'):
 780             values['message_id'] = tools.generate_tracking_message_id('private')
 781         newid = super(mail_message, self).create(cr, uid, values, context)
 782         self._notify(cr, uid, newid, context=context,
 783                         force_send=context.get('mail_notify_force_send', True),
 784                         user_signature=context.get('mail_notify_user_signature', True))
 785         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 786         # Because starred will call set_message_starred, that looks for notifications.
 787         # When creating a new mail_message, it will create a notification to a message
 788         # that does not exist, leading to an error (key not existing). Also this
 789         # this means unread notifications will be created, yet we can not assure
 790         # this is what we want.
 791         if default_starred:
 792             self.set_message_starred(cr, uid, [newid], True, context=context)
 793         return newid
 794
 795     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 796         """ Override to explicitely call check_access_rule, that is not called
 797             by the ORM. It instead directly fetches ir.rules and apply them. """
 798         self.check_access_rule(cr, uid, ids, 'read', context=context)
 799         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 800         return res
 801
 802     def unlink(self, cr, uid, ids, context=None):
 803         # cascade-delete attachments that are directly attached to the message (should only happen
 804         # for mail.messages that act as parent for a standalone mail.mail record).
 805         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 806         attachments_to_delete = []
 807         for message in self.browse(cr, uid, ids, context=context):
 808             for attach in message.attachment_ids:
 809                 if attach.res_model == self._name and (attach.res_id == message.id or attach.res_id == 0):
 810                     attachments_to_delete.append(attach.id)
 811         if attachments_to_delete:
 812             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 813         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 814
 815     def copy(self, cr, uid, id, default=None, context=None):
 816         """ Overridden to avoid duplicating fields that are unique to each email """
 817         if default is None:
 818             default = {}
 819         default.update(message_id=False, headers=False)
 820         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 821
 822     #------------------------------------------------------
 823     # Messaging API
 824     #------------------------------------------------------
 825
 826     # TDE note: this code is not used currently, will be improved in a future merge, when quoted context
 827     # will be added to email send for notifications. Currently only WIP.
 828     MAIL_TEMPLATE = """<div>
 829     % if message:
 830         ${display_message(message)}
 831     % endif
 832     % for ctx_msg in context_messages:
 833         ${display_message(ctx_msg)}
 834     % endfor
 835     % if add_expandable:
 836         ${display_expandable()}
 837     % endif
 838     ${display_message(header_message)}
 839     </div>
 840
 841     <%def name="display_message(message)">
 842         <div>
 843             Subject: ${message.subject}<br />
 844             Body: ${message.body}
 845         </div>
 846     </%def>
 847
 848     <%def name="display_expandable()">
 849         <div>This is an expandable.</div>
 850     </%def>
 851     """
 852
 853     def message_quote_context(self, cr, uid, id, context=None, limit=3, add_original=False):
 854         """
 855             1. message.parent_id = False: new thread, no quote_context
 856             2. get the lasts messages in the thread before message
 857             3. get the message header
 858             4. add an expandable between them
 859
 860             :param dict quote_context: options for quoting
 861             :return string: html quote
 862         """
 863         add_expandable = False
 864
 865         message = self.browse(cr, uid, id, context=context)
 866         if not message.parent_id:
 867             return ''
 868         context_ids = self.search(cr, uid, [
 869             ('parent_id', '=', message.parent_id.id),
 870             ('id', '<', message.id),
 871             ], limit=limit, context=context)
 872
 873         if len(context_ids) >= limit:
 874             add_expandable = True
 875             context_ids = context_ids[0:-1]
 876
 877         context_ids.append(message.parent_id.id)
 878         context_messages = self.browse(cr, uid, context_ids, context=context)
 879         header_message = context_messages.pop()
 880
 881         try:
 882             if not add_original:
 883                 message = False
 884             result = MakoTemplate(self.MAIL_TEMPLATE).render_unicode(message=message,
 885                                                         context_messages=context_messages,
 886                                                         header_message=header_message,
 887                                                         add_expandable=add_expandable,
 888                                                         # context kw would clash with mako internals
 889                                                         ctx=context,
 890                                                         format_exceptions=True)
 891             result = result.strip()
 892             return result
 893         except Exception:
 894             _logger.exception("failed to render mako template for quoting message")
 895             return ''
 896         return result
 897
 898     def _notify(self, cr, uid, newid, context=None, force_send=False, user_signature=True):
 899         """ Add the related record followers to the destination partner_ids if is not a private message.
 900             Call mail_notification.notify to manage the email sending
 901         """
 902         notification_obj = self.pool.get('mail.notification')
 903         message = self.browse(cr, uid, newid, context=context)
 904         partners_to_notify = set([])
 905
 906         # all followers of the mail.message document have to be added as partners and notified if a subtype is defined (otherwise: log message)
 907         if message.subtype_id and message.model and message.res_id:
 908             fol_obj = self.pool.get("mail.followers")
 909             # browse as SUPERUSER because rules could restrict the search results
 910             fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 911                 ('res_model', '=', message.model),
 912                 ('res_id', '=', message.res_id),
 913                 ('subtype_ids', 'in', message.subtype_id.id)
 914                 ], context=context)
 915             partners_to_notify |= set(fo.partner_id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context))
 916         # remove me from notified partners, unless the message is written on my own wall
 917         if message.subtype_id and message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 918             partners_to_notify |= set([message.author_id])
 919         elif message.author_id:
 920             partners_to_notify -= set([message.author_id])
 921
 922         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 923         if message.partner_ids:
 924             partners_to_notify |= set(message.partner_ids)
 925
 926         # notify
 927         if partners_to_notify:
 928             notification_obj._notify(cr, uid, newid, partners_to_notify=[p.id for p in partners_to_notify], context=context,
 929                                             force_send=force_send, user_signature=user_signature)
 930         message.refresh()
 931
 932         # An error appear when a user receive a notification without notifying
 933         # the parent message -> add a read notification for the parent
 934         if message.parent_id:
 935             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 936             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 937             for partner in partners_to_parent_notify:
 938                 notification_obj.create(cr, uid, {
 939                         'message_id': message.parent_id.id,
 940                         'partner_id': partner.id,
 941                         'read': True,
 942                     }, context=context)
 943
 944     #------------------------------------------------------
 945     # Tools
 946     #------------------------------------------------------
 947
 948     def check_partners_email(self, cr, uid, partner_ids, context=None):
 949         """ Verify that selected partner_ids have an email_address defined.
 950             Otherwise throw a warning. """
 951         partner_wo_email_lst = []
 952         for partner in self.pool.get('res.partner').browse(cr, uid, partner_ids, context=context):
 953             if not partner.email:
 954                 partner_wo_email_lst.append(partner)
 955         if not partner_wo_email_lst:
 956             return {}
 957         warning_msg = _('The following partners chosen as recipients for the email have no email address linked :')
 958         for partner in partner_wo_email_lst:
 959             warning_msg += '\n- %s' % (partner.name)
 960         return {'warning': {
 961                     'title': _('Partners email addresses not found'),
 962                     'message': warning_msg,
 963                     }
 964                 }