addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 from openerp import tools
  24
  25 from email.header import decode_header
  26 from openerp import SUPERUSER_ID
  27 from openerp.osv import osv, orm, fields
  28 from openerp.tools import html_email_clean
  29 from openerp.tools.translate import _
  30 from HTMLParser import HTMLParser
  31
  32 _logger = logging.getLogger(__name__)
  33
  34 try:
  35     from mako.template import Template as MakoTemplate
  36 except ImportError:
  37     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  38
  39
  40 """ Some tools for parsing / creating email fields """
  41 def decode(text):
  42     """Returns unicode() string conversion of the the given encoded smtp header text"""
  43     if text:
  44         text = decode_header(text.replace('\r', ''))
  45         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  46
  47 class MLStripper(HTMLParser):
  48     def __init__(self):
  49         self.reset()
  50         self.fed = []
  51     def handle_data(self, d):
  52         self.fed.append(d)
  53     def get_data(self):
  54         return ''.join(self.fed)
  55
  56 def strip_tags(html):
  57     s = MLStripper()
  58     s.feed(html)
  59     return s.get_data()
  60
  61 class mail_message(osv.Model):
  62     """ Messages model: system notification (replacing res.log notifications),
  63         comments (OpenChatter discussion) and incoming emails. """
  64     _name = 'mail.message'
  65     _description = 'Message'
  66     _inherit = ['ir.needaction_mixin']
  67     _order = 'id desc'
  68     _rec_name = 'record_name'
  69
  70     _message_read_limit = 30
  71     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  72         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  73     _message_record_name_length = 18
  74     _message_read_more_limit = 1024
  75
  76     def default_get(self, cr, uid, fields, context=None):
  77         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  78         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  79             context = dict(context, default_type=None)
  80         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  81
  82     def _shorten_name(self, name):
  83         if len(name) <= (self._message_record_name_length + 3):
  84             return name
  85         return name[:self._message_record_name_length] + '...'
  86
  87     def _get_record_name(self, cr, uid, ids, name, arg, context=None):
  88         """ Return the related document name, using name_get. It is done using
  89             SUPERUSER_ID, to be sure to have the record name correctly stored. """
  90         # TDE note: regroup by model/ids, to have less queries to perform
  91         result = dict.fromkeys(ids, False)
  92         for message in self.read(cr, uid, ids, ['model', 'res_id'], context=context):
  93             if not message.get('model') or not message.get('res_id') or message['model'] not in self.pool:
  94                 continue
  95             result[message['id']] = self.pool[message['model']].name_get(cr, SUPERUSER_ID, [message['res_id']], context=context)[0][1]
  96         return result
  97
  98     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  99         """ Compute if the message is unread by the current user. """
 100         res = dict((id, False) for id in ids)
 101         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 102         notif_obj = self.pool.get('mail.notification')
 103         notif_ids = notif_obj.search(cr, uid, [
 104             ('partner_id', 'in', [partner_id]),
 105             ('message_id', 'in', ids),
 106             ('read', '=', False),
 107         ], context=context)
 108         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 109             res[notif.message_id.id] = True
 110         return res
 111
 112     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
 113         """ Search for messages to read by the current user. Condition is
 114             inversed because we search unread message on a read column. """
 115         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 116
 117     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 118         """ Compute if the message is unread by the current user. """
 119         res = dict((id, False) for id in ids)
 120         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 121         notif_obj = self.pool.get('mail.notification')
 122         notif_ids = notif_obj.search(cr, uid, [
 123             ('partner_id', 'in', [partner_id]),
 124             ('message_id', 'in', ids),
 125             ('starred', '=', True),
 126         ], context=context)
 127         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 128             res[notif.message_id.id] = True
 129         return res
 130
 131     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 132         """ Search for messages to read by the current user. Condition is
 133             inversed because we search unread message on a read column. """
 134         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 135
 136     def name_get(self, cr, uid, ids, context=None):
 137         # name_get may receive int id instead of an id list
 138         if isinstance(ids, (int, long)):
 139             ids = [ids]
 140         res = []
 141         for message in self.browse(cr, uid, ids, context=context):
 142             name = '%s: %s' % (message.subject or '', strip_tags(message.body or '') or '')
 143             res.append((message.id, self._shorten_name(name.lstrip(' :'))))
 144         return res
 145
 146     _columns = {
 147         'type': fields.selection([
 148                         ('email', 'Email'),
 149                         ('comment', 'Comment'),
 150                         ('notification', 'System notification'),
 151                         ], 'Type',
 152             help="Message type: email for email message, notification for system "\
 153                  "message, comment for other messages such as user replies"),
 154         'email_from': fields.char('From',
 155             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 156         'reply_to': fields.char('Reply-To',
 157             help='Reply email address. Setting the reply_to bypasses the automatic thread creation.'),
 158         'author_id': fields.many2one('res.partner', 'Author', select=1,
 159             ondelete='set null',
 160             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 161         'author_avatar': fields.related('author_id', 'image_small', type="binary", string="Author's Avatar"),
 162         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 163         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 164             'message_id', 'partner_id', 'Notified partners',
 165             help='Partners that have a notification pushing this message in their mailboxes'),
 166         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 167             'message_id', 'attachment_id', 'Attachments'),
 168         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 169             ondelete='set null', help="Initial thread message."),
 170         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 171         'model': fields.char('Related Document Model', size=128, select=1),
 172         'res_id': fields.integer('Related Document ID', select=1),
 173         'record_name': fields.function(_get_record_name, type='char',
 174             store=True, string='Message Record Name',
 175             help="Name get of the related document."),
 176         'notification_ids': fields.one2many('mail.notification', 'message_id',
 177             string='Notifications', auto_join=True,
 178             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 179         'subject': fields.char('Subject'),
 180         'date': fields.datetime('Date'),
 181         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 182         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 183         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 184             type='boolean', string='To read',
 185             help='Current user has an unread notification linked to this message'),
 186         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 187             type='boolean', string='Starred',
 188             help='Current user has a starred notification linked to this message'),
 189         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 190             ondelete='set null', select=1,),
 191         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 192             'message_id', 'user_id', string='Votes',
 193             help='Users that voted for this message'),
 194         'mail_server_id': fields.many2one('ir.mail_server', 'Outgoing mail server', readonly=1),
 195     }
 196
 197     def _needaction_domain_get(self, cr, uid, context=None):
 198         return [('to_read', '=', True)]
 199
 200     def _get_default_from(self, cr, uid, context=None):
 201         this = self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context)
 202         if this.alias_domain:
 203             return '%s <%s@%s>' % (this.name, this.alias_name, this.alias_domain)
 204         elif this.email:
 205             return '%s <%s>' % (this.name, this.email)
 206         raise osv.except_osv(_('Invalid Action!'), _("Unable to send email, please configure the sender's email address or alias."))
 207
 208     def _get_default_author(self, cr, uid, context=None):
 209         return self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 210
 211     _defaults = {
 212         'type': 'email',
 213         'date': lambda *a: fields.datetime.now(),
 214         'author_id': lambda self, cr, uid, ctx=None: self._get_default_author(cr, uid, ctx),
 215         'body': '',
 216         'email_from': lambda self, cr, uid, ctx=None: self._get_default_from(cr, uid, ctx),
 217     }
 218
 219     #------------------------------------------------------
 220     # Vote/Like
 221     #------------------------------------------------------
 222
 223     def vote_toggle(self, cr, uid, ids, context=None):
 224         ''' Toggles vote. Performed using read to avoid access rights issues.
 225             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 226         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 227             new_has_voted = not (uid in message.get('vote_user_ids'))
 228             if new_has_voted:
 229                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 230             else:
 231                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 232         return new_has_voted or False
 233
 234     #------------------------------------------------------
 235     # download an attachment
 236     #------------------------------------------------------
 237
 238     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 239         """ Return the content of linked attachments. """
 240         message = self.browse(cr, uid, id_message, context=context)
 241         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 242             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 243             if attachment.datas and attachment.datas_fname:
 244                 return {
 245                     'base64': attachment.datas,
 246                     'filename': attachment.datas_fname,
 247                 }
 248         return False
 249
 250     #------------------------------------------------------
 251     # Notification API
 252     #------------------------------------------------------
 253
 254     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 255         """ Set messages as (un)read. Technically, the notifications related
 256             to uid are set to (un)read. If for some msg_ids there are missing
 257             notifications (i.e. due to load more or thread parent fetching),
 258             they are created.
 259
 260             :param bool read: set notification as (un)read
 261             :param bool create_missing: create notifications for missing entries
 262                 (i.e. when acting on displayed messages not notified)
 263
 264             :return number of message mark as read
 265         """
 266         notification_obj = self.pool.get('mail.notification')
 267         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 268         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 269         if not create_missing:
 270             domain += [('read', '=', not read)]
 271         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 272
 273         # all message have notifications: already set them as (un)read
 274         if len(notif_ids) == len(msg_ids) or not create_missing:
 275             notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 276             return len(notif_ids)
 277
 278         # some messages do not have notifications: find which one, create notification, update read status
 279         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 280         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 281         for msg_id in to_create_msg_ids:
 282             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 283         notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 284         return len(notif_ids)
 285
 286     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 287         """ Set messages as (un)starred. Technically, the notifications related
 288             to uid are set to (un)starred.
 289
 290             :param bool starred: set notification as (un)starred
 291             :param bool create_missing: create notifications for missing entries
 292                 (i.e. when acting on displayed messages not notified)
 293         """
 294         notification_obj = self.pool.get('mail.notification')
 295         user_pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=context)['partner_id'][0]
 296         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 297         if not create_missing:
 298             domain += [('starred', '=', not starred)]
 299         values = {
 300             'starred': starred
 301         }
 302         if starred:
 303             values['read'] = False
 304
 305         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 306
 307         # all message have notifications: already set them as (un)starred
 308         if len(notif_ids) == len(msg_ids) or not create_missing:
 309             notification_obj.write(cr, uid, notif_ids, values, context=context)
 310             return starred
 311
 312         # some messages do not have notifications: find which one, create notification, update starred status
 313         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 314         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 315         for msg_id in to_create_msg_ids:
 316             notification_obj.create(cr, uid, dict(values, partner_id=user_pid, message_id=msg_id), context=context)
 317         notification_obj.write(cr, uid, notif_ids, values, context=context)
 318         return starred
 319
 320     #------------------------------------------------------
 321     # Message loading for web interface
 322     #------------------------------------------------------
 323
 324     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 325         """ Post-processing on values given by message_read. This method will
 326             handle partners in batch to avoid doing numerous queries.
 327
 328             :param list messages: list of message, as get_dict result
 329             :param dict message_tree: {[msg.id]: msg browse record}
 330         """
 331         res_partner_obj = self.pool.get('res.partner')
 332         ir_attachment_obj = self.pool.get('ir.attachment')
 333         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 334
 335         # 1. Aggregate partners (author_id and partner_ids) and attachments
 336         partner_ids = set()
 337         attachment_ids = set()
 338         for key, message in message_tree.iteritems():
 339             if message.author_id:
 340                 partner_ids |= set([message.author_id.id])
 341             if message.subtype_id and message.notified_partner_ids:  # take notified people of message with a subtype
 342                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 343             elif not message.subtype_id and message.partner_ids:  # take specified people of message without a subtype (log)
 344                 partner_ids |= set([partner.id for partner in message.partner_ids])
 345             if message.attachment_ids:
 346                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 347         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 348         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 349         partner_tree = dict((partner[0], partner) for partner in partners)
 350
 351         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 352         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name'], context=context)
 353         attachments_tree = dict((attachment['id'], {'id': attachment['id'], 'filename': attachment['datas_fname'], 'name': attachment['name']}) for attachment in attachments)
 354
 355         # 3. Update message dictionaries
 356         for message_dict in messages:
 357             message_id = message_dict.get('id')
 358             message = message_tree[message_id]
 359             if message.author_id:
 360                 author = partner_tree[message.author_id.id]
 361             else:
 362                 author = (0, message.email_from)
 363             partner_ids = []
 364             if message.subtype_id:
 365                 partner_ids = [partner_tree[partner.id] for partner in message.notified_partner_ids
 366                                 if partner.id in partner_tree]
 367             else:
 368                 partner_ids = [partner_tree[partner.id] for partner in message.partner_ids
 369                                 if partner.id in partner_tree]
 370             attachment_ids = []
 371             for attachment in message.attachment_ids:
 372                 if attachment.id in attachments_tree:
 373                     attachment_ids.append(attachments_tree[attachment.id])
 374             message_dict.update({
 375                 'is_author': pid == author[0],
 376                 'author_id': author,
 377                 'partner_ids': partner_ids,
 378                 'attachment_ids': attachment_ids,
 379                 })
 380         return True
 381
 382     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 383         """ Return a dict representation of the message. This representation is
 384             used in the JS client code, to display the messages. Partners and
 385             attachments related stuff will be done in post-processing in batch.
 386
 387             :param dict message: mail.message browse record
 388         """
 389         # private message: no model, no res_id
 390         is_private = False
 391         if not message.model or not message.res_id:
 392             is_private = True
 393         # votes and favorites: res.users ids, no prefetching should be done
 394         vote_nb = len(message.vote_user_ids)
 395         has_voted = uid in [user.id for user in message.vote_user_ids]
 396
 397         try:
 398             if parent_id:
 399                 max_length = 300
 400             else:
 401                 max_length = 100
 402             body_short = html_email_clean(message.body, remove=False, shorten=True, max_length=max_length)
 403
 404         except Exception:
 405             body_short = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 406             _logger.exception(Exception)
 407
 408         return {'id': message.id,
 409                 'type': message.type,
 410                 'subtype': message.subtype_id.name if message.subtype_id else False,
 411                 'body': message.body,
 412                 'body_short': body_short,
 413                 'model': message.model,
 414                 'res_id': message.res_id,
 415                 'record_name': message.record_name,
 416                 'subject': message.subject,
 417                 'date': message.date,
 418                 'to_read': message.to_read,
 419                 'parent_id': parent_id,
 420                 'is_private': is_private,
 421                 'author_id': False,
 422                 'author_avatar': message.author_avatar,
 423                 'is_author': False,
 424                 'partner_ids': [],
 425                 'vote_nb': vote_nb,
 426                 'has_voted': has_voted,
 427                 'is_favorite': message.starred,
 428                 'attachment_ids': [],
 429             }
 430
 431     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 432             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 433         """ Create expandables for message_read, to load new messages.
 434             1. get the expandable for new threads
 435                 if display is flat (thread_level == 0):
 436                     fetch message_ids < min(already displayed ids), because we
 437                     want a flat display, ordered by id
 438                 else:
 439                     fetch message_ids that are not childs of already displayed
 440                     messages
 441             2. get the expandables for new messages inside threads if display
 442                is not flat
 443                 for each thread header, search for its childs
 444                     for each hole in the child list based on message displayed,
 445                     create an expandable
 446
 447             :param list messages: list of message structure for the Chatter
 448                 widget to which expandables are added
 449             :param dict message_tree: dict [id]: browse record of this message
 450             :param dict parent_tree: dict [parent_id]: [child_ids]
 451             :param list message_unload_ids: list of message_ids we do not want
 452                 to load
 453             :return bool: True
 454         """
 455         def _get_expandable(domain, message_nb, parent_id, max_limit):
 456             return {
 457                 'domain': domain,
 458                 'nb_messages': message_nb,
 459                 'type': 'expandable',
 460                 'parent_id': parent_id,
 461                 'max_limit':  max_limit,
 462             }
 463
 464         if not messages:
 465             return True
 466         message_ids = sorted(message_tree.keys())
 467
 468         # 1. get the expandable for new threads
 469         if thread_level == 0:
 470             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 471         else:
 472             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 473         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 474         if ids:
 475             # inside a thread: prepend
 476             if parent_id:
 477                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 478             # new threads: append
 479             else:
 480                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 481
 482         # 2. get the expandables for new messages inside threads if display is not flat
 483         if thread_level == 0:
 484             return True
 485         for message_id in message_ids:
 486             message = message_tree[message_id]
 487
 488             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 489             if message.parent_id:
 490                 continue
 491
 492             # check there are message for expandable
 493             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 494             child_ids = sorted(list(child_ids), reverse=True)
 495             if not child_ids:
 496                 continue
 497
 498             # make groups of unread messages
 499             id_min, id_max, nb = max(child_ids), 0, 0
 500             for child_id in child_ids:
 501                 if not child_id in message_ids:
 502                     nb += 1
 503                     if id_min > child_id:
 504                         id_min = child_id
 505                     if id_max < child_id:
 506                         id_max = child_id
 507                 elif nb > 0:
 508                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 509                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 510                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 511                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 512                     id_min, id_max, nb = max(child_ids), 0, 0
 513                 else:
 514                     id_min, id_max, nb = max(child_ids), 0, 0
 515             if nb > 0:
 516                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 517                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 518                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 519                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 520
 521         return True
 522
 523     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 524                         thread_level=0, context=None, parent_id=False, limit=None):
 525         """ Read messages from mail.message, and get back a list of structured
 526             messages to be displayed as discussion threads. If IDs is set,
 527             fetch these records. Otherwise use the domain to fetch messages.
 528             After having fetch messages, their ancestors will be added to obtain
 529             well formed threads, if uid has access to them.
 530
 531             After reading the messages, expandable messages are added in the
 532             message list (see ``_message_read_add_expandables``). It consists
 533             in messages holding the 'read more' data: number of messages to
 534             read, domain to apply.
 535
 536             :param list ids: optional IDs to fetch
 537             :param list domain: optional domain for searching ids if ids not set
 538             :param list message_unload_ids: optional ids we do not want to fetch,
 539                 because i.e. they are already displayed somewhere
 540             :param int parent_id: context of parent_id
 541                 - if parent_id reached when adding ancestors, stop going further
 542                   in the ancestor search
 543                 - if set in flat mode, ancestor_id is set to parent_id
 544             :param int limit: number of messages to fetch, before adding the
 545                 ancestors and expandables
 546             :return list: list of message structure for the Chatter widget
 547         """
 548         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 549         domain = domain if domain is not None else []
 550         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 551         if message_unload_ids:
 552             domain += [('id', 'not in', message_unload_ids)]
 553         limit = limit or self._message_read_limit
 554         message_tree = {}
 555         message_list = []
 556         parent_tree = {}
 557
 558         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 559         if ids is None:
 560             ids = self.search(cr, uid, domain, context=context, limit=limit)
 561
 562         # fetch parent if threaded, sort messages
 563         for message in self.browse(cr, uid, ids, context=context):
 564             message_id = message.id
 565             if message_id in message_tree:
 566                 continue
 567             message_tree[message_id] = message
 568
 569             # find parent_id
 570             if thread_level == 0:
 571                 tree_parent_id = parent_id
 572             else:
 573                 tree_parent_id = message_id
 574                 parent = message
 575                 while parent.parent_id and parent.parent_id.id != parent_id:
 576                     parent = parent.parent_id
 577                     tree_parent_id = parent.id
 578                 if not parent.id in message_tree:
 579                     message_tree[parent.id] = parent
 580             # newest messages first
 581             parent_tree.setdefault(tree_parent_id, [])
 582             if tree_parent_id != message_id:
 583                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 584
 585         if thread_level:
 586             for key, message_id_list in parent_tree.iteritems():
 587                 message_id_list.sort(key=lambda item: item['id'])
 588                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 589
 590         # create final ordered message_list based on parent_tree
 591         parent_list = parent_tree.items()
 592         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 593         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 594
 595         # get the child expandable messages for the tree
 596         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 597         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 598             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 599         return message_list
 600
 601     #------------------------------------------------------
 602     # mail_message internals
 603     #------------------------------------------------------
 604
 605     def init(self, cr):
 606         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 607         if not cr.fetchone():
 608             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 609
 610     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 611         doc_ids = doc_dict.keys()
 612         allowed_doc_ids = self.pool[doc_model].search(cr, uid, [('id', 'in', doc_ids)], context=context)
 613         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 614
 615     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 616         model_access_obj = self.pool.get('ir.model.access')
 617         allowed_ids = set()
 618         for doc_model, doc_dict in model_ids.iteritems():
 619             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 620                 continue
 621             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 622         return allowed_ids
 623
 624     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 625         context=None, count=False, access_rights_uid=None):
 626         """ Override that adds specific access rights of mail.message, to remove
 627             ids uid could not see according to our custom rules. Please refer
 628             to check_access_rule for more details about those rules.
 629
 630             After having received ids of a classic search, keep only:
 631             - if author_id == pid, uid is the author, OR
 632             - a notification (id, pid) exists, uid has been notified, OR
 633             - uid have read access to the related document is model, res_id
 634             - otherwise: remove the id
 635         """
 636         # Rules do not apply to administrator
 637         if uid == SUPERUSER_ID:
 638             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 639                 context=context, count=count, access_rights_uid=access_rights_uid)
 640         # Perform a super with count as False, to have the ids, not a counter
 641         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 642             context=context, count=False, access_rights_uid=access_rights_uid)
 643         if not ids and count:
 644             return 0
 645         elif not ids:
 646             return ids
 647
 648         pid = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'])['partner_id'][0]
 649         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 650         model_ids = {}
 651
 652         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 653         for message in messages:
 654             if message.get('author_id') and message.get('author_id')[0] == pid:
 655                 author_ids.add(message.get('id'))
 656             elif pid in message.get('notified_partner_ids'):
 657                 partner_ids.add(message.get('id'))
 658             elif message.get('model') and message.get('res_id'):
 659                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 660
 661         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 662         final_ids = author_ids | partner_ids | allowed_ids
 663
 664         if count:
 665             return len(final_ids)
 666         else:
 667             # re-construct a list based on ids, because set did not keep the original order
 668             id_list = [id for id in ids if id in final_ids]
 669             return id_list
 670
 671     def check_access_rule(self, cr, uid, ids, operation, context=None):
 672         """ Access rules of mail.message:
 673             - read: if
 674                 - author_id == pid, uid is the author, OR
 675                 - mail_notification (id, pid) exists, uid has been notified, OR
 676                 - uid have read access to the related document if model, res_id
 677                 - otherwise: raise
 678             - create: if
 679                 - no model, no res_id, I create a private message OR
 680                 - pid in message_follower_ids if model, res_id OR
 681                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 682                 - uid have write or create access on the related document if model, res_id, OR
 683                 - otherwise: raise
 684             - write: if
 685                 - author_id == pid, uid is the author, OR
 686                 - uid has write or create access on the related document if model, res_id
 687                 - otherwise: raise
 688             - unlink: if
 689                 - uid has write or create access on the related document if model, res_id
 690                 - otherwise: raise
 691         """
 692         def _generate_model_record_ids(msg_val, msg_ids=[]):
 693             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 694                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 695             """
 696             model_record_ids = {}
 697             for id in msg_ids:
 698                 if msg_val[id]['model'] and msg_val[id]['res_id']:
 699                     model_record_ids.setdefault(msg_val[id]['model'], dict()).setdefault(msg_val[id]['res_id'], set()).add(msg_val[id]['res_id'])
 700             return model_record_ids
 701
 702         if uid == SUPERUSER_ID:
 703             return
 704         if isinstance(ids, (int, long)):
 705             ids = [ids]
 706         not_obj = self.pool.get('mail.notification')
 707         fol_obj = self.pool.get('mail.followers')
 708         partner_id = self.pool.get('res.users').read(cr, uid, uid, ['partner_id'], context=None)['partner_id'][0]
 709
 710         # Read mail_message.ids to have their values
 711         message_values = dict.fromkeys(ids)
 712         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 713         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 714             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 715
 716         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 717         author_ids = []
 718         if operation == 'read' or operation == 'write':
 719             author_ids = [mid for mid, message in message_values.iteritems()
 720                 if message.get('author_id') and message.get('author_id') == partner_id]
 721         elif operation == 'create':
 722             author_ids = [mid for mid, message in message_values.iteritems()
 723                 if not message.get('model') and not message.get('res_id')]
 724
 725         # Parent condition, for create (check for received notifications for the created message parent)
 726         notified_ids = []
 727         if operation == 'create':
 728             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 729                 if message.get('parent_id')]
 730             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 731             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 732             notified_ids += [mid for mid, message in message_values.iteritems()
 733                 if message.get('parent_id') in not_parent_ids]
 734
 735         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 736         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 737         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 738         if operation == 'read':
 739             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 740                 ('partner_id', '=', partner_id),
 741                 ('message_id', 'in', ids),
 742             ], context=context)
 743             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 744         elif operation == 'create':
 745             for doc_model, doc_dict in model_record_ids.items():
 746                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 747                     ('res_model', '=', doc_model),
 748                     ('res_id', 'in', list(doc_dict.keys())),
 749                     ('partner_id', '=', partner_id),
 750                     ], context=context)
 751                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 752                 notified_ids += [mid for mid, message in message_values.iteritems()
 753                     if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 754
 755         # CRUD: Access rights related to the document
 756         other_ids = other_ids.difference(set(notified_ids))
 757         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 758         document_related_ids = []
 759         for model, doc_dict in model_record_ids.items():
 760             model_obj = self.pool[model]
 761             mids = model_obj.exists(cr, uid, doc_dict.keys())
 762             if hasattr(model_obj, 'check_mail_message_access'):
 763                 model_obj.check_mail_message_access(cr, uid, mids, operation, context=context)
 764             else:
 765                 self.pool['mail.thread'].check_mail_message_access(cr, uid, mids, operation, model_obj=model_obj, context=context)
 766             document_related_ids += [mid for mid, message in message_values.iteritems()
 767                 if message.get('model') == model and message.get('res_id') in mids]
 768
 769         # Calculate remaining ids: if not void, raise an error
 770         other_ids = other_ids.difference(set(document_related_ids))
 771         if not other_ids:
 772             return
 773         raise orm.except_orm(_('Access Denied'),
 774                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 775                             (self._description, operation))
 776
 777     def create(self, cr, uid, values, context=None):
 778         if context is None:
 779             context = {}
 780         default_starred = context.pop('default_starred', False)
 781         # generate message_id, to redirect answers to the right discussion thread
 782         if not values.get('message_id') and values.get('reply_to'):
 783             values['message_id'] = tools.generate_tracking_message_id('reply_to')
 784         elif not values.get('message_id') and values.get('res_id') and values.get('model'):
 785             values['message_id'] = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 786         elif not values.get('message_id'):
 787             values['message_id'] = tools.generate_tracking_message_id('private')
 788         newid = super(mail_message, self).create(cr, uid, values, context)
 789         self._notify(cr, uid, newid, context=context,
 790                      force_send=context.get('mail_notify_force_send', True),
 791                      user_signature=context.get('mail_notify_user_signature', True))
 792         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 793         # Because starred will call set_message_starred, that looks for notifications.
 794         # When creating a new mail_message, it will create a notification to a message
 795         # that does not exist, leading to an error (key not existing). Also this
 796         # this means unread notifications will be created, yet we can not assure
 797         # this is what we want.
 798         if default_starred:
 799             self.set_message_starred(cr, uid, [newid], True, context=context)
 800         return newid
 801
 802     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 803         """ Override to explicitely call check_access_rule, that is not called
 804             by the ORM. It instead directly fetches ir.rules and apply them. """
 805         self.check_access_rule(cr, uid, ids, 'read', context=context)
 806         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 807         return res
 808
 809     def unlink(self, cr, uid, ids, context=None):
 810         # cascade-delete attachments that are directly attached to the message (should only happen
 811         # for mail.messages that act as parent for a standalone mail.mail record).
 812         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 813         attachments_to_delete = []
 814         for message in self.browse(cr, uid, ids, context=context):
 815             for attach in message.attachment_ids:
 816                 if attach.res_model == self._name and (attach.res_id == message.id or attach.res_id == 0):
 817                     attachments_to_delete.append(attach.id)
 818         if attachments_to_delete:
 819             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 820         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 821
 822     def copy(self, cr, uid, id, default=None, context=None):
 823         """ Overridden to avoid duplicating fields that are unique to each email """
 824         if default is None:
 825             default = {}
 826         default.update(message_id=False, headers=False)
 827         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 828
 829     #------------------------------------------------------
 830     # Messaging API
 831     #------------------------------------------------------
 832
 833     # TDE note: this code is not used currently, will be improved in a future merge, when quoted context
 834     # will be added to email send for notifications. Currently only WIP.
 835     MAIL_TEMPLATE = """<div>
 836     % if message:
 837         ${display_message(message)}
 838     % endif
 839     % for ctx_msg in context_messages:
 840         ${display_message(ctx_msg)}
 841     % endfor
 842     % if add_expandable:
 843         ${display_expandable()}
 844     % endif
 845     ${display_message(header_message)}
 846     </div>
 847
 848     <%def name="display_message(message)">
 849         <div>
 850             Subject: ${message.subject}<br />
 851             Body: ${message.body}
 852         </div>
 853     </%def>
 854
 855     <%def name="display_expandable()">
 856         <div>This is an expandable.</div>
 857     </%def>
 858     """
 859
 860     def message_quote_context(self, cr, uid, id, context=None, limit=3, add_original=False):
 861         """
 862             1. message.parent_id = False: new thread, no quote_context
 863             2. get the lasts messages in the thread before message
 864             3. get the message header
 865             4. add an expandable between them
 866
 867             :param dict quote_context: options for quoting
 868             :return string: html quote
 869         """
 870         add_expandable = False
 871
 872         message = self.browse(cr, uid, id, context=context)
 873         if not message.parent_id:
 874             return ''
 875         context_ids = self.search(cr, uid, [
 876             ('parent_id', '=', message.parent_id.id),
 877             ('id', '<', message.id),
 878             ], limit=limit, context=context)
 879
 880         if len(context_ids) >= limit:
 881             add_expandable = True
 882             context_ids = context_ids[0:-1]
 883
 884         context_ids.append(message.parent_id.id)
 885         context_messages = self.browse(cr, uid, context_ids, context=context)
 886         header_message = context_messages.pop()
 887
 888         try:
 889             if not add_original:
 890                 message = False
 891             result = MakoTemplate(self.MAIL_TEMPLATE).render_unicode(message=message,
 892                                                         context_messages=context_messages,
 893                                                         header_message=header_message,
 894                                                         add_expandable=add_expandable,
 895                                                         # context kw would clash with mako internals
 896                                                         ctx=context,
 897                                                         format_exceptions=True)
 898             result = result.strip()
 899             return result
 900         except Exception:
 901             _logger.exception("failed to render mako template for quoting message")
 902             return ''
 903         return result
 904
 905     def _notify(self, cr, uid, newid, context=None, force_send=False, user_signature=True):
 906         """ Add the related record followers to the destination partner_ids if is not a private message.
 907             Call mail_notification.notify to manage the email sending
 908         """
 909         notification_obj = self.pool.get('mail.notification')
 910         message = self.browse(cr, uid, newid, context=context)
 911         partners_to_notify = set([])
 912
 913         # all followers of the mail.message document have to be added as partners and notified if a subtype is defined (otherwise: log message)
 914         if message.subtype_id and message.model and message.res_id:
 915             fol_obj = self.pool.get("mail.followers")
 916             # browse as SUPERUSER because rules could restrict the search results
 917             fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 918                 ('res_model', '=', message.model),
 919                 ('res_id', '=', message.res_id),
 920                 ('subtype_ids', 'in', message.subtype_id.id)
 921                 ], context=context)
 922             partners_to_notify |= set(fo.partner_id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context))
 923         # remove me from notified partners, unless the message is written on my own wall
 924         if message.subtype_id and message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 925             partners_to_notify |= set([message.author_id])
 926         elif message.author_id:
 927             partners_to_notify -= set([message.author_id])
 928
 929         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 930         if message.partner_ids:
 931             partners_to_notify |= set(message.partner_ids)
 932
 933         # notify
 934         if partners_to_notify:
 935             notification_obj._notify(cr, uid, newid, partners_to_notify=[p.id for p in partners_to_notify], context=context,
 936                                             force_send=force_send, user_signature=user_signature)
 937         message.refresh()
 938
 939         # An error appear when a user receive a notification without notifying
 940         # the parent message -> add a read notification for the parent
 941         if message.parent_id:
 942             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 943             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 944             for partner in partners_to_parent_notify:
 945                 notification_obj.create(cr, uid, {
 946                         'message_id': message.parent_id.id,
 947                         'partner_id': partner.id,
 948                         'read': True,
 949                     }, context=context)
 950
 951     #------------------------------------------------------
 952     # Tools
 953     #------------------------------------------------------
 954
 955     def check_partners_email(self, cr, uid, partner_ids, context=None):
 956         """ Verify that selected partner_ids have an email_address defined.
 957             Otherwise throw a warning. """
 958         partner_wo_email_lst = []
 959         for partner in self.pool.get('res.partner').browse(cr, uid, partner_ids, context=context):
 960             if not partner.email:
 961                 partner_wo_email_lst.append(partner)
 962         if not partner_wo_email_lst:
 963             return {}
 964         warning_msg = _('The following partners chosen as recipients for the email have no email address linked :')
 965         for partner in partner_wo_email_lst:
 966             warning_msg += '\n- %s' % (partner.name)
 967         return {'warning': {
 968                     'title': _('Partners email addresses not found'),
 969                     'message': warning_msg,
 970                     }
 971                 }