addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23 import re
  24
  25 from openerp import tools
  26
  27 from email.header import decode_header
  28 from openerp import SUPERUSER_ID
  29 from openerp.osv import osv, orm, fields
  30 from openerp.tools import html_email_clean
  31 from openerp.tools.translate import _
  32 from HTMLParser import HTMLParser
  33
  34 _logger = logging.getLogger(__name__)
  35
  36 try:
  37     from mako.template import Template as MakoTemplate
  38 except ImportError:
  39     _logger.warning("payment_acquirer: mako templates not available, payment acquirer will not work!")
  40
  41
  42 """ Some tools for parsing / creating email fields """
  43 def decode(text):
  44     """Returns unicode() string conversion of the the given encoded smtp header text"""
  45     if text:
  46         text = decode_header(text.replace('\r', ''))
  47         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  48
  49 class MLStripper(HTMLParser):
  50     def __init__(self):
  51         self.reset()
  52         self.fed = []
  53     def handle_data(self, d):
  54         self.fed.append(d)
  55     def get_data(self):
  56         return ''.join(self.fed)
  57
  58 def strip_tags(html):
  59     s = MLStripper()
  60     s.feed(html)
  61     return s.get_data()
  62
  63 class mail_message(osv.Model):
  64     """ Messages model: system notification (replacing res.log notifications),
  65         comments (OpenChatter discussion) and incoming emails. """
  66     _name = 'mail.message'
  67     _description = 'Message'
  68     _inherit = ['ir.needaction_mixin']
  69     _order = 'id desc'
  70     _rec_name = 'record_name'
  71
  72     _message_read_limit = 30
  73     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  74         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  75     _message_record_name_length = 18
  76     _message_read_more_limit = 1024
  77
  78     def default_get(self, cr, uid, fields, context=None):
  79         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  80         if context and context.get('default_type') and context.get('default_type') not in self._columns['type'].selection:
  81             context = dict(context, default_type=None)
  82         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  83
  84     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  85         """ Compute if the message is unread by the current user. """
  86         res = dict((id, False) for id in ids)
  87         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
  88         notif_obj = self.pool.get('mail.notification')
  89         notif_ids = notif_obj.search(cr, uid, [
  90             ('partner_id', 'in', [partner_id]),
  91             ('message_id', 'in', ids),
  92             ('read', '=', False),
  93         ], context=context)
  94         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
  95             res[notif.message_id.id] = True
  96         return res
  97
  98     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
  99         """ Search for messages to read by the current user. Condition is
 100             inversed because we search unread message on a read column. """
 101         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.read', '=', not domain[0][2])]
 102
 103     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 104         """ Compute if the message is unread by the current user. """
 105         res = dict((id, False) for id in ids)
 106         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 107         notif_obj = self.pool.get('mail.notification')
 108         notif_ids = notif_obj.search(cr, uid, [
 109             ('partner_id', 'in', [partner_id]),
 110             ('message_id', 'in', ids),
 111             ('starred', '=', True),
 112         ], context=context)
 113         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 114             res[notif.message_id.id] = True
 115         return res
 116
 117     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 118         """ Search for messages to read by the current user. Condition is
 119             inversed because we search unread message on a read column. """
 120         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 121
 122     _columns = {
 123         'type': fields.selection([
 124                         ('email', 'Email'),
 125                         ('comment', 'Comment'),
 126                         ('notification', 'System notification'),
 127                         ], 'Type',
 128             help="Message type: email for email message, notification for system "\
 129                  "message, comment for other messages such as user replies"),
 130         'email_from': fields.char('From',
 131             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 132         'reply_to': fields.char('Reply-To',
 133             help='Reply email address. Setting the reply_to bypasses the automatic thread creation.'),
 134         'author_id': fields.many2one('res.partner', 'Author', select=1,
 135             ondelete='set null',
 136             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 137         'author_avatar': fields.related('author_id', 'image_small', type="binary", string="Author's Avatar"),
 138         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 139         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 140             'message_id', 'partner_id', 'Notified partners',
 141             help='Partners that have a notification pushing this message in their mailboxes'),
 142         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 143             'message_id', 'attachment_id', 'Attachments'),
 144         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 145             ondelete='set null', help="Initial thread message."),
 146         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 147         'model': fields.char('Related Document Model', size=128, select=1),
 148         'res_id': fields.integer('Related Document ID', select=1),
 149         'record_name': fields.char('Message Record Name', help="Name get of the related document."),
 150         'notification_ids': fields.one2many('mail.notification', 'message_id',
 151             string='Notifications', auto_join=True,
 152             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 153         'subject': fields.char('Subject'),
 154         'date': fields.datetime('Date', readonly=1),
 155         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1),
 156         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 157         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 158             type='boolean', string='To read',
 159             help='Current user has an unread notification linked to this message'),
 160         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 161             type='boolean', string='Starred',
 162             help='Current user has a starred notification linked to this message'),
 163         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 164             ondelete='set null', select=1,),
 165         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 166             'message_id', 'user_id', string='Votes',
 167             help='Users that voted for this message'),
 168         'mail_server_id': fields.many2one('ir.mail_server', 'Outgoing mail server', readonly=1),
 169     }
 170
 171     def _needaction_domain_get(self, cr, uid, context=None):
 172         return [('to_read', '=', True)]
 173
 174     def _get_default_from(self, cr, uid, context=None):
 175         this = self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context)
 176         if this.alias_name and this.alias_domain:
 177             return '%s <%s@%s>' % (this.name, this.alias_name, this.alias_domain)
 178         elif this.email:
 179             return '%s <%s>' % (this.name, this.email)
 180         raise osv.except_osv(_('Invalid Action!'), _("Unable to send email, please configure the sender's email address or alias."))
 181
 182     def _get_default_author(self, cr, uid, context=None):
 183         return self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 184
 185     _defaults = {
 186         'type': 'email',
 187         'date': fields.datetime.now,
 188         'author_id': lambda self, cr, uid, ctx=None: self._get_default_author(cr, uid, ctx),
 189         'body': '',
 190         'email_from': lambda self, cr, uid, ctx=None: self._get_default_from(cr, uid, ctx),
 191     }
 192
 193     #------------------------------------------------------
 194     # Vote/Like
 195     #------------------------------------------------------
 196
 197     def vote_toggle(self, cr, uid, ids, context=None):
 198         ''' Toggles vote. Performed using read to avoid access rights issues.
 199             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 200         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 201             new_has_voted = not (uid in message.get('vote_user_ids'))
 202             if new_has_voted:
 203                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 204             else:
 205                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 206         return new_has_voted or False
 207
 208     #------------------------------------------------------
 209     # download an attachment
 210     #------------------------------------------------------
 211
 212     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 213         """ Return the content of linked attachments. """
 214         message = self.browse(cr, uid, id_message, context=context)
 215         if attachment_id in [attachment.id for attachment in message.attachment_ids]:
 216             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 217             if attachment.datas and attachment.datas_fname:
 218                 return {
 219                     'base64': attachment.datas,
 220                     'filename': attachment.datas_fname,
 221                 }
 222         return False
 223
 224     #------------------------------------------------------
 225     # Notification API
 226     #------------------------------------------------------
 227
 228     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 229         """ Set messages as (un)read. Technically, the notifications related
 230             to uid are set to (un)read. If for some msg_ids there are missing
 231             notifications (i.e. due to load more or thread parent fetching),
 232             they are created.
 233
 234             :param bool read: set notification as (un)read
 235             :param bool create_missing: create notifications for missing entries
 236                 (i.e. when acting on displayed messages not notified)
 237
 238             :return number of message mark as read
 239         """
 240         notification_obj = self.pool.get('mail.notification')
 241         user_pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 242         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 243         if not create_missing:
 244             domain += [('read', '=', not read)]
 245         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 246
 247         # all message have notifications: already set them as (un)read
 248         if len(notif_ids) == len(msg_ids) or not create_missing:
 249             notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 250             return len(notif_ids)
 251
 252         # some messages do not have notifications: find which one, create notification, update read status
 253         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 254         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 255         for msg_id in to_create_msg_ids:
 256             notification_obj.create(cr, uid, {'partner_id': user_pid, 'read': read, 'message_id': msg_id}, context=context)
 257         notification_obj.write(cr, uid, notif_ids, {'read': read}, context=context)
 258         return len(notif_ids)
 259
 260     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 261         """ Set messages as (un)starred. Technically, the notifications related
 262             to uid are set to (un)starred.
 263
 264             :param bool starred: set notification as (un)starred
 265             :param bool create_missing: create notifications for missing entries
 266                 (i.e. when acting on displayed messages not notified)
 267         """
 268         notification_obj = self.pool.get('mail.notification')
 269         user_pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 270         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 271         if not create_missing:
 272             domain += [('starred', '=', not starred)]
 273         values = {
 274             'starred': starred
 275         }
 276         if starred:
 277             values['read'] = False
 278
 279         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 280
 281         # all message have notifications: already set them as (un)starred
 282         if len(notif_ids) == len(msg_ids) or not create_missing:
 283             notification_obj.write(cr, uid, notif_ids, values, context=context)
 284             return starred
 285
 286         # some messages do not have notifications: find which one, create notification, update starred status
 287         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 288         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 289         for msg_id in to_create_msg_ids:
 290             notification_obj.create(cr, uid, dict(values, partner_id=user_pid, message_id=msg_id), context=context)
 291         notification_obj.write(cr, uid, notif_ids, values, context=context)
 292         return starred
 293
 294     #------------------------------------------------------
 295     # Message loading for web interface
 296     #------------------------------------------------------
 297
 298     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 299         """ Post-processing on values given by message_read. This method will
 300             handle partners in batch to avoid doing numerous queries.
 301
 302             :param list messages: list of message, as get_dict result
 303             :param dict message_tree: {[msg.id]: msg browse record}
 304         """
 305         res_partner_obj = self.pool.get('res.partner')
 306         ir_attachment_obj = self.pool.get('ir.attachment')
 307         pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 308
 309         # 1. Aggregate partners (author_id and partner_ids) and attachments
 310         partner_ids = set()
 311         attachment_ids = set()
 312         for key, message in message_tree.iteritems():
 313             if message.author_id:
 314                 partner_ids |= set([message.author_id.id])
 315             if message.subtype_id and message.notified_partner_ids:  # take notified people of message with a subtype
 316                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 317             elif not message.subtype_id and message.partner_ids:  # take specified people of message without a subtype (log)
 318                 partner_ids |= set([partner.id for partner in message.partner_ids])
 319             if message.attachment_ids:
 320                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 321         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 322         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 323         partner_tree = dict((partner[0], partner) for partner in partners)
 324
 325         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 326         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name', 'file_type_icon'], context=context)
 327         attachments_tree = dict((attachment['id'], {
 328             'id': attachment['id'],
 329             'filename': attachment['datas_fname'],
 330             'name': attachment['name'],
 331             'file_type_icon': attachment['file_type_icon'],
 332         }) for attachment in attachments)
 333
 334         # 3. Update message dictionaries
 335         for message_dict in messages:
 336             message_id = message_dict.get('id')
 337             message = message_tree[message_id]
 338             if message.author_id:
 339                 author = partner_tree[message.author_id.id]
 340             else:
 341                 author = (0, message.email_from)
 342             partner_ids = []
 343             if message.subtype_id:
 344                 partner_ids = [partner_tree[partner.id] for partner in message.notified_partner_ids
 345                                 if partner.id in partner_tree]
 346             else:
 347                 partner_ids = [partner_tree[partner.id] for partner in message.partner_ids
 348                                 if partner.id in partner_tree]
 349             attachment_ids = []
 350             for attachment in message.attachment_ids:
 351                 if attachment.id in attachments_tree:
 352                     attachment_ids.append(attachments_tree[attachment.id])
 353             message_dict.update({
 354                 'is_author': pid == author[0],
 355                 'author_id': author,
 356                 'partner_ids': partner_ids,
 357                 'attachment_ids': attachment_ids,
 358                 'user_pid': pid
 359                 })
 360         return True
 361
 362     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 363         """ Return a dict representation of the message. This representation is
 364             used in the JS client code, to display the messages. Partners and
 365             attachments related stuff will be done in post-processing in batch.
 366
 367             :param dict message: mail.message browse record
 368         """
 369         # private message: no model, no res_id
 370         is_private = False
 371         if not message.model or not message.res_id:
 372             is_private = True
 373         # votes and favorites: res.users ids, no prefetching should be done
 374         vote_nb = len(message.vote_user_ids)
 375         has_voted = uid in [user.id for user in message.vote_user_ids]
 376
 377         try:
 378             if parent_id:
 379                 max_length = 300
 380             else:
 381                 max_length = 100
 382             body_short = html_email_clean(message.body, remove=False, shorten=True, max_length=max_length)
 383
 384         except Exception:
 385             body_short = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 386             _logger.exception(Exception)
 387
 388         return {'id': message.id,
 389                 'type': message.type,
 390                 'subtype': message.subtype_id.name if message.subtype_id else False,
 391                 'body': message.body,
 392                 'body_short': body_short,
 393                 'model': message.model,
 394                 'res_id': message.res_id,
 395                 'record_name': message.record_name,
 396                 'subject': message.subject,
 397                 'date': message.date,
 398                 'to_read': message.to_read,
 399                 'parent_id': parent_id,
 400                 'is_private': is_private,
 401                 'author_id': False,
 402                 'author_avatar': message.author_avatar,
 403                 'is_author': False,
 404                 'partner_ids': [],
 405                 'vote_nb': vote_nb,
 406                 'has_voted': has_voted,
 407                 'is_favorite': message.starred,
 408                 'attachment_ids': [],
 409             }
 410
 411     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 412             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 413         """ Create expandables for message_read, to load new messages.
 414             1. get the expandable for new threads
 415                 if display is flat (thread_level == 0):
 416                     fetch message_ids < min(already displayed ids), because we
 417                     want a flat display, ordered by id
 418                 else:
 419                     fetch message_ids that are not childs of already displayed
 420                     messages
 421             2. get the expandables for new messages inside threads if display
 422                is not flat
 423                 for each thread header, search for its childs
 424                     for each hole in the child list based on message displayed,
 425                     create an expandable
 426
 427             :param list messages: list of message structure for the Chatter
 428                 widget to which expandables are added
 429             :param dict message_tree: dict [id]: browse record of this message
 430             :param dict parent_tree: dict [parent_id]: [child_ids]
 431             :param list message_unload_ids: list of message_ids we do not want
 432                 to load
 433             :return bool: True
 434         """
 435         def _get_expandable(domain, message_nb, parent_id, max_limit):
 436             return {
 437                 'domain': domain,
 438                 'nb_messages': message_nb,
 439                 'type': 'expandable',
 440                 'parent_id': parent_id,
 441                 'max_limit':  max_limit,
 442             }
 443
 444         if not messages:
 445             return True
 446         message_ids = sorted(message_tree.keys())
 447
 448         # 1. get the expandable for new threads
 449         if thread_level == 0:
 450             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 451         else:
 452             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 453         ids = self.search(cr, uid, exp_domain, context=context, limit=1)
 454         if ids:
 455             # inside a thread: prepend
 456             if parent_id:
 457                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 458             # new threads: append
 459             else:
 460                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 461
 462         # 2. get the expandables for new messages inside threads if display is not flat
 463         if thread_level == 0:
 464             return True
 465         for message_id in message_ids:
 466             message = message_tree[message_id]
 467
 468             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 469             if message.parent_id:
 470                 continue
 471
 472             # check there are message for expandable
 473             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 474             child_ids = sorted(list(child_ids), reverse=True)
 475             if not child_ids:
 476                 continue
 477
 478             # make groups of unread messages
 479             id_min, id_max, nb = max(child_ids), 0, 0
 480             for child_id in child_ids:
 481                 if not child_id in message_ids:
 482                     nb += 1
 483                     if id_min > child_id:
 484                         id_min = child_id
 485                     if id_max < child_id:
 486                         id_max = child_id
 487                 elif nb > 0:
 488                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 489                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 490                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 491                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 492                     id_min, id_max, nb = max(child_ids), 0, 0
 493                 else:
 494                     id_min, id_max, nb = max(child_ids), 0, 0
 495             if nb > 0:
 496                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 497                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 498                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 499                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 500
 501         return True
 502
 503     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 504                         thread_level=0, context=None, parent_id=False, limit=None):
 505         """ Read messages from mail.message, and get back a list of structured
 506             messages to be displayed as discussion threads. If IDs is set,
 507             fetch these records. Otherwise use the domain to fetch messages.
 508             After having fetch messages, their ancestors will be added to obtain
 509             well formed threads, if uid has access to them.
 510
 511             After reading the messages, expandable messages are added in the
 512             message list (see ``_message_read_add_expandables``). It consists
 513             in messages holding the 'read more' data: number of messages to
 514             read, domain to apply.
 515
 516             :param list ids: optional IDs to fetch
 517             :param list domain: optional domain for searching ids if ids not set
 518             :param list message_unload_ids: optional ids we do not want to fetch,
 519                 because i.e. they are already displayed somewhere
 520             :param int parent_id: context of parent_id
 521                 - if parent_id reached when adding ancestors, stop going further
 522                   in the ancestor search
 523                 - if set in flat mode, ancestor_id is set to parent_id
 524             :param int limit: number of messages to fetch, before adding the
 525                 ancestors and expandables
 526             :return list: list of message structure for the Chatter widget
 527         """
 528         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 529         domain = domain if domain is not None else []
 530         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 531         if message_unload_ids:
 532             domain += [('id', 'not in', message_unload_ids)]
 533         limit = limit or self._message_read_limit
 534         message_tree = {}
 535         message_list = []
 536         parent_tree = {}
 537
 538         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 539         if ids is None:
 540             ids = self.search(cr, uid, domain, context=context, limit=limit)
 541
 542         # fetch parent if threaded, sort messages
 543         for message in self.browse(cr, uid, ids, context=context):
 544             message_id = message.id
 545             if message_id in message_tree:
 546                 continue
 547             message_tree[message_id] = message
 548
 549             # find parent_id
 550             if thread_level == 0:
 551                 tree_parent_id = parent_id
 552             else:
 553                 tree_parent_id = message_id
 554                 parent = message
 555                 while parent.parent_id and parent.parent_id.id != parent_id:
 556                     parent = parent.parent_id
 557                     tree_parent_id = parent.id
 558                 if not parent.id in message_tree:
 559                     message_tree[parent.id] = parent
 560             # newest messages first
 561             parent_tree.setdefault(tree_parent_id, [])
 562             if tree_parent_id != message_id:
 563                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 564
 565         if thread_level:
 566             for key, message_id_list in parent_tree.iteritems():
 567                 message_id_list.sort(key=lambda item: item['id'])
 568                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 569
 570         # create final ordered message_list based on parent_tree
 571         parent_list = parent_tree.items()
 572         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 573         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 574
 575         # get the child expandable messages for the tree
 576         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 577         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 578             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 579         return message_list
 580
 581     #------------------------------------------------------
 582     # mail_message internals
 583     #------------------------------------------------------
 584
 585     def init(self, cr):
 586         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 587         if not cr.fetchone():
 588             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 589
 590     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 591         doc_ids = doc_dict.keys()
 592         allowed_doc_ids = self.pool[doc_model].search(cr, uid, [('id', 'in', doc_ids)], context=context)
 593         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 594
 595     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 596         model_access_obj = self.pool.get('ir.model.access')
 597         allowed_ids = set()
 598         for doc_model, doc_dict in model_ids.iteritems():
 599             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 600                 continue
 601             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 602         return allowed_ids
 603
 604     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 605         context=None, count=False, access_rights_uid=None):
 606         """ Override that adds specific access rights of mail.message, to remove
 607             ids uid could not see according to our custom rules. Please refer
 608             to check_access_rule for more details about those rules.
 609
 610             After having received ids of a classic search, keep only:
 611             - if author_id == pid, uid is the author, OR
 612             - a notification (id, pid) exists, uid has been notified, OR
 613             - uid have read access to the related document is model, res_id
 614             - otherwise: remove the id
 615         """
 616         # Rules do not apply to administrator
 617         if uid == SUPERUSER_ID:
 618             return super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 619                 context=context, count=count, access_rights_uid=access_rights_uid)
 620         # Perform a super with count as False, to have the ids, not a counter
 621         ids = super(mail_message, self)._search(cr, uid, args, offset=offset, limit=limit, order=order,
 622             context=context, count=False, access_rights_uid=access_rights_uid)
 623         if not ids and count:
 624             return 0
 625         elif not ids:
 626             return ids
 627
 628         pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 629         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 630         model_ids = {}
 631
 632         messages = super(mail_message, self).read(cr, uid, ids, ['author_id', 'model', 'res_id', 'notified_partner_ids'], context=context)
 633         for message in messages:
 634             if message.get('author_id') and message.get('author_id')[0] == pid:
 635                 author_ids.add(message.get('id'))
 636             elif pid in message.get('notified_partner_ids'):
 637                 partner_ids.add(message.get('id'))
 638             elif message.get('model') and message.get('res_id'):
 639                 model_ids.setdefault(message.get('model'), {}).setdefault(message.get('res_id'), set()).add(message.get('id'))
 640
 641         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 642         final_ids = author_ids | partner_ids | allowed_ids
 643
 644         if count:
 645             return len(final_ids)
 646         else:
 647             # re-construct a list based on ids, because set did not keep the original order
 648             id_list = [id for id in ids if id in final_ids]
 649             return id_list
 650
 651     def check_access_rule(self, cr, uid, ids, operation, context=None):
 652         """ Access rules of mail.message:
 653             - read: if
 654                 - author_id == pid, uid is the author, OR
 655                 - mail_notification (id, pid) exists, uid has been notified, OR
 656                 - uid have read access to the related document if model, res_id
 657                 - otherwise: raise
 658             - create: if
 659                 - no model, no res_id, I create a private message OR
 660                 - pid in message_follower_ids if model, res_id OR
 661                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 662                 - uid have write or create access on the related document if model, res_id, OR
 663                 - otherwise: raise
 664             - write: if
 665                 - author_id == pid, uid is the author, OR
 666                 - uid has write or create access on the related document if model, res_id
 667                 - otherwise: raise
 668             - unlink: if
 669                 - uid has write or create access on the related document if model, res_id
 670                 - otherwise: raise
 671         """
 672         def _generate_model_record_ids(msg_val, msg_ids=[]):
 673             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 674                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 675             """
 676             model_record_ids = {}
 677             for id in msg_ids:
 678                 vals = msg_val.get(id, {})
 679                 if vals.get('model') and vals.get('res_id'):
 680                     model_record_ids.setdefault(vals['model'], set()).add(vals['res_id'])
 681             return model_record_ids
 682
 683         if uid == SUPERUSER_ID:
 684             return
 685         if isinstance(ids, (int, long)):
 686             ids = [ids]
 687         not_obj = self.pool.get('mail.notification')
 688         fol_obj = self.pool.get('mail.followers')
 689         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=None).partner_id.id
 690
 691         # Read mail_message.ids to have their values
 692         message_values = dict.fromkeys(ids, {})
 693         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 694         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 695             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 696
 697         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 698         author_ids = []
 699         if operation == 'read' or operation == 'write':
 700             author_ids = [mid for mid, message in message_values.iteritems()
 701                 if message.get('author_id') and message.get('author_id') == partner_id]
 702         elif operation == 'create':
 703             author_ids = [mid for mid, message in message_values.iteritems()
 704                 if not message.get('model') and not message.get('res_id')]
 705
 706         # Parent condition, for create (check for received notifications for the created message parent)
 707         notified_ids = []
 708         if operation == 'create':
 709             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 710                 if message.get('parent_id')]
 711             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 712             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 713             notified_ids += [mid for mid, message in message_values.iteritems()
 714                 if message.get('parent_id') in not_parent_ids]
 715
 716         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 717         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 718         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 719         if operation == 'read':
 720             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 721                 ('partner_id', '=', partner_id),
 722                 ('message_id', 'in', ids),
 723             ], context=context)
 724             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 725         elif operation == 'create':
 726             for doc_model, doc_ids in model_record_ids.items():
 727                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 728                     ('res_model', '=', doc_model),
 729                     ('res_id', 'in', list(doc_ids)),
 730                     ('partner_id', '=', partner_id),
 731                     ], context=context)
 732                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 733                 notified_ids += [mid for mid, message in message_values.iteritems()
 734                     if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 735
 736         # CRUD: Access rights related to the document
 737         other_ids = other_ids.difference(set(notified_ids))
 738         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 739         document_related_ids = []
 740         for model, doc_ids in model_record_ids.items():
 741             model_obj = self.pool[model]
 742             mids = model_obj.exists(cr, uid, list(doc_ids))
 743             if hasattr(model_obj, 'check_mail_message_access'):
 744                 model_obj.check_mail_message_access(cr, uid, mids, operation, context=context)
 745             else:
 746                 self.pool['mail.thread'].check_mail_message_access(cr, uid, mids, operation, model_obj=model_obj, context=context)
 747             document_related_ids += [mid for mid, message in message_values.iteritems()
 748                 if message.get('model') == model and message.get('res_id') in mids]
 749
 750         # Calculate remaining ids: if not void, raise an error
 751         other_ids = other_ids.difference(set(document_related_ids))
 752         if not other_ids:
 753             return
 754         raise orm.except_orm(_('Access Denied'),
 755                             _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') % \
 756                             (self._description, operation))
 757
 758     def _get_record_name(self, cr, uid, values, context=None):
 759         """ Return the related document name, using name_get. It is done using
 760             SUPERUSER_ID, to be sure to have the record name correctly stored. """
 761         if not values.get('model') or not values.get('res_id') or values['model'] not in self.pool:
 762             return False
 763         return self.pool[values['model']].name_get(cr, SUPERUSER_ID, [values['res_id']], context=context)[0][1]
 764
 765     def _get_reply_to(self, cr, uid, values, context=None):
 766         """ Return a specific reply_to: alias of the document through message_get_reply_to
 767             or take the email_from
 768         """
 769         email_reply_to = None
 770
 771         ir_config_parameter = self.pool.get("ir.config_parameter")
 772         catchall_domain = ir_config_parameter.get_param(cr, uid, "mail.catchall.domain", context=context)
 773
 774         # model, res_id, email_from: comes from values OR related message
 775         model, res_id, email_from = values.get('model'), values.get('res_id'), values.get('email_from')
 776
 777         # if model and res_id: try to use ``message_get_reply_to`` that returns the document alias
 778         if not email_reply_to and model and res_id and catchall_domain and hasattr(self.pool[model], 'message_get_reply_to'):
 779             email_reply_to = self.pool[model].message_get_reply_to(cr, uid, [res_id], context=context)[0]
 780         # no alias reply_to -> catchall alias
 781         if not email_reply_to and catchall_domain:
 782             catchall_alias = ir_config_parameter.get_param(cr, uid, "mail.catchall.alias", context=context)
 783             if catchall_alias:
 784                 email_reply_to = '%s@%s' % (catchall_alias, catchall_domain)
 785         # still no reply_to -> reply_to will be the email_from
 786         if not email_reply_to and email_from:
 787             email_reply_to = email_from
 788
 789         # format 'Document name <email_address>'
 790         if email_reply_to and model and res_id:
 791             emails = tools.email_split(email_reply_to)
 792             if emails:
 793                 email_reply_to = emails[0]
 794             document_name = self.pool[model].name_get(cr, SUPERUSER_ID, [res_id], context=context)[0]
 795             if document_name:
 796                 # sanitize document name
 797                 sanitized_doc_name = re.sub(r'[^\w+.]+', '-', document_name[1])
 798                 # generate reply to
 799                 email_reply_to = _('"Followers of %s" <%s>') % (sanitized_doc_name, email_reply_to)
 800
 801         return email_reply_to
 802
 803     def _get_message_id(self, cr, uid, values, context=None):
 804         if values.get('reply_to'):
 805             message_id = tools.generate_tracking_message_id('reply_to')
 806         elif values.get('res_id') and values.get('model'):
 807             message_id = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 808         else:
 809             message_id = tools.generate_tracking_message_id('private')
 810         return message_id
 811
 812     def create(self, cr, uid, values, context=None):
 813         if context is None:
 814             context = {}
 815         default_starred = context.pop('default_starred', False)
 816
 817         if 'email_from' not in values:  # needed to compute reply_to
 818             values['email_from'] = self._get_default_from(cr, uid, context=context)
 819         if 'message_id' not in values:
 820             values['message_id'] = self._get_message_id(cr, uid, values, context=context)
 821         if 'reply_to' not in values:
 822             values['reply_to'] = self._get_reply_to(cr, uid, values, context=context)
 823         if 'record_name' not in values and 'default_record_name' not in context:
 824             values['record_name'] = self._get_record_name(cr, uid, values, context=context)
 825
 826         newid = super(mail_message, self).create(cr, uid, values, context)
 827
 828         self._notify(cr, uid, newid, context=context,
 829                      force_send=context.get('mail_notify_force_send', True),
 830                      user_signature=context.get('mail_notify_user_signature', True))
 831         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 832         # Because starred will call set_message_starred, that looks for notifications.
 833         # When creating a new mail_message, it will create a notification to a message
 834         # that does not exist, leading to an error (key not existing). Also this
 835         # this means unread notifications will be created, yet we can not assure
 836         # this is what we want.
 837         if default_starred:
 838             self.set_message_starred(cr, uid, [newid], True, context=context)
 839         return newid
 840
 841     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 842         """ Override to explicitely call check_access_rule, that is not called
 843             by the ORM. It instead directly fetches ir.rules and apply them. """
 844         self.check_access_rule(cr, uid, ids, 'read', context=context)
 845         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 846         return res
 847
 848     def unlink(self, cr, uid, ids, context=None):
 849         # cascade-delete attachments that are directly attached to the message (should only happen
 850         # for mail.messages that act as parent for a standalone mail.mail record).
 851         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 852         attachments_to_delete = []
 853         for message in self.browse(cr, uid, ids, context=context):
 854             for attach in message.attachment_ids:
 855                 if attach.res_model == self._name and (attach.res_id == message.id or attach.res_id == 0):
 856                     attachments_to_delete.append(attach.id)
 857         if attachments_to_delete:
 858             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 859         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 860
 861     def copy(self, cr, uid, id, default=None, context=None):
 862         """ Overridden to avoid duplicating fields that are unique to each email """
 863         if default is None:
 864             default = {}
 865         default.update(message_id=False, headers=False)
 866         return super(mail_message, self).copy(cr, uid, id, default=default, context=context)
 867
 868     #------------------------------------------------------
 869     # Messaging API
 870     #------------------------------------------------------
 871
 872     def _notify(self, cr, uid, newid, context=None, force_send=False, user_signature=True):
 873         """ Add the related record followers to the destination partner_ids if is not a private message.
 874             Call mail_notification.notify to manage the email sending
 875         """
 876         notification_obj = self.pool.get('mail.notification')
 877         message = self.browse(cr, uid, newid, context=context)
 878         partners_to_notify = set([])
 879
 880         # all followers of the mail.message document have to be added as partners and notified if a subtype is defined (otherwise: log message)
 881         if message.subtype_id and message.model and message.res_id:
 882             fol_obj = self.pool.get("mail.followers")
 883             # browse as SUPERUSER because rules could restrict the search results
 884             fol_ids = fol_obj.search(
 885                 cr, SUPERUSER_ID, [
 886                     ('res_model', '=', message.model),
 887                     ('res_id', '=', message.res_id),
 888                 ], context=context)
 889             partners_to_notify |= set(
 890                 fo.partner_id.id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)
 891                 if message.subtype_id.id in [st.id for st in fo.subtype_ids]
 892             )
 893         # remove me from notified partners, unless the message is written on my own wall
 894         if message.subtype_id and message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 895             partners_to_notify |= set([message.author_id.id])
 896         elif message.author_id:
 897             partners_to_notify -= set([message.author_id.id])
 898
 899         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 900         if message.partner_ids:
 901             partners_to_notify |= set([p.id for p in message.partner_ids])
 902
 903         # notify
 904         notification_obj._notify(
 905             cr, uid, newid, partners_to_notify=list(partners_to_notify), context=context,
 906             force_send=force_send, user_signature=user_signature
 907         )
 908         message.refresh()
 909
 910         # An error appear when a user receive a notification without notifying
 911         # the parent message -> add a read notification for the parent
 912         if message.parent_id:
 913             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 914             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 915             for partner in partners_to_parent_notify:
 916                 notification_obj.create(cr, uid, {
 917                         'message_id': message.parent_id.id,
 918                         'partner_id': partner.id,
 919                         'read': True,
 920                     }, context=context)