addons/mail/mail_message.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2010-today OpenERP SA (<http://www.openerp.com>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 import logging
  23
  24 from openerp import tools
  25
  26 from email.header import decode_header
  27 from email.utils import formataddr
  28 from openerp import SUPERUSER_ID, api
  29 from openerp.osv import osv, orm, fields
  30 from openerp.tools import html_email_clean
  31 from openerp.tools.translate import _
  32 from HTMLParser import HTMLParser
  33
  34 _logger = logging.getLogger(__name__)
  35
  36
  37 """ Some tools for parsing / creating email fields """
  38 def decode(text):
  39     """Returns unicode() string conversion of the the given encoded smtp header text"""
  40     if text:
  41         text = decode_header(text.replace('\r', ''))
  42         return ''.join([tools.ustr(x[0], x[1]) for x in text])
  43
  44 class MLStripper(HTMLParser):
  45     def __init__(self):
  46         self.reset()
  47         self.fed = []
  48     def handle_data(self, d):
  49         self.fed.append(d)
  50     def get_data(self):
  51         return ''.join(self.fed)
  52
  53 def strip_tags(html):
  54     s = MLStripper()
  55     s.feed(html)
  56     return s.get_data()
  57
  58 class mail_message(osv.Model):
  59     """ Messages model: system notification (replacing res.log notifications),
  60         comments (OpenChatter discussion) and incoming emails. """
  61     _name = 'mail.message'
  62     _description = 'Message'
  63     _inherit = ['ir.needaction_mixin']
  64     _order = 'id desc'
  65     _rec_name = 'record_name'
  66
  67     _message_read_limit = 30
  68     _message_read_fields = ['id', 'parent_id', 'model', 'res_id', 'body', 'subject', 'date', 'to_read', 'email_from',
  69         'type', 'vote_user_ids', 'attachment_ids', 'author_id', 'partner_ids', 'record_name']
  70     _message_record_name_length = 18
  71     _message_read_more_limit = 1024
  72
  73     def default_get(self, cr, uid, fields, context=None):
  74         # protection for `default_type` values leaking from menu action context (e.g. for invoices)
  75         if context and context.get('default_type') and context.get('default_type') not in [
  76                 val[0] for val in self._columns['type'].selection]:
  77             context = dict(context, default_type=None)
  78         return super(mail_message, self).default_get(cr, uid, fields, context=context)
  79
  80     def _get_to_read(self, cr, uid, ids, name, arg, context=None):
  81         """ Compute if the message is unread by the current user. """
  82         res = dict((id, False) for id in ids)
  83         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
  84         notif_obj = self.pool.get('mail.notification')
  85         notif_ids = notif_obj.search(cr, uid, [
  86             ('partner_id', 'in', [partner_id]),
  87             ('message_id', 'in', ids),
  88             ('is_read', '=', False),
  89         ], context=context)
  90         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
  91             res[notif.message_id.id] = True
  92         return res
  93
  94     def _search_to_read(self, cr, uid, obj, name, domain, context=None):
  95         """ Search for messages to read by the current user. Condition is
  96             inversed because we search unread message on a is_read column. """
  97         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.is_read', '=', not domain[0][2])]
  98
  99     def _get_starred(self, cr, uid, ids, name, arg, context=None):
 100         """ Compute if the message is unread by the current user. """
 101         res = dict((id, False) for id in ids)
 102         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 103         notif_obj = self.pool.get('mail.notification')
 104         notif_ids = notif_obj.search(cr, uid, [
 105             ('partner_id', 'in', [partner_id]),
 106             ('message_id', 'in', ids),
 107             ('starred', '=', True),
 108         ], context=context)
 109         for notif in notif_obj.browse(cr, uid, notif_ids, context=context):
 110             res[notif.message_id.id] = True
 111         return res
 112
 113     def _search_starred(self, cr, uid, obj, name, domain, context=None):
 114         """ Search for starred messages by the current user."""
 115         return ['&', ('notification_ids.partner_id.user_ids', 'in', [uid]), ('notification_ids.starred', '=', domain[0][2])]
 116
 117     _columns = {
 118         'type': fields.selection([
 119                         ('email', 'Email'),
 120                         ('comment', 'Comment'),
 121                         ('notification', 'System notification'),
 122                         ], 'Type', size=12,
 123             help="Message type: email for email message, notification for system "\
 124                  "message, comment for other messages such as user replies"),
 125         'email_from': fields.char('From',
 126             help="Email address of the sender. This field is set when no matching partner is found for incoming emails."),
 127         'reply_to': fields.char('Reply-To',
 128             help='Reply email address. Setting the reply_to bypasses the automatic thread creation.'),
 129         'no_auto_thread': fields.boolean('No threading for answers',
 130             help='Answers do not go in the original document\' discussion thread. This has an impact on the generated message-id.'),
 131         'author_id': fields.many2one('res.partner', 'Author', select=1,
 132             ondelete='set null',
 133             help="Author of the message. If not set, email_from may hold an email address that did not match any partner."),
 134         'author_avatar': fields.related('author_id', 'image_small', type="binary", string="Author's Avatar"),
 135         'partner_ids': fields.many2many('res.partner', string='Recipients'),
 136         'notified_partner_ids': fields.many2many('res.partner', 'mail_notification',
 137             'message_id', 'partner_id', 'Notified partners',
 138             help='Partners that have a notification pushing this message in their mailboxes'),
 139         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel',
 140             'message_id', 'attachment_id', 'Attachments'),
 141         'parent_id': fields.many2one('mail.message', 'Parent Message', select=True,
 142             ondelete='set null', help="Initial thread message."),
 143         'child_ids': fields.one2many('mail.message', 'parent_id', 'Child Messages'),
 144         'model': fields.char('Related Document Model', size=128, select=1),
 145         'res_id': fields.integer('Related Document ID', select=1),
 146         'record_name': fields.char('Message Record Name', help="Name get of the related document."),
 147         'notification_ids': fields.one2many('mail.notification', 'message_id',
 148             string='Notifications', auto_join=True,
 149             help='Technical field holding the message notifications. Use notified_partner_ids to access notified partners.'),
 150         'subject': fields.char('Subject'),
 151         'date': fields.datetime('Date'),
 152         'message_id': fields.char('Message-Id', help='Message unique identifier', select=1, readonly=1, copy=False),
 153         'body': fields.html('Contents', help='Automatically sanitized HTML contents'),
 154         'to_read': fields.function(_get_to_read, fnct_search=_search_to_read,
 155             type='boolean', string='To read',
 156             help='Current user has an unread notification linked to this message'),
 157         'starred': fields.function(_get_starred, fnct_search=_search_starred,
 158             type='boolean', string='Starred',
 159             help='Current user has a starred notification linked to this message'),
 160         'subtype_id': fields.many2one('mail.message.subtype', 'Subtype',
 161             ondelete='set null', select=1,),
 162         'vote_user_ids': fields.many2many('res.users', 'mail_vote',
 163             'message_id', 'user_id', string='Votes',
 164             help='Users that voted for this message'),
 165         'mail_server_id': fields.many2one('ir.mail_server', 'Outgoing mail server', readonly=1),
 166     }
 167
 168     def _needaction_domain_get(self, cr, uid, context=None):
 169         return [('to_read', '=', True)]
 170
 171     def _get_default_from(self, cr, uid, context=None):
 172         this = self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context)
 173         if this.alias_name and this.alias_domain:
 174             return formataddr((this.name, '%s@%s' % (this.alias_name, this.alias_domain)))
 175         elif this.email:
 176             return formataddr((this.name, this.email))
 177         raise osv.except_osv(_('Invalid Action!'), _("Unable to send email, please configure the sender's email address or alias."))
 178
 179     def _get_default_author(self, cr, uid, context=None):
 180         return self.pool.get('res.users').browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 181
 182     _defaults = {
 183         'type': 'email',
 184         'date': fields.datetime.now,
 185         'author_id': lambda self, cr, uid, ctx=None: self._get_default_author(cr, uid, ctx),
 186         'body': '',
 187         'email_from': lambda self, cr, uid, ctx=None: self._get_default_from(cr, uid, ctx),
 188     }
 189
 190     #------------------------------------------------------
 191     # Vote/Like
 192     #------------------------------------------------------
 193
 194     def vote_toggle(self, cr, uid, ids, context=None):
 195         ''' Toggles vote. Performed using read to avoid access rights issues.
 196             Done as SUPERUSER_ID because uid may vote for a message he cannot modify. '''
 197         for message in self.read(cr, uid, ids, ['vote_user_ids'], context=context):
 198             new_has_voted = not (uid in message.get('vote_user_ids'))
 199             if new_has_voted:
 200                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(4, uid)]}, context=context)
 201             else:
 202                 self.write(cr, SUPERUSER_ID, message.get('id'), {'vote_user_ids': [(3, uid)]}, context=context)
 203         return new_has_voted or False
 204
 205     #------------------------------------------------------
 206     # download an attachment
 207     #------------------------------------------------------
 208
 209     def download_attachment(self, cr, uid, id_message, attachment_id, context=None):
 210         """ Return the content of linked attachments. """
 211         # this will fail if you cannot read the message
 212         message_values = self.read(cr, uid, [id_message], ['attachment_ids'], context=context)[0]
 213         if attachment_id in message_values['attachment_ids']:
 214             attachment = self.pool.get('ir.attachment').browse(cr, SUPERUSER_ID, attachment_id, context=context)
 215             if attachment.datas and attachment.datas_fname:
 216                 return {
 217                     'base64': attachment.datas,
 218                     'filename': attachment.datas_fname,
 219                 }
 220         return False
 221
 222     #------------------------------------------------------
 223     # Notification API
 224     #------------------------------------------------------
 225
 226     @api.cr_uid_ids_context
 227     def set_message_read(self, cr, uid, msg_ids, read, create_missing=True, context=None):
 228         """ Set messages as (un)read. Technically, the notifications related
 229             to uid are set to (un)read. If for some msg_ids there are missing
 230             notifications (i.e. due to load more or thread parent fetching),
 231             they are created.
 232
 233             :param bool read: set notification as (un)read
 234             :param bool create_missing: create notifications for missing entries
 235                 (i.e. when acting on displayed messages not notified)
 236
 237             :return number of message mark as read
 238         """
 239         notification_obj = self.pool.get('mail.notification')
 240         user_pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 241         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 242         if not create_missing:
 243             domain += [('is_read', '=', not read)]
 244         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 245
 246         # all message have notifications: already set them as (un)read
 247         if len(notif_ids) == len(msg_ids) or not create_missing:
 248             notification_obj.write(cr, uid, notif_ids, {'is_read': read}, context=context)
 249             return len(notif_ids)
 250
 251         # some messages do not have notifications: find which one, create notification, update read status
 252         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 253         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 254         for msg_id in to_create_msg_ids:
 255             notification_obj.create(cr, uid, {'partner_id': user_pid, 'is_read': read, 'message_id': msg_id}, context=context)
 256         notification_obj.write(cr, uid, notif_ids, {'is_read': read}, context=context)
 257         return len(notif_ids)
 258
 259     @api.cr_uid_ids_context
 260     def set_message_starred(self, cr, uid, msg_ids, starred, create_missing=True, context=None):
 261         """ Set messages as (un)starred. Technically, the notifications related
 262             to uid are set to (un)starred.
 263
 264             :param bool starred: set notification as (un)starred
 265             :param bool create_missing: create notifications for missing entries
 266                 (i.e. when acting on displayed messages not notified)
 267         """
 268         notification_obj = self.pool.get('mail.notification')
 269         user_pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 270         domain = [('partner_id', '=', user_pid), ('message_id', 'in', msg_ids)]
 271         if not create_missing:
 272             domain += [('starred', '=', not starred)]
 273         values = {
 274             'starred': starred
 275         }
 276         if starred:
 277             values['is_read'] = False
 278
 279         notif_ids = notification_obj.search(cr, uid, domain, context=context)
 280
 281         # all message have notifications: already set them as (un)starred
 282         if len(notif_ids) == len(msg_ids) or not create_missing:
 283             notification_obj.write(cr, uid, notif_ids, values, context=context)
 284             return starred
 285
 286         # some messages do not have notifications: find which one, create notification, update starred status
 287         notified_msg_ids = [notification.message_id.id for notification in notification_obj.browse(cr, uid, notif_ids, context=context)]
 288         to_create_msg_ids = list(set(msg_ids) - set(notified_msg_ids))
 289         for msg_id in to_create_msg_ids:
 290             notification_obj.create(cr, uid, dict(values, partner_id=user_pid, message_id=msg_id), context=context)
 291         notification_obj.write(cr, uid, notif_ids, values, context=context)
 292         return starred
 293
 294     #------------------------------------------------------
 295     # Message loading for web interface
 296     #------------------------------------------------------
 297
 298     def _message_read_dict_postprocess(self, cr, uid, messages, message_tree, context=None):
 299         """ Post-processing on values given by message_read. This method will
 300             handle partners in batch to avoid doing numerous queries.
 301
 302             :param list messages: list of message, as get_dict result
 303             :param dict message_tree: {[msg.id]: msg browse record}
 304         """
 305         res_partner_obj = self.pool.get('res.partner')
 306         ir_attachment_obj = self.pool.get('ir.attachment')
 307         pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 308
 309         # 1. Aggregate partners (author_id and partner_ids) and attachments
 310         partner_ids = set()
 311         attachment_ids = set()
 312         for key, message in message_tree.iteritems():
 313             if message.author_id:
 314                 partner_ids |= set([message.author_id.id])
 315             if message.subtype_id and message.notified_partner_ids:  # take notified people of message with a subtype
 316                 partner_ids |= set([partner.id for partner in message.notified_partner_ids])
 317             elif not message.subtype_id and message.partner_ids:  # take specified people of message without a subtype (log)
 318                 partner_ids |= set([partner.id for partner in message.partner_ids])
 319             if message.attachment_ids:
 320                 attachment_ids |= set([attachment.id for attachment in message.attachment_ids])
 321         # Read partners as SUPERUSER -> display the names like classic m2o even if no access
 322         partners = res_partner_obj.name_get(cr, SUPERUSER_ID, list(partner_ids), context=context)
 323         partner_tree = dict((partner[0], partner) for partner in partners)
 324
 325         # 2. Attachments as SUPERUSER, because could receive msg and attachments for doc uid cannot see
 326         attachments = ir_attachment_obj.read(cr, SUPERUSER_ID, list(attachment_ids), ['id', 'datas_fname', 'name', 'file_type_icon'], context=context)
 327         attachments_tree = dict((attachment['id'], {
 328             'id': attachment['id'],
 329             'filename': attachment['datas_fname'],
 330             'name': attachment['name'],
 331             'file_type_icon': attachment['file_type_icon'],
 332         }) for attachment in attachments)
 333
 334         # 3. Update message dictionaries
 335         for message_dict in messages:
 336             message_id = message_dict.get('id')
 337             message = message_tree[message_id]
 338             if message.author_id:
 339                 author = partner_tree[message.author_id.id]
 340             else:
 341                 author = (0, message.email_from)
 342             partner_ids = []
 343             if message.subtype_id:
 344                 partner_ids = [partner_tree[partner.id] for partner in message.notified_partner_ids
 345                                 if partner.id in partner_tree]
 346             else:
 347                 partner_ids = [partner_tree[partner.id] for partner in message.partner_ids
 348                                 if partner.id in partner_tree]
 349             attachment_ids = []
 350             for attachment in message.attachment_ids:
 351                 if attachment.id in attachments_tree:
 352                     attachment_ids.append(attachments_tree[attachment.id])
 353             message_dict.update({
 354                 'is_author': pid == author[0],
 355                 'author_id': author,
 356                 'partner_ids': partner_ids,
 357                 'attachment_ids': attachment_ids,
 358                 'user_pid': pid
 359                 })
 360         return True
 361
 362     def _message_read_dict(self, cr, uid, message, parent_id=False, context=None):
 363         """ Return a dict representation of the message. This representation is
 364             used in the JS client code, to display the messages. Partners and
 365             attachments related stuff will be done in post-processing in batch.
 366
 367             :param dict message: mail.message browse record
 368         """
 369         # private message: no model, no res_id
 370         is_private = False
 371         if not message.model or not message.res_id:
 372             is_private = True
 373         # votes and favorites: res.users ids, no prefetching should be done
 374         vote_nb = len(message.vote_user_ids)
 375         has_voted = uid in [user.id for user in message.vote_user_ids]
 376
 377         try:
 378             if parent_id:
 379                 max_length = 300
 380             else:
 381                 max_length = 100
 382             body_short = html_email_clean(message.body, remove=False, shorten=True, max_length=max_length)
 383
 384         except Exception:
 385             body_short = '<p><b>Encoding Error : </b><br/>Unable to convert this message (id: %s).</p>' % message.id
 386             _logger.exception(Exception)
 387
 388         return {'id': message.id,
 389                 'type': message.type,
 390                 'subtype': message.subtype_id.name if message.subtype_id else False,
 391                 'body': message.body,
 392                 'body_short': body_short,
 393                 'model': message.model,
 394                 'res_id': message.res_id,
 395                 'record_name': message.record_name,
 396                 'subject': message.subject,
 397                 'date': message.date,
 398                 'to_read': message.to_read,
 399                 'parent_id': parent_id,
 400                 'is_private': is_private,
 401                 'author_id': False,
 402                 'author_avatar': message.author_avatar,
 403                 'is_author': False,
 404                 'partner_ids': [],
 405                 'vote_nb': vote_nb,
 406                 'has_voted': has_voted,
 407                 'is_favorite': message.starred,
 408                 'attachment_ids': [],
 409             }
 410
 411     def _message_read_add_expandables(self, cr, uid, messages, message_tree, parent_tree,
 412             message_unload_ids=[], thread_level=0, domain=[], parent_id=False, context=None):
 413         """ Create expandables for message_read, to load new messages.
 414             1. get the expandable for new threads
 415                 if display is flat (thread_level == 0):
 416                     fetch message_ids < min(already displayed ids), because we
 417                     want a flat display, ordered by id
 418                 else:
 419                     fetch message_ids that are not childs of already displayed
 420                     messages
 421             2. get the expandables for new messages inside threads if display
 422                is not flat
 423                 for each thread header, search for its childs
 424                     for each hole in the child list based on message displayed,
 425                     create an expandable
 426
 427             :param list messages: list of message structure for the Chatter
 428                 widget to which expandables are added
 429             :param dict message_tree: dict [id]: browse record of this message
 430             :param dict parent_tree: dict [parent_id]: [child_ids]
 431             :param list message_unload_ids: list of message_ids we do not want
 432                 to load
 433             :return bool: True
 434         """
 435         def _get_expandable(domain, message_nb, parent_id, max_limit):
 436             return {
 437                 'domain': domain,
 438                 'nb_messages': message_nb,
 439                 'type': 'expandable',
 440                 'parent_id': parent_id,
 441                 'max_limit':  max_limit,
 442             }
 443
 444         if not messages:
 445             return True
 446         message_ids = sorted(message_tree.keys())
 447
 448         # 1. get the expandable for new threads
 449         if thread_level == 0:
 450             exp_domain = domain + [('id', '<', min(message_unload_ids + message_ids))]
 451         else:
 452             exp_domain = domain + ['!', ('id', 'child_of', message_unload_ids + parent_tree.keys())]
 453         more_count = self.search_count(cr, uid, exp_domain, context=context)
 454         if more_count:
 455             # inside a thread: prepend
 456             if parent_id:
 457                 messages.insert(0, _get_expandable(exp_domain, -1, parent_id, True))
 458             # new threads: append
 459             else:
 460                 messages.append(_get_expandable(exp_domain, -1, parent_id, True))
 461
 462         # 2. get the expandables for new messages inside threads if display is not flat
 463         if thread_level == 0:
 464             return True
 465         for message_id in message_ids:
 466             message = message_tree[message_id]
 467
 468             # generate only for thread header messages (TDE note: parent_id may be False is uid cannot see parent_id, seems ok)
 469             if message.parent_id:
 470                 continue
 471
 472             # check there are message for expandable
 473             child_ids = set([child.id for child in message.child_ids]) - set(message_unload_ids)
 474             child_ids = sorted(list(child_ids), reverse=True)
 475             if not child_ids:
 476                 continue
 477
 478             # make groups of unread messages
 479             id_min, id_max, nb = max(child_ids), 0, 0
 480             for child_id in child_ids:
 481                 if not child_id in message_ids:
 482                     nb += 1
 483                     if id_min > child_id:
 484                         id_min = child_id
 485                     if id_max < child_id:
 486                         id_max = child_id
 487                 elif nb > 0:
 488                     exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 489                     idx = [msg.get('id') for msg in messages].index(child_id) + 1
 490                     # messages.append(_get_expandable(exp_domain, nb, message_id, False))
 491                     messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 492                     id_min, id_max, nb = max(child_ids), 0, 0
 493                 else:
 494                     id_min, id_max, nb = max(child_ids), 0, 0
 495             if nb > 0:
 496                 exp_domain = [('id', '>=', id_min), ('id', '<=', id_max), ('id', 'child_of', message_id)]
 497                 idx = [msg.get('id') for msg in messages].index(message_id) + 1
 498                 # messages.append(_get_expandable(exp_domain, nb, message_id, id_min))
 499                 messages.insert(idx, _get_expandable(exp_domain, nb, message_id, False))
 500
 501         return True
 502
 503     @api.cr_uid_context
 504     def message_read(self, cr, uid, ids=None, domain=None, message_unload_ids=None,
 505                         thread_level=0, context=None, parent_id=False, limit=None):
 506         """ Read messages from mail.message, and get back a list of structured
 507             messages to be displayed as discussion threads. If IDs is set,
 508             fetch these records. Otherwise use the domain to fetch messages.
 509             After having fetch messages, their ancestors will be added to obtain
 510             well formed threads, if uid has access to them.
 511
 512             After reading the messages, expandable messages are added in the
 513             message list (see ``_message_read_add_expandables``). It consists
 514             in messages holding the 'read more' data: number of messages to
 515             read, domain to apply.
 516
 517             :param list ids: optional IDs to fetch
 518             :param list domain: optional domain for searching ids if ids not set
 519             :param list message_unload_ids: optional ids we do not want to fetch,
 520                 because i.e. they are already displayed somewhere
 521             :param int parent_id: context of parent_id
 522                 - if parent_id reached when adding ancestors, stop going further
 523                   in the ancestor search
 524                 - if set in flat mode, ancestor_id is set to parent_id
 525             :param int limit: number of messages to fetch, before adding the
 526                 ancestors and expandables
 527             :return list: list of message structure for the Chatter widget
 528         """
 529         assert thread_level in [0, 1], 'message_read() thread_level should be 0 (flat) or 1 (1 level of thread); given %s.' % thread_level
 530         domain = domain if domain is not None else []
 531         message_unload_ids = message_unload_ids if message_unload_ids is not None else []
 532         if message_unload_ids:
 533             domain += [('id', 'not in', message_unload_ids)]
 534         limit = limit or self._message_read_limit
 535         message_tree = {}
 536         message_list = []
 537         parent_tree = {}
 538
 539         # no specific IDS given: fetch messages according to the domain, add their parents if uid has access to
 540         if ids is None:
 541             ids = self.search(cr, uid, domain, context=context, limit=limit)
 542
 543         # fetch parent if threaded, sort messages
 544         for message in self.browse(cr, uid, ids, context=context):
 545             message_id = message.id
 546             if message_id in message_tree:
 547                 continue
 548             message_tree[message_id] = message
 549
 550             # find parent_id
 551             if thread_level == 0:
 552                 tree_parent_id = parent_id
 553             else:
 554                 tree_parent_id = message_id
 555                 parent = message
 556                 while parent.parent_id and parent.parent_id.id != parent_id:
 557                     parent = parent.parent_id
 558                     tree_parent_id = parent.id
 559                 if not parent.id in message_tree:
 560                     message_tree[parent.id] = parent
 561             # newest messages first
 562             parent_tree.setdefault(tree_parent_id, [])
 563             if tree_parent_id != message_id:
 564                 parent_tree[tree_parent_id].append(self._message_read_dict(cr, uid, message_tree[message_id], parent_id=tree_parent_id, context=context))
 565
 566         if thread_level:
 567             for key, message_id_list in parent_tree.iteritems():
 568                 message_id_list.sort(key=lambda item: item['id'])
 569                 message_id_list.insert(0, self._message_read_dict(cr, uid, message_tree[key], context=context))
 570
 571         # create final ordered message_list based on parent_tree
 572         parent_list = parent_tree.items()
 573         parent_list = sorted(parent_list, key=lambda item: max([msg.get('id') for msg in item[1]]) if item[1] else item[0], reverse=True)
 574         message_list = [message for (key, msg_list) in parent_list for message in msg_list]
 575
 576         # get the child expandable messages for the tree
 577         self._message_read_dict_postprocess(cr, uid, message_list, message_tree, context=context)
 578         self._message_read_add_expandables(cr, uid, message_list, message_tree, parent_tree,
 579             thread_level=thread_level, message_unload_ids=message_unload_ids, domain=domain, parent_id=parent_id, context=context)
 580         return message_list
 581
 582     #------------------------------------------------------
 583     # mail_message internals
 584     #------------------------------------------------------
 585
 586     def init(self, cr):
 587         cr.execute("""SELECT indexname FROM pg_indexes WHERE indexname = 'mail_message_model_res_id_idx'""")
 588         if not cr.fetchone():
 589             cr.execute("""CREATE INDEX mail_message_model_res_id_idx ON mail_message (model, res_id)""")
 590
 591     def _find_allowed_model_wise(self, cr, uid, doc_model, doc_dict, context=None):
 592         doc_ids = doc_dict.keys()
 593         allowed_doc_ids = self.pool[doc_model].search(cr, uid, [('id', 'in', doc_ids)], context=context)
 594         return set([message_id for allowed_doc_id in allowed_doc_ids for message_id in doc_dict[allowed_doc_id]])
 595
 596     def _find_allowed_doc_ids(self, cr, uid, model_ids, context=None):
 597         model_access_obj = self.pool.get('ir.model.access')
 598         allowed_ids = set()
 599         for doc_model, doc_dict in model_ids.iteritems():
 600             if not model_access_obj.check(cr, uid, doc_model, 'read', False):
 601                 continue
 602             allowed_ids |= self._find_allowed_model_wise(cr, uid, doc_model, doc_dict, context=context)
 603         return allowed_ids
 604
 605     def _search(self, cr, uid, args, offset=0, limit=None, order=None,
 606                 context=None, count=False, access_rights_uid=None):
 607         """ Override that adds specific access rights of mail.message, to remove
 608             ids uid could not see according to our custom rules. Please refer
 609             to check_access_rule for more details about those rules.
 610
 611             After having received ids of a classic search, keep only:
 612             - if author_id == pid, uid is the author, OR
 613             - a notification (id, pid) exists, uid has been notified, OR
 614             - uid have read access to the related document is model, res_id
 615             - otherwise: remove the id
 616         """
 617         # Rules do not apply to administrator
 618         if uid == SUPERUSER_ID:
 619             return super(mail_message, self)._search(
 620                 cr, uid, args, offset=offset, limit=limit, order=order,
 621                 context=context, count=count, access_rights_uid=access_rights_uid)
 622         # Perform a super with count as False, to have the ids, not a counter
 623         ids = super(mail_message, self)._search(
 624             cr, uid, args, offset=offset, limit=limit, order=order,
 625             context=context, count=False, access_rights_uid=access_rights_uid)
 626         if not ids and count:
 627             return 0
 628         elif not ids:
 629             return ids
 630
 631         pid = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=context).partner_id.id
 632         author_ids, partner_ids, allowed_ids = set([]), set([]), set([])
 633         model_ids = {}
 634
 635         # check read access rights before checking the actual rules on the given ids
 636         super(mail_message, self).check_access_rights(cr, access_rights_uid or uid, 'read')
 637
 638         cr.execute("""SELECT DISTINCT m.id, m.model, m.res_id, m.author_id, n.partner_id
 639             FROM "%s" m LEFT JOIN "mail_notification" n
 640             ON n.message_id=m.id AND n.partner_id = (%%s)
 641             WHERE m.id = ANY (%%s)""" % self._table, (pid, ids,))
 642         for id, rmod, rid, author_id, partner_id in cr.fetchall():
 643             if author_id == pid:
 644                 author_ids.add(id)
 645             elif partner_id == pid:
 646                 partner_ids.add(id)
 647             elif rmod and rid:
 648                 model_ids.setdefault(rmod, {}).setdefault(rid, set()).add(id)
 649
 650         allowed_ids = self._find_allowed_doc_ids(cr, uid, model_ids, context=context)
 651         final_ids = author_ids | partner_ids | allowed_ids
 652
 653         if count:
 654             return len(final_ids)
 655         else:
 656             # re-construct a list based on ids, because set did not keep the original order
 657             id_list = [id for id in ids if id in final_ids]
 658             return id_list
 659
 660     def check_access_rule(self, cr, uid, ids, operation, context=None):
 661         """ Access rules of mail.message:
 662             - read: if
 663                 - author_id == pid, uid is the author, OR
 664                 - mail_notification (id, pid) exists, uid has been notified, OR
 665                 - uid have read access to the related document if model, res_id
 666                 - otherwise: raise
 667             - create: if
 668                 - no model, no res_id, I create a private message OR
 669                 - pid in message_follower_ids if model, res_id OR
 670                 - mail_notification (parent_id.id, pid) exists, uid has been notified of the parent, OR
 671                 - uid have write or create access on the related document if model, res_id, OR
 672                 - otherwise: raise
 673             - write: if
 674                 - author_id == pid, uid is the author, OR
 675                 - uid has write or create access on the related document if model, res_id
 676                 - otherwise: raise
 677             - unlink: if
 678                 - uid has write or create access on the related document if model, res_id
 679                 - otherwise: raise
 680         """
 681         def _generate_model_record_ids(msg_val, msg_ids):
 682             """ :param model_record_ids: {'model': {'res_id': (msg_id, msg_id)}, ... }
 683                 :param message_values: {'msg_id': {'model': .., 'res_id': .., 'author_id': ..}}
 684             """
 685             model_record_ids = {}
 686             for id in msg_ids:
 687                 vals = msg_val.get(id, {})
 688                 if vals.get('model') and vals.get('res_id'):
 689                     model_record_ids.setdefault(vals['model'], set()).add(vals['res_id'])
 690             return model_record_ids
 691
 692         if uid == SUPERUSER_ID:
 693             return
 694         if isinstance(ids, (int, long)):
 695             ids = [ids]
 696         not_obj = self.pool.get('mail.notification')
 697         fol_obj = self.pool.get('mail.followers')
 698         partner_id = self.pool['res.users'].browse(cr, SUPERUSER_ID, uid, context=None).partner_id.id
 699
 700         # Read mail_message.ids to have their values
 701         message_values = dict.fromkeys(ids, {})
 702         cr.execute('SELECT DISTINCT id, model, res_id, author_id, parent_id FROM "%s" WHERE id = ANY (%%s)' % self._table, (ids,))
 703         for id, rmod, rid, author_id, parent_id in cr.fetchall():
 704             message_values[id] = {'model': rmod, 'res_id': rid, 'author_id': author_id, 'parent_id': parent_id}
 705
 706         # Author condition (READ, WRITE, CREATE (private)) -> could become an ir.rule ?
 707         author_ids = []
 708         if operation == 'read' or operation == 'write':
 709             author_ids = [mid for mid, message in message_values.iteritems()
 710                           if message.get('author_id') and message.get('author_id') == partner_id]
 711         elif operation == 'create':
 712             author_ids = [mid for mid, message in message_values.iteritems()
 713                           if not message.get('model') and not message.get('res_id')]
 714
 715         # Parent condition, for create (check for received notifications for the created message parent)
 716         notified_ids = []
 717         if operation == 'create':
 718             parent_ids = [message.get('parent_id') for mid, message in message_values.iteritems()
 719                           if message.get('parent_id')]
 720             not_ids = not_obj.search(cr, SUPERUSER_ID, [('message_id.id', 'in', parent_ids), ('partner_id', '=', partner_id)], context=context)
 721             not_parent_ids = [notif.message_id.id for notif in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 722             notified_ids += [mid for mid, message in message_values.iteritems()
 723                              if message.get('parent_id') in not_parent_ids]
 724
 725         # Notification condition, for read (check for received notifications and create (in message_follower_ids)) -> could become an ir.rule, but not till we do not have a many2one variable field
 726         other_ids = set(ids).difference(set(author_ids), set(notified_ids))
 727         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 728         if operation == 'read':
 729             not_ids = not_obj.search(cr, SUPERUSER_ID, [
 730                 ('partner_id', '=', partner_id),
 731                 ('message_id', 'in', ids),
 732             ], context=context)
 733             notified_ids = [notification.message_id.id for notification in not_obj.browse(cr, SUPERUSER_ID, not_ids, context=context)]
 734         elif operation == 'create':
 735             for doc_model, doc_ids in model_record_ids.items():
 736                 fol_ids = fol_obj.search(cr, SUPERUSER_ID, [
 737                     ('res_model', '=', doc_model),
 738                     ('res_id', 'in', list(doc_ids)),
 739                     ('partner_id', '=', partner_id),
 740                 ], context=context)
 741                 fol_mids = [follower.res_id for follower in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)]
 742                 notified_ids += [mid for mid, message in message_values.iteritems()
 743                                  if message.get('model') == doc_model and message.get('res_id') in fol_mids]
 744
 745         # CRUD: Access rights related to the document
 746         other_ids = other_ids.difference(set(notified_ids))
 747         model_record_ids = _generate_model_record_ids(message_values, other_ids)
 748         document_related_ids = []
 749         for model, doc_ids in model_record_ids.items():
 750             model_obj = self.pool[model]
 751             mids = model_obj.exists(cr, uid, list(doc_ids))
 752             if hasattr(model_obj, 'check_mail_message_access'):
 753                 model_obj.check_mail_message_access(cr, uid, mids, operation, context=context)
 754             else:
 755                 self.pool['mail.thread'].check_mail_message_access(cr, uid, mids, operation, model_obj=model_obj, context=context)
 756             document_related_ids += [mid for mid, message in message_values.iteritems()
 757                                      if message.get('model') == model and message.get('res_id') in mids]
 758
 759         # Calculate remaining ids: if not void, raise an error
 760         other_ids = other_ids.difference(set(document_related_ids))
 761         if not other_ids:
 762             return
 763         raise orm.except_orm(_('Access Denied'),
 764                              _('The requested operation cannot be completed due to security restrictions. Please contact your system administrator.\n\n(Document type: %s, Operation: %s)') %
 765                              (self._description, operation))
 766
 767     def _get_record_name(self, cr, uid, values, context=None):
 768         """ Return the related document name, using name_get. It is done using
 769             SUPERUSER_ID, to be sure to have the record name correctly stored. """
 770         if not values.get('model') or not values.get('res_id') or values['model'] not in self.pool:
 771             return False
 772         return self.pool[values['model']].name_get(cr, SUPERUSER_ID, [values['res_id']], context=context)[0][1]
 773
 774     def _get_reply_to(self, cr, uid, values, context=None):
 775         """ Return a specific reply_to: alias of the document through message_get_reply_to
 776             or take the email_from
 777         """
 778         model, res_id, email_from = values.get('model'), values.get('res_id'), values.get('email_from')
 779         ctx = dict(context, thread_model=model)
 780         return self.pool['mail.thread'].message_get_reply_to(cr, uid, [res_id], default=email_from, context=ctx)[res_id]
 781
 782     def _get_message_id(self, cr, uid, values, context=None):
 783         if values.get('no_auto_thread', False) is True:
 784             message_id = tools.generate_tracking_message_id('reply_to')
 785         elif values.get('res_id') and values.get('model'):
 786             message_id = tools.generate_tracking_message_id('%(res_id)s-%(model)s' % values)
 787         else:
 788             message_id = tools.generate_tracking_message_id('private')
 789         return message_id
 790
 791     def create(self, cr, uid, values, context=None):
 792         context = dict(context or {})
 793         default_starred = context.pop('default_starred', False)
 794
 795         if 'email_from' not in values:  # needed to compute reply_to
 796             values['email_from'] = self._get_default_from(cr, uid, context=context)
 797         if not values.get('message_id'):
 798             values['message_id'] = self._get_message_id(cr, uid, values, context=context)
 799         if 'reply_to' not in values:
 800             values['reply_to'] = self._get_reply_to(cr, uid, values, context=context)
 801         if 'record_name' not in values and 'default_record_name' not in context:
 802             values['record_name'] = self._get_record_name(cr, uid, values, context=context)
 803
 804         newid = super(mail_message, self).create(cr, uid, values, context)
 805
 806         self._notify(cr, uid, newid, context=context,
 807                      force_send=context.get('mail_notify_force_send', True),
 808                      user_signature=context.get('mail_notify_user_signature', True))
 809         # TDE FIXME: handle default_starred. Why not setting an inv on starred ?
 810         # Because starred will call set_message_starred, that looks for notifications.
 811         # When creating a new mail_message, it will create a notification to a message
 812         # that does not exist, leading to an error (key not existing). Also this
 813         # this means unread notifications will be created, yet we can not assure
 814         # this is what we want.
 815         if default_starred:
 816             self.set_message_starred(cr, uid, [newid], True, context=context)
 817         return newid
 818
 819     def read(self, cr, uid, ids, fields=None, context=None, load='_classic_read'):
 820         """ Override to explicitely call check_access_rule, that is not called
 821             by the ORM. It instead directly fetches ir.rules and apply them. """
 822         self.check_access_rule(cr, uid, ids, 'read', context=context)
 823         res = super(mail_message, self).read(cr, uid, ids, fields=fields, context=context, load=load)
 824         return res
 825
 826     def unlink(self, cr, uid, ids, context=None):
 827         # cascade-delete attachments that are directly attached to the message (should only happen
 828         # for mail.messages that act as parent for a standalone mail.mail record).
 829         self.check_access_rule(cr, uid, ids, 'unlink', context=context)
 830         attachments_to_delete = []
 831         for message in self.browse(cr, uid, ids, context=context):
 832             for attach in message.attachment_ids:
 833                 if attach.res_model == self._name and (attach.res_id == message.id or attach.res_id == 0):
 834                     attachments_to_delete.append(attach.id)
 835         if attachments_to_delete:
 836             self.pool.get('ir.attachment').unlink(cr, uid, attachments_to_delete, context=context)
 837         return super(mail_message, self).unlink(cr, uid, ids, context=context)
 838
 839     #------------------------------------------------------
 840     # Messaging API
 841     #------------------------------------------------------
 842
 843     def _notify(self, cr, uid, newid, context=None, force_send=False, user_signature=True):
 844         """ Add the related record followers to the destination partner_ids if is not a private message.
 845             Call mail_notification.notify to manage the email sending
 846         """
 847         notification_obj = self.pool.get('mail.notification')
 848         message = self.browse(cr, uid, newid, context=context)
 849         partners_to_notify = set([])
 850
 851         # all followers of the mail.message document have to be added as partners and notified if a subtype is defined (otherwise: log message)
 852         if message.subtype_id and message.model and message.res_id:
 853             fol_obj = self.pool.get("mail.followers")
 854             # browse as SUPERUSER because rules could restrict the search results
 855             fol_ids = fol_obj.search(
 856                 cr, SUPERUSER_ID, [
 857                     ('res_model', '=', message.model),
 858                     ('res_id', '=', message.res_id),
 859                 ], context=context)
 860             partners_to_notify |= set(
 861                 fo.partner_id.id for fo in fol_obj.browse(cr, SUPERUSER_ID, fol_ids, context=context)
 862                 if message.subtype_id.id in [st.id for st in fo.subtype_ids]
 863             )
 864         # remove me from notified partners, unless the message is written on my own wall
 865         if message.subtype_id and message.author_id and message.model == "res.partner" and message.res_id == message.author_id.id:
 866             partners_to_notify |= set([message.author_id.id])
 867         elif message.author_id:
 868             partners_to_notify -= set([message.author_id.id])
 869
 870         # all partner_ids of the mail.message have to be notified regardless of the above (even the author if explicitly added!)
 871         if message.partner_ids:
 872             partners_to_notify |= set([p.id for p in message.partner_ids])
 873
 874         # notify
 875         notification_obj._notify(
 876             cr, uid, newid, partners_to_notify=list(partners_to_notify), context=context,
 877             force_send=force_send, user_signature=user_signature
 878         )
 879         message.refresh()
 880
 881         # An error appear when a user receive a notification without notifying
 882         # the parent message -> add a read notification for the parent
 883         if message.parent_id:
 884             # all notified_partner_ids of the mail.message have to be notified for the parented messages
 885             partners_to_parent_notify = set(message.notified_partner_ids).difference(message.parent_id.notified_partner_ids)
 886             for partner in partners_to_parent_notify:
 887                 notification_obj.create(cr, uid, {
 888                         'message_id': message.parent_id.id,
 889                         'partner_id': partner.id,
 890                         'is_read': True,
 891                     }, context=context)