addons/mail_gateway/mail_gateway.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2004-2010 Tiny SPRL (<http://tiny.be>)
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>
  19 #
  20 ##############################################################################
  21
  22 from osv import osv, fields
  23 import time
  24 import tools
  25 import binascii
  26 import email
  27 from email.header import decode_header
  28 import base64
  29 import re
  30 from tools.translate import _
  31 import logging
  32 import xmlrpclib
  33
  34 _logger = logging.getLogger('mailgate')
  35
  36 class mailgate_thread(osv.osv):
  37     '''
  38     Mailgateway Thread
  39     '''
  40     _name = 'mailgate.thread'
  41     _description = 'Mailgateway Thread'
  42
  43     _columns = {
  44         'message_ids': fields.one2many('mailgate.message', 'res_id', 'Messages', readonly=True),
  45     }
  46
  47     def copy(self, cr, uid, id, default=None, context=None):
  48         """
  49         Overrides orm copy method.
  50         @param self: the object pointer
  51         @param cr: the current row, from the database cursor,
  52         @param uid: the current user’s ID for security checks,
  53         @param id: Id of mailgate thread
  54         @param default: Dictionary of default values for copy.
  55         @param context: A standard dictionary for contextual values
  56         """
  57         if context is None:
  58             context = {}
  59         if default is None:
  60             default = {}
  61
  62         default.update({
  63             'message_ids': [],
  64             'date_closed': False,
  65             'date_open': False
  66         })
  67         return super(mailgate_thread, self).copy(cr, uid, id, default, context=context)
  68
  69     def message_new(self, cr, uid, msg, context):
  70         raise Exception, _('Method is not implemented')
  71
  72     def message_update(self, cr, uid, ids, vals={}, msg="", default_act='pending', context={}):
  73         raise Exception, _('Method is not implemented')
  74
  75     def message_followers(self, cr, uid, ids, context=None):
  76         """ Get a list of emails of the people following this thread
  77         """
  78         res = {}
  79         if isinstance(ids, (str, int, long)):
  80             ids = [long(ids)]
  81         for thread in self.browse(cr, uid, ids, context=context):
  82             l=[]
  83             for message in thread.message_ids:
  84                 l.append((message.user_id and message.user_id.email) or '')
  85                 l.append(message.email_from or '')
  86                 l.append(message.email_cc or '')
  87             res[thread.id] = l
  88         return res
  89
  90     def msg_send(self, cr, uid, id, *args, **argv):
  91         raise Exception, _('Method is not implemented')
  92
  93     def history(self, cr, uid, cases, keyword, history=False, subject=None, email=False, details=None, \
  94                     email_from=False, message_id=False, references=None, attach=None, email_cc=None, \
  95                     email_bcc=None, email_date=None, context=None):
  96         """
  97         @param self: The object pointer
  98         @param cr: the current row, from the database cursor,
  99         @param uid: the current user’s ID for security checks,
 100         @param cases: a browse record list
 101         @param keyword: Case action keyword e.g.: If case is closed "Close" keyword is used
 102         @param history: Value True/False, If True it makes entry in case History otherwise in Case Log
 103         @param email: Email-To / Recipient address
 104         @param email_from: Email From / Sender address if any
 105         @param email_cc: Comma-Separated list of Carbon Copy Emails To addresse if any
 106         @param email_bcc: Comma-Separated list of Blind Carbon Copy Emails To addresses if any
 107         @param email_date: Email Date string if different from now, in server Timezone
 108         @param details: Description, Details of case history if any
 109         @param atach: Attachment sent in email
 110         @param context: A standard dictionary for contextual values"""
 111         if context is None:
 112             context = {}
 113         if attach is None:
 114             attach = []
 115
 116         # The mailgate sends the ids of the cases and not the object list
 117
 118         if all(isinstance(case_id, (int, long)) for case_id in cases):
 119             cases = self.browse(cr, uid, cases, context=context)
 120
 121         att_obj = self.pool.get('ir.attachment')
 122         obj = self.pool.get('mailgate.message')
 123
 124         for case in cases:
 125             attachments = []
 126             for att in attach:
 127                     attachments.append(att_obj.create(cr, uid, {'name': att[0], 'datas': base64.encodestring(att[1])}))
 128
 129             partner_id = hasattr(case, 'partner_id') and (case.partner_id and case.partner_id.id or False) or False
 130             if not partner_id and case._name == 'res.partner':
 131                 partner_id = case.id
 132             data = {
 133                 'name': keyword,
 134                 'user_id': uid,
 135                 'model' : case._name,
 136                 'partner_id': partner_id,
 137                 'res_id': case.id,
 138                 'date': time.strftime('%Y-%m-%d %H:%M:%S'),
 139                 'message_id': message_id,
 140                 'description': details or (hasattr(case, 'description') and case.description or False),
 141                 'attachment_ids': [(6, 0, attachments)]
 142             }
 143
 144             if history:
 145                 for param in (email, email_cc, email_bcc):
 146                     if isinstance(param, list):
 147                         param = ", ".join(param)
 148
 149                 data = {
 150                     'name': subject or _('History'),
 151                     'history': True,
 152                     'user_id': uid,
 153                     'model' : case._name,
 154                     'res_id': case.id,
 155                     'date': email_date or time.strftime('%Y-%m-%d %H:%M:%S'),
 156                     'description': details or (hasattr(case, 'description') and case.description or False),
 157                     'email_to': email,
 158                     'email_from': email_from or \
 159                         (hasattr(case, 'user_id') and case.user_id and case.user_id.address_id and \
 160                          case.user_id.address_id.email),
 161                     'email_cc': email_cc,
 162                     'email_bcc': email_bcc,
 163                     'partner_id': partner_id,
 164                     'references': references,
 165                     'message_id': message_id,
 166                     'attachment_ids': [(6, 0, attachments)]
 167                 }
 168             obj.create(cr, uid, data, context=context)
 169         return True
 170 mailgate_thread()
 171
 172 def format_date_tz(date, tz=None):
 173     if not date:
 174         return 'n/a'
 175     format = tools.DEFAULT_SERVER_DATETIME_FORMAT
 176     return tools.server_to_local_timestamp(date, format, format, tz)
 177
 178 class mailgate_message(osv.osv):
 179     '''
 180     Mailgateway Message
 181     '''
 182     def open_document(self, cr, uid, ids, context):
 183         """ To Open Document
 184         @param self: The object pointer.
 185         @param cr: A database cursor
 186         @param uid: ID of the user currently logged in
 187         @param ids: the ID of messages
 188         @param context: A standard dictionary
 189         """
 190         action_data = False
 191         if ids:
 192             message_id = ids[0]
 193             mailgate_data = self.browse(cr, uid, message_id)
 194             model = mailgate_data.model
 195             res_id = mailgate_data.res_id
 196
 197             action_pool = self.pool.get('ir.actions.act_window')
 198             action_ids = action_pool.search(cr, uid, [('res_model', '=', model)])
 199             if action_ids:
 200                 action_data = action_pool.read(cr, uid, action_ids[0], context=context)
 201                 action_data.update({
 202                     'domain' : "[('id','=',%d)]"%(res_id),
 203                     'nodestroy': True
 204                     })
 205         return action_data
 206
 207     def open_attachment(self, cr, uid, ids, context):
 208         """ To Open attachments
 209         @param self: The object pointer.
 210         @param cr: A database cursor
 211         @param uid: ID of the user currently logged in
 212         @param ids: the ID of messages
 213         @param context: A standard dictionary
 214         """
 215         action_data = False
 216         action_pool = self.pool.get('ir.actions.act_window')
 217         action_ids = action_pool.search(cr, uid, [('res_model', '=', 'ir.attachment')])
 218         if action_ids:
 219             action_data = action_pool.read(cr, uid, action_ids[0], context=context)
 220             action_data.update({
 221                 'domain': [('res_id','in',ids),('res_model','=',self._name)],
 222                 'nodestroy': True
 223                 })
 224         return action_data
 225
 226     def truncate_data(self, cr, uid, data, context=None):
 227         data_list = data and data.split('\n') or []
 228         if len(data_list) > 3:
 229             res = '\n\t'.join(data_list[:3]) + '...'
 230         else:
 231             res = '\n\t'.join(data_list)
 232         return res
 233
 234     def _get_display_text(self, cr, uid, ids, name, arg, context=None):
 235         if context is None:
 236             context = {}
 237         tz = context.get('tz')
 238         result = {}
 239         for message in self.browse(cr, uid, ids, context=context):
 240             msg_txt = ''
 241             if message.history:
 242                 msg_txt += (message.email_from or '/') + _(' wrote on ') + format_date_tz(message.date, tz) + ':\n\t'
 243                 if message.description:
 244                     msg_txt += self.truncate_data(cr, uid, message.description, context=context)
 245             else:
 246                 msg_txt = (message.user_id.name or '/') + _(' on ') + format_date_tz(message.date, tz) + ':\n\t'
 247                 if message.name == _('Opportunity'):
 248                     msg_txt += _("Converted to Opportunity")
 249                 elif message.name == _('Note'):
 250                     msg_txt = (message.user_id.name or '/') + _(' added note on ') + format_date_tz(message.date, tz) + ':\n\t'
 251                     msg_txt += self.truncate_data(cr, uid, message.description, context=context)
 252                 else:
 253                     msg_txt += _("Changed Status to: ") + message.name
 254             result[message.id] = msg_txt
 255         return result
 256
 257     _name = 'mailgate.message'
 258     _description = 'Mailgateway Message'
 259     _order = 'date desc'
 260     _columns = {
 261         'name':fields.text('Subject', readonly=True),
 262         'model': fields.char('Object Name', size=128, select=1, readonly=True),
 263         'res_id': fields.integer('Resource ID', select=1, readonly=True),
 264         'ref_id': fields.char('Reference Id', size=256, readonly=True, help="Message Id in Email Server.", select=True),
 265         'date': fields.datetime('Date', readonly=True),
 266         'history': fields.boolean('Is History?', readonly=True),
 267         'user_id': fields.many2one('res.users', 'User Responsible', readonly=True),
 268         'message': fields.text('Description', readonly=True),
 269         'email_from': fields.char('From', size=128, help="Email From", readonly=True),
 270         'email_to': fields.char('To', help="Email Recipients", size=256, readonly=True),
 271         'email_cc': fields.char('Cc', help="Carbon Copy Email Recipients", size=256, readonly=True),
 272         'email_bcc': fields.char('Bcc', help='Blind Carbon Copy Email Recipients', size=256, readonly=True),
 273         'message_id': fields.char('Message Id', size=1024, readonly=True, help="Message Id on Email.", select=True),
 274         'references': fields.text('References', readonly=True, help="References emails."),
 275         'description': fields.text('Description', readonly=True),
 276         'partner_id': fields.many2one('res.partner', 'Partner', required=False),
 277         'attachment_ids': fields.many2many('ir.attachment', 'message_attachment_rel', 'message_id', 'attachment_id', 'Attachments', readonly=True),
 278         'display_text': fields.function(_get_display_text, method=True, type='text', size="512", string='Display Text'),
 279     }
 280
 281     def init(self, cr):
 282         cr.execute("""SELECT indexname
 283                       FROM pg_indexes
 284                       WHERE indexname = 'mailgate_message_res_id_model_idx'""")
 285         if not cr.fetchone():
 286             cr.execute("""CREATE INDEX mailgate_message_res_id_model_idx
 287                           ON mailgate_message (model, res_id)""")
 288
 289 mailgate_message()
 290
 291 class mailgate_tool(osv.osv_memory):
 292
 293     _name = 'email.server.tools'
 294     _description = "Email Server Tools"
 295
 296     def _decode_header(self, text):
 297         """Returns unicode() string conversion of the the given encoded smtp header"""
 298         if text:
 299             text = decode_header(text.replace('\r', ''))
 300             return ''.join([tools.ustr(x[0], x[1]) for x in text])
 301
 302     def to_email(self,text):
 303         return re.findall(r'([^ ,<@]+@[^> ,]+)',text)
 304
 305     def history(self, cr, uid, model, res_ids, msg, attach, context=None):
 306         """This function creates history for mails fetched
 307         @param self: The object pointer
 308         @param cr: the current row, from the database cursor,
 309         @param uid: the current user’s ID for security checks,
 310         @param model: OpenObject Model
 311         @param res_ids: Ids of the record of OpenObject model created
 312         @param msg: Email details
 313         @param attach: Email attachments
 314         """
 315         if isinstance(res_ids, (int, long)):
 316             res_ids = [res_ids]
 317
 318         msg_pool = self.pool.get('mailgate.message')
 319         for res_id in res_ids:
 320             case = self.pool.get(model).browse(cr, uid, res_id, context=context)
 321             partner_id = hasattr(case, 'partner_id') and (case.partner_id and case.partner_id.id or False) or False
 322             if not partner_id and model == 'res.partner':
 323                 partner_id = res_id
 324             msg_data = {
 325                 'name': msg.get('subject', 'No subject'),
 326                 'date': msg.get('date'),
 327                 'description': msg.get('body', msg.get('from')),
 328                 'history': True,
 329                 'partner_id': partner_id,
 330                 'model': model,
 331                 'email_cc': msg.get('cc'),
 332                 'email_from': msg.get('from'),
 333                 'email_to': msg.get('to'),
 334                 'message_id': msg.get('message-id'),
 335                 'references': msg.get('references') or msg.get('in-reply-to'),
 336                 'res_id': res_id,
 337                 'user_id': uid,
 338                 'attachment_ids': [(6, 0, attach)]
 339             }
 340             msg_pool.create(cr, uid, msg_data, context=context)
 341         return True
 342
 343     def email_forward(self, cr, uid, model, res_ids, msg, email_error=False, context=None):
 344         """Sends an email to all people following the thread
 345         @param res_id: Id of the record of OpenObject model created from the email message
 346         @param msg: email.message.Message to forward
 347         @param email_error: Default Email address in case of any Problem
 348         """
 349         model_pool = self.pool.get(model)
 350
 351         for res in model_pool.browse(cr, uid, res_ids, context=context):
 352             message_followers = model_pool.message_followers(cr, uid, [res.id])[res.id]
 353             message_followers_emails = self.to_email(','.join(filter(None, message_followers)))
 354             message_recipients = self.to_email(','.join(filter(None,
 355                                                          [self._decode_header(msg['from']),
 356                                                          self._decode_header(msg['to']),
 357                                                          self._decode_header(msg['cc'])])))
 358             message_forward = [i for i in message_followers_emails if (i and (i not in message_recipients))]
 359
 360             if message_forward:
 361                 # TODO: we need an interface for this for all types of objects, not just leads
 362                 if hasattr(res, 'section_id'):
 363                     del msg['reply-to']
 364                     msg['reply-to'] = res.section_id.reply_to
 365
 366                 smtp_from = self.to_email(msg['from'])
 367                 if not tools.misc._email_send(smtp_from, message_forward, msg, openobject_id=res.id) and email_error:
 368                     subj = msg['subject']
 369                     del msg['subject'], msg['to'], msg['cc'], msg['bcc']
 370                     msg['subject'] = '[OpenERP-Forward-Failed] %s' % subj
 371                     msg['to'] = email_error
 372                     tools.misc._email_send(smtp_from, self.to_email(email_error), msg, openobject_id=res.id)
 373
 374     def process_email(self, cr, uid, model, message, custom_values=None, attach=True, context=None):
 375         """This function Processes email and create record for given OpenERP model
 376         @param self: The object pointer
 377         @param cr: the current row, from the database cursor,
 378         @param uid: the current user’s ID for security checks,
 379         @param model: OpenObject Model
 380         @param message: Email details, passed as a string or an xmlrpclib.Binary
 381         @param attach: Email attachments
 382         @param context: A standard dictionary for contextual values"""
 383
 384         # extract message bytes, we are forced to pass the message as binary because
 385         # we don't know its encoding until we parse its headers and hence can't
 386         # convert it to utf-8 for transport between the mailgate script and here.
 387         if isinstance(message, xmlrpclib.Binary):
 388             message = str(message.data)
 389
 390         if not context:
 391             context = {}
 392
 393         if custom_values is None or not isinstance(custom_values, dict):
 394             custom_values = {}
 395
 396         model_pool = self.pool.get(model)
 397         res_id = False
 398
 399         # Create New Record into particular model
 400         def create_record(msg):
 401             att_ids = []
 402             if hasattr(model_pool, 'message_new'):
 403                 res_id = model_pool.message_new(cr, uid, msg, context)
 404                 if custom_values:
 405                     model_pool.write(cr, uid, [res_id], custom_values, context=context)
 406             else:
 407                 data = {
 408                     'name': msg.get('subject'),
 409                     'email_from': msg.get('from'),
 410                     'email_cc': msg.get('cc'),
 411                     'user_id': False,
 412                     'description': msg.get('body'),
 413                     'state' : 'draft',
 414                 }
 415                 data.update(self.get_partner(cr, uid, msg.get('from'), context=context))
 416                 res_id = model_pool.create(cr, uid, data, context=context)
 417
 418                 if attach:
 419                     for attachment in msg.get('attachments', []):
 420                         data_attach = {
 421                             'name': attachment,
 422                             'datas': binascii.b2a_base64(str(attachments.get(attachment))),
 423                             'datas_fname': attachment,
 424                             'description': 'Mail attachment',
 425                             'res_model': model,
 426                             'res_id': res_id,
 427                         }
 428                         att_ids.append(self.pool.get('ir.attachment').create(cr, uid, data_attach))
 429
 430             return res_id, att_ids
 431
 432         # Warning: message_from_string doesn't always work correctly on unicode,
 433         # we must use utf-8 strings here :-(
 434         if isinstance(message, unicode):
 435             message = message.encode('utf-8')
 436         msg_txt = email.message_from_string(message)
 437         message_id = msg_txt.get('message-id', False)
 438         msg = {}
 439
 440         if not message_id:
 441             # Very unusual situation, be we should be fault-tolerant here
 442             message_id = time.time()
 443             msg_txt['message-id'] = message_id
 444             _logger.info('Message without message-id, generating a random one: %s', message_id)
 445
 446         fields = msg_txt.keys()
 447         msg['id'] = message_id
 448         msg['message-id'] = message_id
 449
 450         if 'Subject' in fields:
 451             msg['subject'] = self._decode_header(msg_txt.get('Subject'))
 452
 453         if 'Content-Type' in fields:
 454             msg['content-type'] = msg_txt.get('Content-Type')
 455
 456         if 'From' in fields:
 457             msg['from'] = self._decode_header(msg_txt.get('From'))
 458
 459         if 'Delivered-To' in fields:
 460             msg['to'] = self._decode_header(msg_txt.get('Delivered-To'))
 461
 462         if 'CC' in fields:
 463             msg['cc'] = self._decode_header(msg_txt.get('CC'))
 464
 465         if 'Reply-to' in fields:
 466             msg['reply'] = self._decode_header(msg_txt.get('Reply-To'))
 467
 468         if 'Date' in fields:
 469             msg['date'] = self._decode_header(msg_txt.get('Date'))
 470
 471         if 'Content-Transfer-Encoding' in fields:
 472             msg['encoding'] = msg_txt.get('Content-Transfer-Encoding')
 473
 474         if 'References' in fields:
 475             msg['references'] = msg_txt.get('References')
 476
 477         if 'In-Reply-To' in fields:
 478             msg['in-reply-to'] = msg_txt.get('In-Reply-To')
 479
 480         if 'X-Priority' in fields:
 481             msg['priority'] = msg_txt.get('X-Priority', '3 (Normal)').split(' ')[0]
 482
 483         if not msg_txt.is_multipart() or 'text/plain' in msg.get('Content-Type', ''):
 484             encoding = msg_txt.get_content_charset()
 485             body = msg_txt.get_payload(decode=True)
 486             msg['body'] = tools.ustr(body, encoding)
 487
 488         attachments = {}
 489         has_plain_text = False
 490         if msg_txt.is_multipart() or 'multipart/alternative' in msg.get('content-type', ''):
 491             body = ""
 492             for part in msg_txt.walk():
 493                 if part.get_content_maintype() == 'multipart':
 494                     continue
 495
 496                 encoding = part.get_content_charset()
 497                 filename = part.get_filename()
 498                 if part.get_content_maintype()=='text':
 499                     content = part.get_payload(decode=True)
 500                     if filename:
 501                         attachments[filename] = content
 502                     elif not has_plain_text:
 503                         # main content parts should have 'text' maintype
 504                         # and no filename. we ignore the html part if
 505                         # there is already a plaintext part without filename,
 506                         # because presumably these are alternatives.
 507                         content = tools.ustr(content, encoding)
 508                         if part.get_content_subtype() == 'html':
 509                             body = tools.ustr(tools.html2plaintext(content))
 510                         elif part.get_content_subtype() == 'plain':
 511                             body = content
 512                             has_plain_text = True
 513                 elif part.get_content_maintype() in ('application', 'image'):
 514                     if filename :
 515                         attachments[filename] = part.get_payload(decode=True)
 516                     else:
 517                         res = part.get_payload(decode=True)
 518                         body += tools.ustr(res, encoding)
 519
 520             msg['body'] = body
 521             msg['attachments'] = attachments
 522         res_ids = []
 523         attachment_ids = []
 524         new_res_id = False
 525         if msg.get('references') or msg.get('in-reply-to'):
 526             references = msg.get('references') or msg.get('in-reply-to')
 527             if '\r\n' in references:
 528                 references = references.split('\r\n')
 529             else:
 530                 references = references.split(' ')
 531             for ref in references:
 532                 ref = ref.strip()
 533                 res_id = tools.misc.reference_re.search(ref)
 534                 if res_id:
 535                     res_id = res_id.group(1)
 536                 else:
 537                     res_id = tools.misc.res_re.search(msg['subject'])
 538                     if res_id:
 539                         res_id = res_id.group(1)
 540                 if res_id:
 541                     res_id = int(res_id)
 542                     model_pool = self.pool.get(model)
 543                     if model_pool.exists(cr, uid, res_id):
 544                         res_ids.append(res_id)
 545                         if hasattr(model_pool, 'message_update'):
 546                             model_pool.message_update(cr, uid, [res_id], {}, msg, context=context)
 547                         else:
 548                             raise NotImplementedError('model %s does not support updating records, mailgate API method message_update() is missing'%model)
 549
 550         if not len(res_ids):
 551             new_res_id, attachment_ids = create_record(msg)
 552             res_ids = [new_res_id]
 553
 554         # Store messages
 555         context.update({'model' : model})
 556         if hasattr(model_pool, 'history'):
 557             model_pool.history(cr, uid, res_ids, _('receive'), history=True,
 558                             subject = msg.get('subject'),
 559                             email = msg.get('to'),
 560                             details = msg.get('body'),
 561                             email_from = msg.get('from'),
 562                             email_cc = msg.get('cc'),
 563                             message_id = msg.get('message-id'),
 564                             references = msg.get('references', False) or msg.get('in-reply-to', False),
 565                             attach = attachments.items(),
 566                             context = context)
 567         else:
 568             self.history(cr, uid, model, res_ids, msg, attachment_ids, context=context)
 569         self.email_forward(cr, uid, model, res_ids, msg_txt)
 570         return new_res_id
 571
 572     def get_partner(self, cr, uid, from_email, context=None):
 573         """This function returns partner Id based on email passed
 574         @param self: The object pointer
 575         @param cr: the current row, from the database cursor,
 576         @param uid: the current user’s ID for security checks
 577         @param from_email: email address based on that function will search for the correct
 578         """
 579         address_pool = self.pool.get('res.partner.address')
 580         res = {
 581             'partner_address_id': False,
 582             'partner_id': False
 583         }
 584         from_email = self.to_email(from_email)[0]
 585         address_ids = address_pool.search(cr, uid, [('email', 'like', from_email)])
 586         if address_ids:
 587             address = address_pool.browse(cr, uid, address_ids[0])
 588             res['partner_address_id'] = address_ids[0]
 589             res['partner_id'] = address.partner_id.id
 590
 591         return res
 592
 593 mailgate_tool()
 594
 595 # vim:expandtab:smartindent:tabstop=4:softtabstop=4:shiftwidth=4: