[REVERT] r3591: causing problem to install some modules
[odoo/odoo.git] / bin / tools / config.py
index 82bc938..6ff7935 100644 (file)
@@ -1,21 +1,20 @@
-# -*- encoding: utf-8 -*-
+# -*- coding: utf-8 -*-
 ##############################################################################
 #
 #    OpenERP, Open Source Management Solution
-#    Copyright (C) 2004-2009 Tiny SPRL (<http://tiny.be>). All Rights Reserved
-#    $Id$
+#    Copyright (C) 2004-2009 Tiny SPRL (<http://tiny.be>).
 #
 #    This program is free software: you can redistribute it and/or modify
-#    it under the terms of the GNU General Public License as published by
-#    the Free Software Foundation, either version 3 of the License, or
-#    (at your option) any later version.
+#    it under the terms of the GNU Affero General Public License as
+#    published by the Free Software Foundation, either version 3 of the
+#    License, or (at your option) any later version.
 #
 #    This program is distributed in the hope that it will be useful,
 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-#    GNU General Public License for more details.
+#    GNU Affero General Public License for more details.
 #
-#    You should have received a copy of the GNU General Public License
+#    You should have received a copy of the GNU Affero General Public License
 #    along with this program.  If not, see <http://www.gnu.org/licenses/>.
 #
 ##############################################################################
@@ -32,8 +31,8 @@ def check_ssl():
     try:
         from OpenSSL import SSL
         import socket
-
-        return hasattr(socket, 'ssl')
+        
+        return hasattr(socket, 'ssl') and hasattr(SSL, "Connection")
     except:
         return False
 
@@ -41,10 +40,12 @@ class configmanager(object):
     def __init__(self, fname=None):
         self.options = {
             'email_from':False,
-            'interface': '',    # this will bind the server to all interfaces
-            'port': 8069,
-            'netinterface': '',
-            'netport': 8070,
+            'xmlrpc_interface': '',    # this will bind the server to all interfaces
+            'xmlrpc_port': 8069,
+            'netrpc_interface': '',
+            'netrpc_port': 8070,
+            'xmlrpcs_interface': '',    # this will bind the server to all interfaces
+            'xmlrpcs_port': 8071,
             'db_host': False,
             'db_port': False,
             'db_name': False,
@@ -54,9 +55,11 @@ class configmanager(object):
             'reportgz': False,
             'netrpc': True,
             'xmlrpc': True,
-            'soap': False,
+            'xmlrpcs': True,
             'translate_in': None,
             'translate_out': None,
+            'overwrite_existing_translations': False,
+            'load_language': None,
             'language': None,
             'pg_path': None,
             'admin_passwd': 'admin',
@@ -67,47 +70,91 @@ class configmanager(object):
             'import_partial': "",
             'pidfile': None,
             'logfile': None,
+            'logrotate': True,
             'smtp_server': 'localhost',
             'smtp_user': False,
             'smtp_port':25,
+            'smtp_ssl':False,
             'smtp_password': False,
             'stop_after_init': False,   # this will stop the server after initialization
-            'price_accuracy': 2,
-            'secure' : False,
             'syslog' : False,
             'log_level': logging.INFO,
-            'assert_exit_level': logging.WARNING, # level above which a failed assert will be raise
+            'assert_exit_level': logging.ERROR, # level above which a failed assert will be raised
             'cache_timeout': 100000,
             'login_message': False,
-            'list_db': True,
+            'list_db' : True,
+            'timezone' : False, # to override the default TZ
+            'test_file' : False,
+            'test_report_directory' : False,
+            'test_disable' : False,
+            'test_commit' : False,
+            'static_http_enable': False,
+            'static_http_document_root': None,
+            'static_http_url_prefix': None,
+            'secure_cert_file': 'server.cert',
+            'secure_pkey_file': 'server.pkey',
+            'publisher_warranty_url': 'http://services.openerp.com/publisher-warranty/',
+            'osv_memory_count_limit': None, # number of records in each osv_memory virtual table
+            'osv_memory_age_limit': 1, # hours
         }
+        
+        self.blacklist_for_save = set(["publisher_warranty_url", "load_language"])
 
-        hasSSL = check_ssl()
+        self.misc = {}
+        self.config_file = fname
+        self.has_ssl = check_ssl()
 
         self._LOGLEVELS = dict([(getattr(netsvc, 'LOG_%s' % x), getattr(logging, x))
-                          for x in ('CRITICAL', 'ERROR', 'WARNING', 'INFO', 'DEBUG', 'DEBUG_RPC', 'NOTSET')])
+                          for x in ('CRITICAL', 'ERROR', 'WARNING', 'INFO', 'TEST', 'DEBUG', 'DEBUG_RPC', 'DEBUG_SQL', 'DEBUG_RPC_ANSWER','NOTSET')])
 
         version = "%s %s" % (release.description, release.version)
-        parser = optparse.OptionParser(version=version)
+        self.parser = parser = optparse.OptionParser(version=version)
 
         parser.add_option("-c", "--config", dest="config", help="specify alternate config file")
         parser.add_option("-s", "--save", action="store_true", dest="save", default=False,
                           help="save configuration to ~/.openerp_serverrc")
         parser.add_option("--pidfile", dest="pidfile", help="file where the server pid will be stored")
 
-        parser.add_option("-n", "--interface", dest="interface", help="specify the TCP IP address")
-        parser.add_option("-p", "--port", dest="port", help="specify the TCP port", type="int")
-        parser.add_option("--net_interface", dest="netinterface", help="specify the TCP IP address for netrpc")
-        parser.add_option("--net_port", dest="netport", help="specify the TCP port for netrpc", type="int")
-        parser.add_option("--no-netrpc", dest="netrpc", action="store_false", default=True, help="disable netrpc")
-        parser.add_option("--no-xmlrpc", dest="xmlrpc", action="store_false", default=True, help="disable xmlrpc")
+        group = optparse.OptionGroup(parser, "XML-RPC Configuration")
+        group.add_option("--xmlrpc-interface", dest="xmlrpc_interface", help="specify the TCP IP address for the XML-RPC protocol")
+        group.add_option("--xmlrpc-port", dest="xmlrpc_port", help="specify the TCP port for the XML-RPC protocol", type="int")
+        group.add_option("--no-xmlrpc", dest="xmlrpc", action="store_false", help="disable the XML-RPC protocol")
+        parser.add_option_group(group)
+
+        title = "XML-RPC Secure Configuration"
+        if not self.has_ssl:
+            title += " (disabled as ssl is unavailable)"
+
+        group = optparse.OptionGroup(parser, title)
+        group.add_option("--xmlrpcs-interface", dest="xmlrpcs_interface", help="specify the TCP IP address for the XML-RPC Secure protocol")
+        group.add_option("--xmlrpcs-port", dest="xmlrpcs_port", help="specify the TCP port for the XML-RPC Secure protocol", type="int")
+        group.add_option("--no-xmlrpcs", dest="xmlrpcs", action="store_false", help="disable the XML-RPC Secure protocol")
+        group.add_option("--cert-file", dest="secure_cert_file", help="specify the certificate file for the SSL connection")
+        group.add_option("--pkey-file", dest="secure_pkey_file", help="specify the private key file for the SSL connection")
+        parser.add_option_group(group)
+
+        # NET-RPC
+        group = optparse.OptionGroup(parser, "NET-RPC Configuration")
+        group.add_option("--netrpc-interface", dest="netrpc_interface", help="specify the TCP IP address for the NETRPC protocol")
+        group.add_option("--netrpc-port", dest="netrpc_port", help="specify the TCP port for the NETRPC protocol", type="int")
+        group.add_option("--no-netrpc", dest="netrpc", action="store_false", help="disable the NETRPC protocol")
+        parser.add_option_group(group)
+
+        # Static HTTP
+        group = optparse.OptionGroup(parser, "Static HTTP service")
+        group.add_option("--static-http-enable", dest="static_http_enable", action="store_true", default=False, help="enable static HTTP service for serving plain HTML files")
+        group.add_option("--static-http-document-root", dest="static_http_document_root", help="specify the directory containing your static HTML files (e.g '/var/www/')")
+        group.add_option("--static-http-url-prefix", dest="static_http_url_prefix", help="specify the URL root prefix where you want web browsers to access your static HTML files (e.g '/')")
+        parser.add_option_group(group)
+
         parser.add_option("-i", "--init", dest="init", help="init a module (use \"all\" for all modules)")
         parser.add_option("--without-demo", dest="without_demo",
                           help="load demo data for a module (use \"all\" for all modules)", default=False)
         parser.add_option("-u", "--update", dest="update",
                           help="update a module (use \"all\" for all modules)")
         parser.add_option("--cache-timeout", dest="cache_timeout",
-                          help="set the timeout for the cache system", default=100000, type="int")
+                          help="set the timeout for the cache system", type="int")
+        parser.add_option("-t", "--timezone", dest="timezone", help="specify reference timezone for the server (e.g. Europe/Brussels")
 
         # stops the server from launching after initialization
         parser.add_option("--stop-after-init", action="store_true", dest="stop_after_init", default=False,
@@ -115,24 +162,22 @@ class configmanager(object):
         parser.add_option('--debug', dest='debug_mode', action='store_true', default=False, help='enable debug mode')
         parser.add_option("--assert-exit-level", dest='assert_exit_level', type="choice", choices=self._LOGLEVELS.keys(),
                           help="specify the level at which a failed assertion will stop the server. Accepted values: %s" % (self._LOGLEVELS.keys(),))
-        parser.add_option('--price_accuracy', dest='price_accuracy', default='2', help='specify the price accuracy')
-        parser.add_option('--no-database-list', action="store_false", dest='list_db', default=True, help="disable the ability to return the list of databases")
-
-        if hasSSL:
-            group = optparse.OptionGroup(parser, "SSL Configuration")
-            group.add_option("-S", "--secure", dest="secure",
-                             help="launch server over https instead of http")
-            group.add_option("--cert-file", dest="secure_cert_file",
-                              default="server.cert",
-                              help="specify the certificate file for the SSL connection")
-            group.add_option("--pkey-file", dest="secure_pkey_file",
-                              default="server.pkey",
-                              help="specify the private key file for the SSL connection")
-            parser.add_option_group(group)
+
+        # Testing Group
+        group = optparse.OptionGroup(parser, "Testing Configuration")
+        group.add_option("--test-file", dest="test_file", help="Launch a YML test file.")
+        group.add_option("--test-report-directory", dest="test_report_directory", help="If set, will save sample of all reports in this directory.")
+        group.add_option("--test-disable", action="store_true", dest="test_disable",
+                         default=False, help="Disable loading test files.")
+        group.add_option("--test-commit", action="store_true", dest="test_commit",
+                         default=False, help="Commit database changes performed by tests.")
+        parser.add_option_group(group)
 
         # Logging Group
         group = optparse.OptionGroup(parser, "Logging Configuration")
         group.add_option("--logfile", dest="logfile", help="file where the server log will be stored")
+        group.add_option("--no-logrotate", dest="logrotate", action="store_false",
+                         help="do not rotate the logfile")
         group.add_option("--syslog", action="store_true", dest="syslog",
                          default=False, help="Send the log to the syslog server")
         group.add_option('--log-level', dest='log_level', type='choice', choices=self._LOGLEVELS.keys(),
@@ -141,13 +186,12 @@ class configmanager(object):
 
         # SMTP Group
         group = optparse.OptionGroup(parser, "SMTP Configuration")
-        group.add_option('--email-from', dest='email_from', default='', help='specify the SMTP email address for sending email')
-        group.add_option('--smtp', dest='smtp_server', default='', help='specify the SMTP server for sending email')
-        group.add_option('--smtp-port', dest='smtp_port', default='25', help='specify the SMTP port', type="int")
-        if hasSSL:
-            group.add_option('--smtp-ssl', dest='smtp_ssl', default='', help='specify the SMTP server support SSL or not')
-        group.add_option('--smtp-user', dest='smtp_user', default='', help='specify the SMTP username for sending email')
-        group.add_option('--smtp-password', dest='smtp_password', default='', help='specify the SMTP password for sending email')
+        group.add_option('--email-from', dest='email_from', help='specify the SMTP email address for sending email')
+        group.add_option('--smtp', dest='smtp_server', help='specify the SMTP server for sending email')
+        group.add_option('--smtp-port', dest='smtp_port', help='specify the SMTP port', type="int")
+        group.add_option('--smtp-ssl', dest='smtp_ssl', action='store_true', help='specify the SMTP server support SSL or not')
+        group.add_option('--smtp-user', dest='smtp_user', help='specify the SMTP username for sending email')
+        group.add_option('--smtp-password', dest='smtp_password', help='specify the SMTP password for sending email')
         parser.add_option_group(group)
 
         group = optparse.OptionGroup(parser, "Database related options")
@@ -157,7 +201,7 @@ class configmanager(object):
         group.add_option("--pg_path", dest="pg_path", help="specify the pg executable path")
         group.add_option("--db_host", dest="db_host", help="specify the database host")
         group.add_option("--db_port", dest="db_port", help="specify the database port", type="int")
-        group.add_option("--db_maxconn", dest="db_maxconn", default='64',
+        group.add_option("--db_maxconn", dest="db_maxconn", type='int',
                          help="specify the the maximum number of physical connections to posgresql")
         group.add_option("-P", "--import-partial", dest="import_partial",
                          help="Use this for big data importation, if it crashes you will be able to continue at the current state. Provide a filename to store intermediate importation states.", default=False)
@@ -169,20 +213,38 @@ class configmanager(object):
             "Option '-l' is mandatory in case of importation"
             )
 
+        group.add_option('--load-language', dest="load_language",
+                         help="specifies the languages for the translations you want to be loaded")
         group.add_option('-l', "--language", dest="language",
                          help="specify the language of the translation file. Use it with --i18n-export or --i18n-import")
         group.add_option("--i18n-export", dest="translate_out",
                          help="export all sentences to be translated to a CSV file, a PO file or a TGZ archive and exit")
         group.add_option("--i18n-import", dest="translate_in",
                          help="import a CSV or a PO file with translations and exit. The '-l' option is required.")
+        group.add_option("--i18n-overwrite", dest="overwrite_existing_translations", action="store_true", default=False,
+                         help="overwrites existing translation terms on importing a CSV or a PO file.")
         group.add_option("--modules", dest="translate_modules",
                          help="specify modules to export. Use in combination with --i18n-export")
         group.add_option("--addons-path", dest="addons_path",
                          help="specify an alternative addons path.",
                          action="callback", callback=self._check_addons_path, nargs=1, type="string")
+        group.add_option("--osv-memory-count-limit", dest="osv_memory_count_limit", default=False,
+                         help="Force a limit on the maximum number of records kept in the virtual "
+                              "osv_memory tables. The default is False, which means no count-based limit.",
+                         type="int")
+        group.add_option("--osv-memory-age-limit", dest="osv_memory_age_limit", default=1.0,
+                         help="Force a limit on the maximum age of records kept in the virtual "
+                              "osv_memory tables. This is a decimal value expressed in hours, "
+                              "and the default is 1 hour.",
+                         type="float")
         parser.add_option_group(group)
 
-        (opt, args) = parser.parse_args()
+        security = optparse.OptionGroup(parser, 'Security-related options')
+        security.add_option('--no-database-list', action="store_false", dest='list_db', help="disable the ability to return the list of databases")
+        parser.add_option_group(security)
+
+    def parse_config(self):
+        opt = self.parser.parse_args()[0]
 
         def die(cond, msg):
             if cond:
@@ -195,9 +257,17 @@ class configmanager(object):
         die(opt.translate_in and (not opt.language or not opt.db_name),
             "the i18n-import option cannot be used without the language (-l) and the database (-d) options")
 
+        die(opt.overwrite_existing_translations and (not opt.translate_in),
+            "the i18n-overwrite option cannot be used without the i18n-import option")
+
         die(opt.translate_out and (not opt.db_name),
             "the i18n-export option cannot be used without the database (-d) option")
 
+        # Check if the config file exists (-c used, but not -s)
+        die(not opt.save and opt.config and not os.path.exists(opt.config),
+            "The config file '%s' selected with -c/--config doesn't exist, "\
+            "use -s/--save if you want to generate it"%(opt.config))
+
         # place/search the config file on Win32 near the server installation
         # (../etc from the server)
         # if the server is run by an unprivileged user, he has to specify location of a config file where he has the rights to write,
@@ -208,7 +278,8 @@ class configmanager(object):
             rcfilepath = os.path.expanduser('~/.openerp_serverrc')
 
         self.rcfile = os.path.abspath(
-            fname or opt.config or os.environ.get('OPENERP_SERVER') or rcfilepath)
+            self.config_file or opt.config \
+                or os.environ.get('OPENERP_SERVER') or rcfilepath)
         self.load()
 
 
@@ -219,23 +290,28 @@ class configmanager(object):
         if self.options['pidfile'] in ('None', 'False'):
             self.options['pidfile'] = False
 
-        keys = ['interface', 'port', 'db_name', 'db_user', 'db_password', 'db_host',
+        keys = ['xmlrpc_interface', 'xmlrpc_port', 'db_name', 'db_user', 'db_password', 'db_host',
                 'db_port', 'logfile', 'pidfile', 'smtp_port', 'cache_timeout',
-                'email_from', 'smtp_server', 'smtp_user', 'smtp_password', 'price_accuracy',
-                'netinterface', 'netport', 'db_maxconn', 'import_partial', 'addons_path']
-
-        if hasSSL:
-            keys.extend(['smtp_ssl', 'secure_cert_file', 'secure_pkey_file'])
+                'email_from', 'smtp_server', 'smtp_user', 'smtp_password',
+                'netrpc_interface', 'netrpc_port', 'db_maxconn', 'import_partial', 'addons_path',
+                'netrpc', 'xmlrpc', 'syslog', 'without_demo', 'timezone',
+                'xmlrpcs_interface', 'xmlrpcs_port', 'xmlrpcs',
+                'secure_cert_file', 'secure_pkey_file',
+                'static_http_enable', 'static_http_document_root', 'static_http_url_prefix'
+                ]
 
         for arg in keys:
             if getattr(opt, arg):
                 self.options[arg] = getattr(opt, arg)
 
-        keys = ['language', 'translate_out', 'translate_in', 'debug_mode',
-                'stop_after_init', 'without_demo', 'netrpc', 'xmlrpc', 'syslog', 'list_db']
-
-        if hasSSL and not  self.options['secure']:
-            keys.append('secure')
+        keys = [
+            'language', 'translate_out', 'translate_in', 'overwrite_existing_translations',
+            'debug_mode', 'smtp_ssl', 'load_language',
+            'stop_after_init', 'logrotate', 'without_demo', 'netrpc', 'xmlrpc', 'syslog',
+            'list_db', 'xmlrpcs',
+            'test_file', 'test_disable', 'test_commit', 'test_report_directory',
+            'osv_memory_count_limit', 'osv_memory_age_limit',
+        ]
 
         for arg in keys:
             if getattr(opt, arg) is not None:
@@ -259,10 +335,20 @@ class configmanager(object):
         self.options['init'] = opt.init and dict.fromkeys(opt.init.split(','), 1) or {}
         self.options["demo"] = not opt.without_demo and self.options['init'] or {}
         self.options['update'] = opt.update and dict.fromkeys(opt.update.split(','), 1) or {}
-
         self.options['translate_modules'] = opt.translate_modules and map(lambda m: m.strip(), opt.translate_modules.split(',')) or ['all']
         self.options['translate_modules'].sort()
 
+        if self.options['timezone']:
+            # If an explicit TZ was provided in the config, make sure it is known
+            try:
+                import pytz
+                pytz.timezone(self.options['timezone'])
+            except pytz.UnknownTimeZoneError:
+                die(True, "The specified timezone (%s) is invalid" % self.options['timezone'])
+            except:
+                # If pytz is missing, don't check the provided TZ, it will be ignored anyway.
+                pass
+
         if opt.pg_path:
             self.options['pg_path'] = opt.pg_path
 
@@ -313,7 +399,10 @@ class configmanager(object):
         fp.close()
 
         if is_win32:
-            import _winreg
+            try:
+                import _winreg
+            except ImportError:
+                _winreg = None
             x=_winreg.ConnectRegistry(None,_winreg.HKEY_LOCAL_MACHINE)
             y = _winreg.OpenKey(x, r"SYSTEM\CurrentControlSet\Control\Session Manager\Environment", 0,_winreg.KEY_ALL_ACCESS)
             _winreg.SetValueEx(y,"PGPASSFILE", 0, _winreg.REG_EXPAND_SZ, filename )
@@ -331,15 +420,17 @@ class configmanager(object):
         contains_addons = False
         for f in os.listdir(res):
             modpath = os.path.join(res, f)
-            if os.path.isdir(modpath) and os.path.exists(os.path.join(modpath, '__init__.py')) and \
-            os.path.exists(os.path.join(modpath, '__terp__.py')):
+            if os.path.isdir(modpath) and \
+               os.path.exists(os.path.join(modpath, '__init__.py')) and \
+               (os.path.exists(os.path.join(modpath, '__openerp__.py')) or \
+                os.path.exists(os.path.join(modpath, '__terp__.py'))):
+
                 contains_addons = True
                 break
 
         if not contains_addons:
             raise optparse.OptionValueError("option %s: The addons-path %r does not seem to a be a valid Addons Directory!" % (opt, value))
 
-        
         setattr(parser.values, option.dest, res)
 
     def load(self):
@@ -352,6 +443,18 @@ class configmanager(object):
                 if value=='False' or value=='false':
                     value = False
                 self.options[name] = value
+            #parse the other sections, as well
+            for sec in p.sections():
+                if sec == 'options':
+                    continue
+                if not self.misc.has_key(sec):
+                    self.misc[sec]= {}
+                for (name, value) in p.items(sec):
+                    if value=='True' or value=='true':
+                        value = True
+                    if value=='False' or value=='false':
+                        value = False
+                    self.misc[sec][name] = value
         except IOError:
             pass
         except ConfigParser.NoSectionError:
@@ -361,21 +464,29 @@ class configmanager(object):
         p = ConfigParser.ConfigParser()
         loglevelnames = dict(zip(self._LOGLEVELS.values(), self._LOGLEVELS.keys()))
         p.add_section('options')
-        for opt in self.options.keys():
-            if opt in ('version', 'language', 'translate_out', 'translate_in', 'init', 'update'):
+        for opt in sorted(self.options.keys()):
+            if opt in ('version', 'language', 'translate_out', 'translate_in', 'overwrite_existing_translations', 'init', 'update'):
+                continue
+            if opt in self.blacklist_for_save:
                 continue
             if opt in ('log_level', 'assert_exit_level'):
                 p.set('options', opt, loglevelnames.get(self.options[opt], self.options[opt]))
             else:
                 p.set('options', opt, self.options[opt])
 
+        for sec in sorted(self.misc.keys()):
+            for opt in sorted(self.misc[sec].keys()):
+                p.set(sec,opt,self.misc[sec][opt])
+
         # try to create the directories and write the file
         try:
-            if not os.path.exists(os.path.dirname(self.rcfile)):
+            rc_exists = os.path.exists(self.rcfile)
+            if not rc_exists and not os.path.exists(os.path.dirname(self.rcfile)):
                 os.makedirs(os.path.dirname(self.rcfile))
             try:
                 p.write(file(self.rcfile, 'w'))
-                os.chmod(self.rcfile, 0600)
+                if not rc_exists:
+                    os.chmod(self.rcfile, 0600)
             except IOError:
                 sys.stderr.write("ERROR: couldn't write the config file\n")
 
@@ -386,6 +497,9 @@ class configmanager(object):
     def get(self, key, default=None):
         return self.options.get(key, default)
 
+    def get_misc(self, sect, key, default=None):
+        return self.misc.get(sect,{}).get(key, default)
+
     def __setitem__(self, key, value):
         self.options[key] = value
 
@@ -394,7 +508,8 @@ class configmanager(object):
 
 config = configmanager()
 
-
-
-# vim:expandtab:smartindent:tabstop=4:softtabstop=4:shiftwidth=4:
+# FIXME:following line should be called explicitly by the server
+# when it starts, to allow doing 'import tools.config' from
+# other python executables without parsing *their* args.
+config.parse_config()