bin/tools/config.py

   1 # -*- coding: utf-8 -*-
   2 ##############################################################################
   3 #
   4 #    OpenERP, Open Source Management Solution
   5 #    Copyright (C) 2004-2009 Tiny SPRL (<http://tiny.be>).
   6 #
   7 #    This program is free software: you can redistribute it and/or modify
   8 #    it under the terms of the GNU Affero General Public License as
   9 #    published by the Free Software Foundation, either version 3 of the
  10 #    License, or (at your option) any later version.
  11 #
  12 #    This program is distributed in the hope that it will be useful,
  13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 #    GNU Affero General Public License for more details.
  16 #
  17 #    You should have received a copy of the GNU Affero General Public License
  18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19 #
  20 ##############################################################################
  21
  22 import ConfigParser
  23 import optparse
  24 import os
  25 import sys
  26 import netsvc
  27 import logging
  28 import release
  29
  30 def check_ssl():
  31     try:
  32         from OpenSSL import SSL
  33         import socket
  34
  35         return hasattr(socket, 'ssl')
  36     except:
  37         return False
  38
  39 class configmanager(object):
  40     def __init__(self, fname=None):
  41         self.options = {
  42             'email_from':False,
  43             'xmlrpc_interface': '',    # this will bind the server to all interfaces
  44             'xmlrpc_port': 8069,
  45             'netrpc_interface': '',
  46             'netrpc_port': 8070,
  47             'xmlrpcs_interface': '',    # this will bind the server to all interfaces
  48             'xmlrpcs_port': 8071,
  49             'db_host': False,
  50             'db_port': False,
  51             'db_name': False,
  52             'db_user': False,
  53             'db_password': False,
  54             'db_maxconn': 64,
  55             'reportgz': False,
  56             'netrpc': True,
  57             'xmlrpc': True,
  58             'xmlrpcs': True,
  59             'translate_in': None,
  60             'translate_out': None,
  61             'language': None,
  62             'pg_path': None,
  63             'admin_passwd': 'admin',
  64             'csv_internal_sep': ',',
  65             'addons_path': None,
  66             'root_path': None,
  67             'debug_mode': False,
  68             'import_partial': "",
  69             'pidfile': None,
  70             'logfile': None,
  71             'logrotate': '1',
  72             'smtp_server': 'localhost',
  73             'smtp_user': False,
  74             'smtp_port':25,
  75             'smtp_ssl':False,
  76             'smtp_password': False,
  77             'stop_after_init': False,   # this will stop the server after initialization
  78             'syslog' : False,
  79             'log_level': logging.INFO,
  80             'assert_exit_level': logging.ERROR, # level above which a failed assert will be raised
  81             'cache_timeout': 100000,
  82             'login_message': False,
  83             'list_db' : True,
  84             'timezone' : False, # to override the default TZ
  85             'test_file' : False,
  86             'test_disable' : False,
  87             'test_commit' : False,
  88             'static_http_enable': False,
  89             'static_http_document_root': None,
  90             'static_http_url_prefix': None,
  91         }
  92
  93         self.misc = {}
  94         self.config_file = fname
  95         self.has_ssl = check_ssl()
  96
  97         self._LOGLEVELS = dict([(getattr(netsvc, 'LOG_%s' % x), getattr(logging, x))
  98                           for x in ('CRITICAL', 'ERROR', 'WARNING', 'INFO', 'TEST', 'DEBUG', 'DEBUG_RPC', 'DEBUG_SQL', 'NOTSET')])
  99
 100         version = "%s %s" % (release.description, release.version)
 101         self.parser = parser = optparse.OptionParser(version=version)
 102
 103         parser.add_option("-c", "--config", dest="config", help="specify alternate config file")
 104         parser.add_option("-s", "--save", action="store_true", dest="save", default=False,
 105                           help="save configuration to ~/.openerp_serverrc")
 106         parser.add_option("--pidfile", dest="pidfile", help="file where the server pid will be stored")
 107
 108         group = optparse.OptionGroup(parser, "XML-RPC Configuration")
 109         group.add_option("--xmlrpc-interface", dest="xmlrpc_interface", help="specify the TCP IP address for the XML-RPC protocol")
 110         group.add_option("--xmlrpc-port", dest="xmlrpc_port", help="specify the TCP port for the XML-RPC protocol", type="int")
 111         group.add_option("--no-xmlrpc", dest="xmlrpc", action="store_false", help="disable the XML-RPC protocol")
 112         parser.add_option_group(group)
 113
 114         title = "XML-RPC Secure Configuration"
 115         if not self.has_ssl:
 116             title += " (disabled as ssl is unavailable)"
 117
 118         group = optparse.OptionGroup(parser, title)
 119         group.add_option("--xmlrpcs-interface", dest="xmlrpcs_interface", help="specify the TCP IP address for the XML-RPC Secure protocol")
 120         group.add_option("--xmlrpcs-port", dest="xmlrpcs_port", help="specify the TCP port for the XML-RPC Secure protocol", type="int")
 121         group.add_option("--no-xmlrpcs", dest="xmlrpcs", action="store_false", help="disable the XML-RPC Secure protocol")
 122         group.add_option("--cert-file", dest="secure_cert_file", default="server.cert", help="specify the certificate file for the SSL connection")
 123         group.add_option("--pkey-file", dest="secure_pkey_file", default="server.pkey", help="specify the private key file for the SSL connection")
 124         parser.add_option_group(group)
 125
 126         # NET-RPC
 127         group = optparse.OptionGroup(parser, "NET-RPC Configuration")
 128         group.add_option("--netrpc-interface", dest="netrpc_interface", help="specify the TCP IP address for the NETRPC protocol")
 129         group.add_option("--netrpc-port", dest="netrpc_port", help="specify the TCP port for the NETRPC protocol", type="int")
 130         group.add_option("--no-netrpc", dest="netrpc", action="store_false", help="disable the NETRPC protocol")
 131         parser.add_option_group(group)
 132
 133         # Static HTTP
 134         group = optparse.OptionGroup(parser, "Static HTTP service")
 135         group.add_option("--static-http-enable", dest="static_http_enable", action="store_true", default=False, help="enable static HTTP service for serving plain HTML files")
 136         group.add_option("--static-http-document-root", dest="static_http_document_root", help="specify the directory containing your static HTML files (e.g '/var/www/')")
 137         group.add_option("--static-http-url-prefix", dest="static_http_url_prefix", help="specify the URL root prefix where you want web browsers to access your static HTML files (e.g '/')")
 138         parser.add_option_group(group)
 139
 140         parser.add_option("-i", "--init", dest="init", help="init a module (use \"all\" for all modules)")
 141         parser.add_option("--without-demo", dest="without_demo",
 142                           help="load demo data for a module (use \"all\" for all modules)", default=False)
 143         parser.add_option("-u", "--update", dest="update",
 144                           help="update a module (use \"all\" for all modules)")
 145         parser.add_option("--cache-timeout", dest="cache_timeout",
 146                           help="set the timeout for the cache system", default=100000, type="int")
 147         parser.add_option("-t", "--timezone", dest="timezone", help="specify reference timezone for the server (e.g. Europe/Brussels")
 148
 149         # stops the server from launching after initialization
 150         parser.add_option("--stop-after-init", action="store_true", dest="stop_after_init", default=False,
 151                           help="stop the server after it initializes")
 152         parser.add_option('--debug', dest='debug_mode', action='store_true', default=False, help='enable debug mode')
 153         parser.add_option("--assert-exit-level", dest='assert_exit_level', type="choice", choices=self._LOGLEVELS.keys(),
 154                           help="specify the level at which a failed assertion will stop the server. Accepted values: %s" % (self._LOGLEVELS.keys(),))
 155
 156         # Testing Group
 157         group = optparse.OptionGroup(parser, "Testing Configuration")
 158         group.add_option("--test-file", dest="test_file", help="Launch a YML test file.")
 159         group.add_option("--test-disable", action="store_true", dest="test_disable",
 160                          default=False, help="Disable loading test files.")
 161         group.add_option("--test-commit", action="store_true", dest="test_commit",
 162                          default=False, help="Commit database changes performed by tests.")
 163         parser.add_option_group(group)
 164
 165         # Logging Group
 166         group = optparse.OptionGroup(parser, "Logging Configuration")
 167         group.add_option("--logfile", dest="logfile", help="file where the server log will be stored")
 168         group.add_option("--no-logrotate", dest="logrotate", action="store_false",
 169                          default=None, help="do not rotate the logfile")
 170         group.add_option("--syslog", action="store_true", dest="syslog",
 171                          default=False, help="Send the log to the syslog server")
 172         group.add_option('--log-level', dest='log_level', type='choice', choices=self._LOGLEVELS.keys(),
 173                          help='specify the level of the logging. Accepted values: ' + str(self._LOGLEVELS.keys()))
 174         parser.add_option_group(group)
 175
 176         # SMTP Group
 177         group = optparse.OptionGroup(parser, "SMTP Configuration")
 178         group.add_option('--email-from', dest='email_from', default='', help='specify the SMTP email address for sending email')
 179         group.add_option('--smtp', dest='smtp_server', default='', help='specify the SMTP server for sending email')
 180         group.add_option('--smtp-port', dest='smtp_port', default='25', help='specify the SMTP port', type="int")
 181         group.add_option('--smtp-ssl', dest='smtp_ssl', default='', help='specify the SMTP server support SSL or not')
 182         group.add_option('--smtp-user', dest='smtp_user', default='', help='specify the SMTP username for sending email')
 183         group.add_option('--smtp-password', dest='smtp_password', default='', help='specify the SMTP password for sending email')
 184         parser.add_option_group(group)
 185
 186         group = optparse.OptionGroup(parser, "Database related options")
 187         group.add_option("-d", "--database", dest="db_name", help="specify the database name")
 188         group.add_option("-r", "--db_user", dest="db_user", help="specify the database user name")
 189         group.add_option("-w", "--db_password", dest="db_password", help="specify the database password")
 190         group.add_option("--pg_path", dest="pg_path", help="specify the pg executable path")
 191         group.add_option("--db_host", dest="db_host", help="specify the database host")
 192         group.add_option("--db_port", dest="db_port", help="specify the database port", type="int")
 193         group.add_option("--db_maxconn", dest="db_maxconn", default='64',
 194                          help="specify the the maximum number of physical connections to posgresql")
 195         group.add_option("-P", "--import-partial", dest="import_partial",
 196                          help="Use this for big data importation, if it crashes you will be able to continue at the current state. Provide a filename to store intermediate importation states.", default=False)
 197         parser.add_option_group(group)
 198
 199         group = optparse.OptionGroup(parser, "Internationalisation options",
 200             "Use these options to translate OpenERP to another language."
 201             "See i18n section of the user manual. Option '-d' is mandatory."
 202             "Option '-l' is mandatory in case of importation"
 203             )
 204
 205         group.add_option('-l', "--language", dest="language",
 206                          help="specify the language of the translation file. Use it with --i18n-export or --i18n-import")
 207         group.add_option("--i18n-export", dest="translate_out",
 208                          help="export all sentences to be translated to a CSV file, a PO file or a TGZ archive and exit")
 209         group.add_option("--i18n-import", dest="translate_in",
 210                          help="import a CSV or a PO file with translations and exit. The '-l' option is required.")
 211         group.add_option("--modules", dest="translate_modules",
 212                          help="specify modules to export. Use in combination with --i18n-export")
 213         group.add_option("--addons-path", dest="addons_path",
 214                          help="specify an alternative addons path.",
 215                          action="callback", callback=self._check_addons_path, nargs=1, type="string")
 216         parser.add_option_group(group)
 217
 218         security = optparse.OptionGroup(parser, 'Security-related options')
 219         security.add_option('--no-database-list', action="store_false", dest='list_db', default=True, help="disable the ability to return the list of databases")
 220         security.add_option('--enable-code-actions', action='store_true',
 221                             dest='server_actions_allow_code', default=False,
 222                             help='Enables server actions of state "code". Warning, this is a security risk.')
 223         parser.add_option_group(security)
 224
 225     def parse_config(self):
 226         (opt, args) = self.parser.parse_args()
 227
 228         def die(cond, msg):
 229             if cond:
 230                 print msg
 231                 sys.exit(1)
 232
 233         die(bool(opt.syslog) and bool(opt.logfile),
 234             "the syslog and logfile options are exclusive")
 235
 236         die(opt.translate_in and (not opt.language or not opt.db_name),
 237             "the i18n-import option cannot be used without the language (-l) and the database (-d) options")
 238
 239         die(opt.translate_out and (not opt.db_name),
 240             "the i18n-export option cannot be used without the database (-d) option")
 241
 242         # Check if the config file exists (-c used, but not -s)
 243         die(not opt.save and opt.config and not os.path.exists(opt.config),
 244             "The config file '%s' selected with -c/--config doesn't exist, "\
 245             "use -s/--save if you want to generate it"%(opt.config))
 246
 247         # place/search the config file on Win32 near the server installation
 248         # (../etc from the server)
 249         # if the server is run by an unprivileged user, he has to specify location of a config file where he has the rights to write,
 250         # else he won't be able to save the configurations, or even to start the server...
 251         if os.name == 'nt':
 252             rcfilepath = os.path.join(os.path.abspath(os.path.dirname(sys.argv[0])), 'openerp-server.conf')
 253         else:
 254             rcfilepath = os.path.expanduser('~/.openerp_serverrc')
 255
 256         self.rcfile = os.path.abspath(
 257             self.config_file or opt.config \
 258                 or os.environ.get('OPENERP_SERVER') or rcfilepath)
 259         self.load()
 260
 261
 262         # Verify that we want to log or not, if not the output will go to stdout
 263         if self.options['logfile'] in ('None', 'False'):
 264             self.options['logfile'] = False
 265         # the same for the pidfile
 266         if self.options['pidfile'] in ('None', 'False'):
 267             self.options['pidfile'] = False
 268
 269         keys = ['xmlrpc_interface', 'xmlrpc_port', 'db_name', 'db_user', 'db_password', 'db_host',
 270                 'db_port', 'list_db', 'logfile', 'pidfile', 'smtp_port', 'cache_timeout','smtp_ssl',
 271                 'email_from', 'smtp_server', 'smtp_user', 'smtp_password',
 272                 'netrpc_interface', 'netrpc_port', 'db_maxconn', 'import_partial', 'addons_path',
 273                 'netrpc', 'xmlrpc', 'syslog', 'without_demo', 'timezone',
 274                 'xmlrpcs_interface', 'xmlrpcs_port', 'xmlrpcs',
 275                 'secure_cert_file', 'secure_pkey_file',
 276                 'static_http_enable', 'static_http_document_root', 'static_http_url_prefix'
 277                 ]
 278
 279         for arg in keys:
 280             if getattr(opt, arg):
 281                 self.options[arg] = getattr(opt, arg)
 282
 283         keys = ['language', 'translate_out', 'translate_in', 'debug_mode',
 284                 'stop_after_init', 'logrotate', 'without_demo', 'netrpc', 'xmlrpc', 'syslog',
 285                 'list_db', 'server_actions_allow_code', 'xmlrpcs',
 286                 'test_file', 'test_disable', 'test_commit'
 287                 ]
 288
 289         for arg in keys:
 290             if getattr(opt, arg) is not None:
 291                 self.options[arg] = getattr(opt, arg)
 292
 293         if opt.assert_exit_level:
 294             self.options['assert_exit_level'] = self._LOGLEVELS[opt.assert_exit_level]
 295         else:
 296             self.options['assert_exit_level'] = self._LOGLEVELS.get(self.options['assert_exit_level']) or int(self.options['assert_exit_level'])
 297
 298         if opt.log_level:
 299             self.options['log_level'] = self._LOGLEVELS[opt.log_level]
 300         else:
 301             self.options['log_level'] = self._LOGLEVELS.get(self.options['log_level']) or int(self.options['log_level'])
 302
 303         if not self.options['root_path'] or self.options['root_path']=='None':
 304             self.options['root_path'] = os.path.abspath(os.path.dirname(sys.argv[0]))
 305         if not self.options['addons_path'] or self.options['addons_path']=='None':
 306             self.options['addons_path'] = os.path.join(self.options['root_path'], 'addons')
 307
 308         self.options['init'] = opt.init and dict.fromkeys(opt.init.split(','), 1) or {}
 309         self.options["demo"] = not opt.without_demo and self.options['init'] or {}
 310         self.options['update'] = opt.update and dict.fromkeys(opt.update.split(','), 1) or {}
 311         self.options['translate_modules'] = opt.translate_modules and map(lambda m: m.strip(), opt.translate_modules.split(',')) or ['all']
 312         self.options['translate_modules'].sort()
 313
 314         if self.options['timezone']:
 315             # If an explicit TZ was provided in the config, make sure it is known
 316             try:
 317                 import pytz
 318                 tz = pytz.timezone(self.options['timezone'])
 319             except pytz.UnknownTimeZoneError:
 320                 die(True, "The specified timezone (%s) is invalid" % self.options['timezone'])
 321             except:
 322                 # If pytz is missing, don't check the provided TZ, it will be ignored anyway.
 323                 pass
 324
 325         if opt.pg_path:
 326             self.options['pg_path'] = opt.pg_path
 327
 328         if self.options.get('language', False):
 329             if len(self.options['language']) > 5:
 330                 raise Exception('ERROR: The Lang name must take max 5 chars, Eg: -lfr_BE')
 331
 332         if not self.options['db_user']:
 333             try:
 334                 import getpass
 335                 self.options['db_user'] = getpass.getuser()
 336             except:
 337                 self.options['db_user'] = None
 338
 339         die(not self.options['db_user'], 'ERROR: No user specified for the connection to the database')
 340
 341         if self.options['db_password']:
 342             if sys.platform == 'win32' and not self.options['db_host']:
 343                 self.options['db_host'] = 'localhost'
 344             #if self.options['db_host']:
 345             #    self._generate_pgpassfile()
 346
 347         if opt.save:
 348             self.save()
 349
 350     def _generate_pgpassfile(self):
 351         """
 352         Generate the pgpass file with the parameters from the command line (db_host, db_user,
 353         db_password)
 354
 355         Used because pg_dump and pg_restore can not accept the password on the command line.
 356         """
 357         is_win32 = sys.platform == 'win32'
 358         if is_win32:
 359             filename = os.path.join(os.environ['APPDATA'], 'pgpass.conf')
 360         else:
 361             filename = os.path.join(os.environ['HOME'], '.pgpass')
 362
 363         text_to_add = "%(db_host)s:*:*:%(db_user)s:%(db_password)s" % self.options
 364
 365         if os.path.exists(filename):
 366             content = [x.strip() for x in file(filename, 'r').readlines()]
 367             if text_to_add in content:
 368                 return
 369
 370         fp = file(filename, 'a+')
 371         fp.write(text_to_add + "\n")
 372         fp.close()
 373
 374         if is_win32:
 375             import _winreg
 376             x=_winreg.ConnectRegistry(None,_winreg.HKEY_LOCAL_MACHINE)
 377             y = _winreg.OpenKey(x, r"SYSTEM\CurrentControlSet\Control\Session Manager\Environment", 0,_winreg.KEY_ALL_ACCESS)
 378             _winreg.SetValueEx(y,"PGPASSFILE", 0, _winreg.REG_EXPAND_SZ, filename )
 379             _winreg.CloseKey(y)
 380             _winreg.CloseKey(x)
 381         else:
 382             import stat
 383             os.chmod(filename, stat.S_IRUSR + stat.S_IWUSR)
 384
 385     def _check_addons_path(self, option, opt, value, parser):
 386         res = os.path.abspath(os.path.expanduser(value))
 387         if not os.path.exists(res):
 388             raise optparse.OptionValueError("option %s: no such directory: %r" % (opt, value))
 389
 390         contains_addons = False
 391         for f in os.listdir(res):
 392             modpath = os.path.join(res, f)
 393             if os.path.isdir(modpath) and \
 394                os.path.exists(os.path.join(modpath, '__init__.py')) and \
 395                (os.path.exists(os.path.join(modpath, '__openerp__.py')) or \
 396                 os.path.exists(os.path.join(modpath, '__terp__.py'))):
 397
 398                 contains_addons = True
 399                 break
 400
 401         if not contains_addons:
 402             raise optparse.OptionValueError("option %s: The addons-path %r does not seem to a be a valid Addons Directory!" % (opt, value))
 403
 404         setattr(parser.values, option.dest, res)
 405
 406     def load(self):
 407         p = ConfigParser.ConfigParser()
 408         try:
 409             p.read([self.rcfile])
 410             for (name,value) in p.items('options'):
 411                 if value=='True' or value=='true':
 412                     value = True
 413                 if value=='False' or value=='false':
 414                     value = False
 415                 self.options[name] = value
 416             #parse the other sections, as well
 417             for sec in p.sections():
 418                 if sec == 'options':
 419                     continue
 420                 if not self.misc.has_key(sec):
 421                     self.misc[sec]= {}
 422                 for (name, value) in p.items(sec):
 423                     if value=='True' or value=='true':
 424                         value = True
 425                     if value=='False' or value=='false':
 426                         value = False
 427                     self.misc[sec][name] = value
 428         except IOError:
 429             pass
 430         except ConfigParser.NoSectionError:
 431             pass
 432
 433     def save(self):
 434         p = ConfigParser.ConfigParser()
 435         loglevelnames = dict(zip(self._LOGLEVELS.values(), self._LOGLEVELS.keys()))
 436         p.add_section('options')
 437         for opt in self.options.keys():
 438             if opt in ('version', 'language', 'translate_out', 'translate_in', 'init', 'update'):
 439                 continue
 440             if opt in ('log_level', 'assert_exit_level'):
 441                 p.set('options', opt, loglevelnames.get(self.options[opt], self.options[opt]))
 442             else:
 443                 p.set('options', opt, self.options[opt])
 444
 445         for sec in self.misc.keys():
 446             for opt in self.misc[sec].keys():
 447                 p.set(sec,opt,self.misc[sec][opt])
 448
 449         # try to create the directories and write the file
 450         try:
 451             if not os.path.exists(os.path.dirname(self.rcfile)):
 452                 os.makedirs(os.path.dirname(self.rcfile))
 453             try:
 454                 p.write(file(self.rcfile, 'w'))
 455                 os.chmod(self.rcfile, 0600)
 456             except IOError:
 457                 sys.stderr.write("ERROR: couldn't write the config file\n")
 458
 459         except OSError:
 460             # what to do if impossible?
 461             sys.stderr.write("ERROR: couldn't create the config directory\n")
 462
 463     def get(self, key, default=None):
 464         return self.options.get(key, default)
 465
 466     def get_misc(self, sect, key, default=None):
 467         return self.misc.get(sect,{}).get(key, default)
 468
 469     def __setitem__(self, key, value):
 470         self.options[key] = value
 471
 472     def __getitem__(self, key):
 473         return self.options[key]
 474
 475 config = configmanager()
 476
 477 # FIXME:following line should be called explicitly by the server
 478 # when it starts, to allow doing 'import tools.config' from
 479 # other python executables without parsing *their* args.
 480 config.parse_config()
 481