Launchpad automatic translations update.
[odoo/odoo.git] / bin / tools / config.py
1 # -*- coding: utf-8 -*-
2 ##############################################################################
3 #
4 #    OpenERP, Open Source Management Solution
5 #    Copyright (C) 2004-2009 Tiny SPRL (<http://tiny.be>).
6 #
7 #    This program is free software: you can redistribute it and/or modify
8 #    it under the terms of the GNU Affero General Public License as
9 #    published by the Free Software Foundation, either version 3 of the
10 #    License, or (at your option) any later version.
11 #
12 #    This program is distributed in the hope that it will be useful,
13 #    but WITHOUT ANY WARRANTY; without even the implied warranty of
14 #    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 #    GNU Affero General Public License for more details.
16 #
17 #    You should have received a copy of the GNU Affero General Public License
18 #    along with this program.  If not, see <http://www.gnu.org/licenses/>.
19 #
20 ##############################################################################
21
22 import ConfigParser
23 import optparse
24 import os
25 import sys
26 import netsvc
27 import logging
28 import release
29
30 def check_ssl():
31     try:
32         from OpenSSL import SSL
33         import socket
34         
35         return hasattr(socket, 'ssl') and hasattr(SSL, "Connection")
36     except:
37         return False
38
39 class configmanager(object):
40     def __init__(self, fname=None):
41         self.options = {
42             'email_from':False,
43             'xmlrpc_interface': '',    # this will bind the server to all interfaces
44             'xmlrpc_port': 8069,
45             'netrpc_interface': '',
46             'netrpc_port': 8070,
47             'xmlrpcs_interface': '',    # this will bind the server to all interfaces
48             'xmlrpcs_port': 8071,
49             'db_host': False,
50             'db_port': False,
51             'db_name': False,
52             'db_user': False,
53             'db_password': False,
54             'db_maxconn': 64,
55             'reportgz': False,
56             'netrpc': True,
57             'xmlrpc': True,
58             'xmlrpcs': True,
59             'translate_in': None,
60             'translate_out': None,
61             'overwrite_existing_translations': False,
62             'load_language': None,
63             'language': None,
64             'pg_path': None,
65             'admin_passwd': 'admin',
66             'csv_internal_sep': ',',
67             'addons_path': None,
68             'root_path': None,
69             'debug_mode': False,
70             'import_partial': "",
71             'pidfile': None,
72             'logfile': None,
73             'logrotate': True,
74             'smtp_server': 'localhost',
75             'smtp_user': False,
76             'smtp_port':25,
77             'smtp_ssl':False,
78             'smtp_password': False,
79             'stop_after_init': False,   # this will stop the server after initialization
80             'syslog' : False,
81             'log_level': logging.INFO,
82             'assert_exit_level': logging.ERROR, # level above which a failed assert will be raised
83             'cache_timeout': 100000,
84             'login_message': False,
85             'list_db' : True,
86             'timezone' : False, # to override the default TZ
87             'test_file' : False,
88             'test_report_directory' : False,
89             'test_disable' : False,
90             'test_commit' : False,
91             'static_http_enable': False,
92             'static_http_document_root': None,
93             'static_http_url_prefix': None,
94             'secure_cert_file': 'server.cert',
95             'secure_pkey_file': 'server.pkey',
96             'publisher_warranty_url': 'http://services.openerp.com/publisher-warranty/',
97             'osv_memory_count_limit': None, # number of records in each osv_memory virtual table
98             'osv_memory_age_limit': 1, # hours
99         }
100         
101         self.blacklist_for_save = set(["publisher_warranty_url", "load_language"])
102
103         self.misc = {}
104         self.config_file = fname
105         self.has_ssl = check_ssl()
106
107         self._LOGLEVELS = dict([(getattr(netsvc, 'LOG_%s' % x), getattr(logging, x))
108                           for x in ('CRITICAL', 'ERROR', 'WARNING', 'INFO', 'TEST', 'DEBUG', 'DEBUG_RPC', 'DEBUG_SQL', 'DEBUG_RPC_ANSWER','NOTSET')])
109
110         version = "%s %s" % (release.description, release.version)
111         self.parser = parser = optparse.OptionParser(version=version)
112
113         parser.add_option("-c", "--config", dest="config", help="specify alternate config file")
114         parser.add_option("-s", "--save", action="store_true", dest="save", default=False,
115                           help="save configuration to ~/.openerp_serverrc")
116         parser.add_option("--pidfile", dest="pidfile", help="file where the server pid will be stored")
117
118         group = optparse.OptionGroup(parser, "XML-RPC Configuration")
119         group.add_option("--xmlrpc-interface", dest="xmlrpc_interface", help="specify the TCP IP address for the XML-RPC protocol")
120         group.add_option("--xmlrpc-port", dest="xmlrpc_port", help="specify the TCP port for the XML-RPC protocol", type="int")
121         group.add_option("--no-xmlrpc", dest="xmlrpc", action="store_false", help="disable the XML-RPC protocol")
122         parser.add_option_group(group)
123
124         title = "XML-RPC Secure Configuration"
125         if not self.has_ssl:
126             title += " (disabled as ssl is unavailable)"
127
128         group = optparse.OptionGroup(parser, title)
129         group.add_option("--xmlrpcs-interface", dest="xmlrpcs_interface", help="specify the TCP IP address for the XML-RPC Secure protocol")
130         group.add_option("--xmlrpcs-port", dest="xmlrpcs_port", help="specify the TCP port for the XML-RPC Secure protocol", type="int")
131         group.add_option("--no-xmlrpcs", dest="xmlrpcs", action="store_false", help="disable the XML-RPC Secure protocol")
132         group.add_option("--cert-file", dest="secure_cert_file", help="specify the certificate file for the SSL connection")
133         group.add_option("--pkey-file", dest="secure_pkey_file", help="specify the private key file for the SSL connection")
134         parser.add_option_group(group)
135
136         # NET-RPC
137         group = optparse.OptionGroup(parser, "NET-RPC Configuration")
138         group.add_option("--netrpc-interface", dest="netrpc_interface", help="specify the TCP IP address for the NETRPC protocol")
139         group.add_option("--netrpc-port", dest="netrpc_port", help="specify the TCP port for the NETRPC protocol", type="int")
140         group.add_option("--no-netrpc", dest="netrpc", action="store_false", help="disable the NETRPC protocol")
141         parser.add_option_group(group)
142
143         # Static HTTP
144         group = optparse.OptionGroup(parser, "Static HTTP service")
145         group.add_option("--static-http-enable", dest="static_http_enable", action="store_true", default=False, help="enable static HTTP service for serving plain HTML files")
146         group.add_option("--static-http-document-root", dest="static_http_document_root", help="specify the directory containing your static HTML files (e.g '/var/www/')")
147         group.add_option("--static-http-url-prefix", dest="static_http_url_prefix", help="specify the URL root prefix where you want web browsers to access your static HTML files (e.g '/')")
148         parser.add_option_group(group)
149
150         parser.add_option("-i", "--init", dest="init", help="init a module (use \"all\" for all modules)")
151         parser.add_option("--without-demo", dest="without_demo",
152                           help="load demo data for a module (use \"all\" for all modules)", default=False)
153         parser.add_option("-u", "--update", dest="update",
154                           help="update a module (use \"all\" for all modules)")
155         parser.add_option("--cache-timeout", dest="cache_timeout",
156                           help="set the timeout for the cache system", type="int")
157         parser.add_option("-t", "--timezone", dest="timezone", help="specify reference timezone for the server (e.g. Europe/Brussels")
158
159         # stops the server from launching after initialization
160         parser.add_option("--stop-after-init", action="store_true", dest="stop_after_init", default=False,
161                           help="stop the server after it initializes")
162         parser.add_option('--debug', dest='debug_mode', action='store_true', default=False, help='enable debug mode')
163         parser.add_option("--assert-exit-level", dest='assert_exit_level', type="choice", choices=self._LOGLEVELS.keys(),
164                           help="specify the level at which a failed assertion will stop the server. Accepted values: %s" % (self._LOGLEVELS.keys(),))
165
166         # Testing Group
167         group = optparse.OptionGroup(parser, "Testing Configuration")
168         group.add_option("--test-file", dest="test_file", help="Launch a YML test file.")
169         group.add_option("--test-report-directory", dest="test_report_directory", help="If set, will save sample of all reports in this directory.")
170         group.add_option("--test-disable", action="store_true", dest="test_disable",
171                          default=False, help="Disable loading test files.")
172         group.add_option("--test-commit", action="store_true", dest="test_commit",
173                          default=False, help="Commit database changes performed by tests.")
174         parser.add_option_group(group)
175
176         # Logging Group
177         group = optparse.OptionGroup(parser, "Logging Configuration")
178         group.add_option("--logfile", dest="logfile", help="file where the server log will be stored")
179         group.add_option("--no-logrotate", dest="logrotate", action="store_false",
180                          help="do not rotate the logfile")
181         group.add_option("--syslog", action="store_true", dest="syslog",
182                          default=False, help="Send the log to the syslog server")
183         group.add_option('--log-level', dest='log_level', type='choice', choices=self._LOGLEVELS.keys(),
184                          help='specify the level of the logging. Accepted values: ' + str(self._LOGLEVELS.keys()))
185         parser.add_option_group(group)
186
187         # SMTP Group
188         group = optparse.OptionGroup(parser, "SMTP Configuration")
189         group.add_option('--email-from', dest='email_from', help='specify the SMTP email address for sending email')
190         group.add_option('--smtp', dest='smtp_server', help='specify the SMTP server for sending email')
191         group.add_option('--smtp-port', dest='smtp_port', help='specify the SMTP port', type="int")
192         group.add_option('--smtp-ssl', dest='smtp_ssl', action='store_true', help='specify the SMTP server support SSL or not')
193         group.add_option('--smtp-user', dest='smtp_user', help='specify the SMTP username for sending email')
194         group.add_option('--smtp-password', dest='smtp_password', help='specify the SMTP password for sending email')
195         parser.add_option_group(group)
196
197         group = optparse.OptionGroup(parser, "Database related options")
198         group.add_option("-d", "--database", dest="db_name", help="specify the database name")
199         group.add_option("-r", "--db_user", dest="db_user", help="specify the database user name")
200         group.add_option("-w", "--db_password", dest="db_password", help="specify the database password")
201         group.add_option("--pg_path", dest="pg_path", help="specify the pg executable path")
202         group.add_option("--db_host", dest="db_host", help="specify the database host")
203         group.add_option("--db_port", dest="db_port", help="specify the database port", type="int")
204         group.add_option("--db_maxconn", dest="db_maxconn", type='int',
205                          help="specify the the maximum number of physical connections to posgresql")
206         group.add_option("-P", "--import-partial", dest="import_partial",
207                          help="Use this for big data importation, if it crashes you will be able to continue at the current state. Provide a filename to store intermediate importation states.", default=False)
208         parser.add_option_group(group)
209
210         group = optparse.OptionGroup(parser, "Internationalisation options",
211             "Use these options to translate OpenERP to another language."
212             "See i18n section of the user manual. Option '-d' is mandatory."
213             "Option '-l' is mandatory in case of importation"
214             )
215
216         group.add_option('--load-language', dest="load_language",
217                          help="specifies the languages for the translations you want to be loaded")
218         group.add_option('-l', "--language", dest="language",
219                          help="specify the language of the translation file. Use it with --i18n-export or --i18n-import")
220         group.add_option("--i18n-export", dest="translate_out",
221                          help="export all sentences to be translated to a CSV file, a PO file or a TGZ archive and exit")
222         group.add_option("--i18n-import", dest="translate_in",
223                          help="import a CSV or a PO file with translations and exit. The '-l' option is required.")
224         group.add_option("--i18n-overwrite", dest="overwrite_existing_translations", action="store_true", default=False,
225                          help="overwrites existing translation terms on importing a CSV or a PO file.")
226         group.add_option("--modules", dest="translate_modules",
227                          help="specify modules to export. Use in combination with --i18n-export")
228         group.add_option("--addons-path", dest="addons_path",
229                          help="specify an alternative addons path.",
230                          action="callback", callback=self._check_addons_path, nargs=1, type="string")
231         group.add_option("--osv-memory-count-limit", dest="osv_memory_count_limit", default=False,
232                          help="Force a limit on the maximum number of records kept in the virtual "
233                               "osv_memory tables. The default is False, which means no count-based limit.",
234                          type="int")
235         group.add_option("--osv-memory-age-limit", dest="osv_memory_age_limit", default=1.0,
236                          help="Force a limit on the maximum age of records kept in the virtual "
237                               "osv_memory tables. This is a decimal value expressed in hours, "
238                               "and the default is 1 hour.",
239                          type="float")
240         parser.add_option_group(group)
241
242         security = optparse.OptionGroup(parser, 'Security-related options')
243         security.add_option('--no-database-list', action="store_false", dest='list_db', help="disable the ability to return the list of databases")
244         parser.add_option_group(security)
245
246     def parse_config(self):
247         opt = self.parser.parse_args()[0]
248
249         def die(cond, msg):
250             if cond:
251                 print msg
252                 sys.exit(1)
253
254         die(bool(opt.syslog) and bool(opt.logfile),
255             "the syslog and logfile options are exclusive")
256
257         die(opt.translate_in and (not opt.language or not opt.db_name),
258             "the i18n-import option cannot be used without the language (-l) and the database (-d) options")
259
260         die(opt.overwrite_existing_translations and (not opt.translate_in),
261             "the i18n-overwrite option cannot be used without the i18n-import option")
262
263         die(opt.translate_out and (not opt.db_name),
264             "the i18n-export option cannot be used without the database (-d) option")
265
266         # Check if the config file exists (-c used, but not -s)
267         die(not opt.save and opt.config and not os.path.exists(opt.config),
268             "The config file '%s' selected with -c/--config doesn't exist, "\
269             "use -s/--save if you want to generate it"%(opt.config))
270
271         # place/search the config file on Win32 near the server installation
272         # (../etc from the server)
273         # if the server is run by an unprivileged user, he has to specify location of a config file where he has the rights to write,
274         # else he won't be able to save the configurations, or even to start the server...
275         if os.name == 'nt':
276             rcfilepath = os.path.join(os.path.abspath(os.path.dirname(sys.argv[0])), 'openerp-server.conf')
277         else:
278             rcfilepath = os.path.expanduser('~/.openerp_serverrc')
279
280         self.rcfile = os.path.abspath(
281             self.config_file or opt.config \
282                 or os.environ.get('OPENERP_SERVER') or rcfilepath)
283         self.load()
284
285
286         # Verify that we want to log or not, if not the output will go to stdout
287         if self.options['logfile'] in ('None', 'False'):
288             self.options['logfile'] = False
289         # the same for the pidfile
290         if self.options['pidfile'] in ('None', 'False'):
291             self.options['pidfile'] = False
292
293         keys = ['xmlrpc_interface', 'xmlrpc_port', 'db_name', 'db_user', 'db_password', 'db_host',
294                 'db_port', 'logfile', 'pidfile', 'smtp_port', 'cache_timeout',
295                 'email_from', 'smtp_server', 'smtp_user', 'smtp_password',
296                 'netrpc_interface', 'netrpc_port', 'db_maxconn', 'import_partial', 'addons_path',
297                 'netrpc', 'xmlrpc', 'syslog', 'without_demo', 'timezone',
298                 'xmlrpcs_interface', 'xmlrpcs_port', 'xmlrpcs',
299                 'secure_cert_file', 'secure_pkey_file',
300                 'static_http_enable', 'static_http_document_root', 'static_http_url_prefix'
301                 ]
302
303         for arg in keys:
304             if getattr(opt, arg):
305                 self.options[arg] = getattr(opt, arg)
306
307         keys = [
308             'language', 'translate_out', 'translate_in', 'overwrite_existing_translations',
309             'debug_mode', 'smtp_ssl', 'load_language',
310             'stop_after_init', 'logrotate', 'without_demo', 'netrpc', 'xmlrpc', 'syslog',
311             'list_db', 'xmlrpcs',
312             'test_file', 'test_disable', 'test_commit', 'test_report_directory',
313             'osv_memory_count_limit', 'osv_memory_age_limit',
314         ]
315
316         for arg in keys:
317             if getattr(opt, arg) is not None:
318                 self.options[arg] = getattr(opt, arg)
319
320         if opt.assert_exit_level:
321             self.options['assert_exit_level'] = self._LOGLEVELS[opt.assert_exit_level]
322         else:
323             self.options['assert_exit_level'] = self._LOGLEVELS.get(self.options['assert_exit_level']) or int(self.options['assert_exit_level'])
324
325         if opt.log_level:
326             self.options['log_level'] = self._LOGLEVELS[opt.log_level]
327         else:
328             self.options['log_level'] = self._LOGLEVELS.get(self.options['log_level']) or int(self.options['log_level'])
329
330         if not self.options['root_path'] or self.options['root_path']=='None':
331             self.options['root_path'] = os.path.abspath(os.path.dirname(sys.argv[0]))
332         if not self.options['addons_path'] or self.options['addons_path']=='None':
333             self.options['addons_path'] = os.path.join(self.options['root_path'], 'addons')
334
335         self.options['init'] = opt.init and dict.fromkeys(opt.init.split(','), 1) or {}
336         self.options["demo"] = not opt.without_demo and self.options['init'] or {}
337         self.options['update'] = opt.update and dict.fromkeys(opt.update.split(','), 1) or {}
338         self.options['translate_modules'] = opt.translate_modules and map(lambda m: m.strip(), opt.translate_modules.split(',')) or ['all']
339         self.options['translate_modules'].sort()
340
341         if self.options['timezone']:
342             # If an explicit TZ was provided in the config, make sure it is known
343             try:
344                 import pytz
345                 pytz.timezone(self.options['timezone'])
346             except pytz.UnknownTimeZoneError:
347                 die(True, "The specified timezone (%s) is invalid" % self.options['timezone'])
348             except:
349                 # If pytz is missing, don't check the provided TZ, it will be ignored anyway.
350                 pass
351
352         if opt.pg_path:
353             self.options['pg_path'] = opt.pg_path
354
355         if self.options.get('language', False):
356             if len(self.options['language']) > 5:
357                 raise Exception('ERROR: The Lang name must take max 5 chars, Eg: -lfr_BE')
358
359         if not self.options['db_user']:
360             try:
361                 import getpass
362                 self.options['db_user'] = getpass.getuser()
363             except:
364                 self.options['db_user'] = None
365
366         die(not self.options['db_user'], 'ERROR: No user specified for the connection to the database')
367
368         if self.options['db_password']:
369             if sys.platform == 'win32' and not self.options['db_host']:
370                 self.options['db_host'] = 'localhost'
371             #if self.options['db_host']:
372             #    self._generate_pgpassfile()
373
374         if opt.save:
375             self.save()
376
377     def _generate_pgpassfile(self):
378         """
379         Generate the pgpass file with the parameters from the command line (db_host, db_user,
380         db_password)
381
382         Used because pg_dump and pg_restore can not accept the password on the command line.
383         """
384         is_win32 = sys.platform == 'win32'
385         if is_win32:
386             filename = os.path.join(os.environ['APPDATA'], 'pgpass.conf')
387         else:
388             filename = os.path.join(os.environ['HOME'], '.pgpass')
389
390         text_to_add = "%(db_host)s:*:*:%(db_user)s:%(db_password)s" % self.options
391
392         if os.path.exists(filename):
393             content = [x.strip() for x in file(filename, 'r').readlines()]
394             if text_to_add in content:
395                 return
396
397         fp = file(filename, 'a+')
398         fp.write(text_to_add + "\n")
399         fp.close()
400
401         if is_win32:
402             try:
403                 import _winreg
404             except ImportError:
405                 _winreg = None
406             x=_winreg.ConnectRegistry(None,_winreg.HKEY_LOCAL_MACHINE)
407             y = _winreg.OpenKey(x, r"SYSTEM\CurrentControlSet\Control\Session Manager\Environment", 0,_winreg.KEY_ALL_ACCESS)
408             _winreg.SetValueEx(y,"PGPASSFILE", 0, _winreg.REG_EXPAND_SZ, filename )
409             _winreg.CloseKey(y)
410             _winreg.CloseKey(x)
411         else:
412             import stat
413             os.chmod(filename, stat.S_IRUSR + stat.S_IWUSR)
414
415     def _check_addons_path(self, option, opt, value, parser):
416         res = os.path.abspath(os.path.expanduser(value))
417         if not os.path.exists(res):
418             raise optparse.OptionValueError("option %s: no such directory: %r" % (opt, value))
419
420         contains_addons = False
421         for f in os.listdir(res):
422             modpath = os.path.join(res, f)
423             if os.path.isdir(modpath) and \
424                os.path.exists(os.path.join(modpath, '__init__.py')) and \
425                (os.path.exists(os.path.join(modpath, '__openerp__.py')) or \
426                 os.path.exists(os.path.join(modpath, '__terp__.py'))):
427
428                 contains_addons = True
429                 break
430
431         if not contains_addons:
432             raise optparse.OptionValueError("option %s: The addons-path %r does not seem to a be a valid Addons Directory!" % (opt, value))
433
434         setattr(parser.values, option.dest, res)
435
436     def load(self):
437         p = ConfigParser.ConfigParser()
438         try:
439             p.read([self.rcfile])
440             for (name,value) in p.items('options'):
441                 if value=='True' or value=='true':
442                     value = True
443                 if value=='False' or value=='false':
444                     value = False
445                 self.options[name] = value
446             #parse the other sections, as well
447             for sec in p.sections():
448                 if sec == 'options':
449                     continue
450                 if not self.misc.has_key(sec):
451                     self.misc[sec]= {}
452                 for (name, value) in p.items(sec):
453                     if value=='True' or value=='true':
454                         value = True
455                     if value=='False' or value=='false':
456                         value = False
457                     self.misc[sec][name] = value
458         except IOError:
459             pass
460         except ConfigParser.NoSectionError:
461             pass
462
463     def save(self):
464         p = ConfigParser.ConfigParser()
465         loglevelnames = dict(zip(self._LOGLEVELS.values(), self._LOGLEVELS.keys()))
466         p.add_section('options')
467         for opt in sorted(self.options.keys()):
468             if opt in ('version', 'language', 'translate_out', 'translate_in', 'overwrite_existing_translations', 'init', 'update'):
469                 continue
470             if opt in self.blacklist_for_save:
471                 continue
472             if opt in ('log_level', 'assert_exit_level'):
473                 p.set('options', opt, loglevelnames.get(self.options[opt], self.options[opt]))
474             else:
475                 p.set('options', opt, self.options[opt])
476
477         for sec in sorted(self.misc.keys()):
478             for opt in sorted(self.misc[sec].keys()):
479                 p.set(sec,opt,self.misc[sec][opt])
480
481         # try to create the directories and write the file
482         try:
483             rc_exists = os.path.exists(self.rcfile)
484             if not rc_exists and not os.path.exists(os.path.dirname(self.rcfile)):
485                 os.makedirs(os.path.dirname(self.rcfile))
486             try:
487                 p.write(file(self.rcfile, 'w'))
488                 if not rc_exists:
489                     os.chmod(self.rcfile, 0600)
490             except IOError:
491                 sys.stderr.write("ERROR: couldn't write the config file\n")
492
493         except OSError:
494             # what to do if impossible?
495             sys.stderr.write("ERROR: couldn't create the config directory\n")
496
497     def get(self, key, default=None):
498         return self.options.get(key, default)
499
500     def get_misc(self, sect, key, default=None):
501         return self.misc.get(sect,{}).get(key, default)
502
503     def __setitem__(self, key, value):
504         self.options[key] = value
505
506     def __getitem__(self, key):
507         return self.options[key]
508
509 config = configmanager()
510
511 # FIXME:following line should be called explicitly by the server
512 # when it starts, to allow doing 'import tools.config' from
513 # other python executables without parsing *their* args.
514 config.parse_config()
515