[IMP] run-tests: add --slow-suite
[odoo/odoo.git] / openerpcommand / run_tests.py
1 """
2 Execute the unittest2 tests available in OpenERP addons.
3 """
4
5 import sys
6 import types
7 import argparse
8
9 import common
10
11 def get_test_modules(module, submodule, explode):
12     """
13     Return a list of submodules containing tests.
14     `submodule` can be:
15       - None
16       - the name of a submodule
17       - '__fast_suite__'
18       - '__sanity_checks__'
19     """
20     # Turn command-line module, submodule into importable names.
21     if module is None:
22         pass
23     elif module == 'openerp':
24         module = 'openerp.tests'
25     else:
26         module = 'openerp.addons.' + module + '.tests'
27
28     # Try to import the module
29     try:
30         __import__(module)
31     except Exception, e:
32         if explode:
33             print 'Can not `import %s`.' % module
34             import logging
35             logging.exception('')
36             sys.exit(1)
37         else:
38             if str(e) == 'No module named tests':
39                 # It seems the module has no `tests` sub-module, no problem.
40                 pass
41             else:
42                 print 'Can not `import %s`.' % module
43             return []
44
45     # Discover available test sub-modules.
46     m = sys.modules[module]
47     submodule_names =  sorted([x for x in dir(m) \
48         if x.startswith('test_') and \
49         isinstance(getattr(m, x), types.ModuleType)])
50     submodules = [getattr(m, x) for x in submodule_names]
51
52     def show_submodules_and_exit():
53         if submodule_names:
54             print 'Available submodules are:'
55             for x in submodule_names:
56                 print ' ', x
57         sys.exit(1)
58
59     fast_suite = getattr(m, 'fast_suite', [])
60     checks = getattr(m, 'checks', [])
61     if submodule is None:
62         # Use auto-discovered sub-modules.
63         ms = submodules
64     elif submodule == '__fast_suite__':
65         # `suite` was used before the 6.1 release instead of `fast_suite`.
66         ms = fast_suite if fast_suite else getattr(m, 'suite', None)
67         if ms is None:
68             if explode:
69                 print 'The module `%s` has no defined test suite.' % (module,)
70                 show_submodules_and_exit()
71             else:
72                 ms = []
73     elif submodule == '__sanity_checks__':
74         ms = checks
75         if ms is None:
76             if explode:
77                 print 'The module `%s` has no defined sanity checks.' % (module,)
78                 show_submodules_and_exit()
79             else:
80                 ms = []
81     elif submodule == '__slow_suite__':
82         ms = list(set(submodules).difference(fast_suite, checks))
83     else:
84         # Pick the command-line-specified test sub-module.
85         m = getattr(m, submodule, None)
86         ms = [m]
87
88         if m is None:
89             if explode:
90                 print 'The module `%s` has no submodule named `%s`.' % \
91                     (module, submodule)
92                 show_submodules_and_exit()
93             else:
94                 ms = []
95
96     return ms
97
98 def run(args):
99     import unittest2
100
101     import openerp
102
103     config = openerp.tools.config
104     config['db_name'] = args.database
105     if args.port:
106         config['xmlrpc_port'] = int(args.port)
107     config['admin_passwd'] = 'admin'
108     config['db_password'] = 'a2aevl8w' # TODO from .openerpserverrc
109     config['addons_path'] = args.addons.replace(':',',')
110     if args.addons:
111         args.addons = args.addons.split(':')
112     else:
113         args.addons = []
114
115     import logging
116     openerp.netsvc.init_alternative_logger()
117     logging.getLogger('openerp').setLevel(logging.CRITICAL)
118
119     # Install the import hook, to import openerp.addons.<module>.
120     openerp.modules.module.initialize_sys_path()
121
122     module = args.module
123     submodule = args.submodule
124
125     # Import the necessary modules and get the corresponding suite.
126     if module is None:
127         # TODO
128         modules = common.get_addons_from_paths(args.addons, []) # TODO openerp.addons.base is not included ?
129         test_modules = []
130         for module in ['openerp'] + modules:
131             test_modules.extend(
132                 get_test_modules(module, submodule, explode=False))
133     else:
134         test_modules = get_test_modules(module, submodule, explode=True)
135
136     # Run the test suite.
137     if not args.dry_run:
138         suite = unittest2.TestSuite()
139         for test_module in test_modules:
140             suite.addTests(unittest2.TestLoader().loadTestsFromModule(test_module))
141         r = unittest2.TextTestRunner(verbosity=2).run(suite)
142         if r.errors or r.failures:
143             sys.exit(1)
144     else:
145         print 'Test modules:'
146         for test_module in test_modules:
147             print ' ', test_module.__name__
148
149 def add_parser(subparsers):
150     parser = subparsers.add_parser('run-tests',
151         description='Run the OpenERP server and/or addons tests.')
152     parser.add_argument('-d', '--database', metavar='DATABASE', required=True,
153         help='the database to test. Depending on the test suites, the '
154         'database must already exist or not.')
155     parser.add_argument('-p', '--port', metavar='PORT',
156         help='the port used for WML-RPC tests')
157     common.add_addons_argument(parser)
158
159     parser.add_argument(
160         '-m', '--module', metavar='MODULE', action=ModuleAction, default=None,
161         help="the module to test in `module[.submodule]` notation. "
162              "Use `openerp` for the core OpenERP tests. "
163              "Leave empty to run every declared tests. "
164              "Give a module but no submodule to run all the module's declared "
165              "tests. If both the module and the submodule are given, "
166              "the sub-module can be run even if it is not declared in the module.")
167     group = parser.add_mutually_exclusive_group()
168     group.add_argument(
169         '--fast-suite',
170         dest='submodule', action=GuardAction, nargs=0, const='__fast_suite__',
171         help='run only the tests explicitly declared in the fast suite (this '
172         'makes sense only with the bare `module` notation or no module at '
173         'all).')
174     group.add_argument(
175         '--sanity-checks',
176         dest='submodule', action=GuardAction, nargs=0, const='__sanity_checks__',
177         help='run only the sanity check tests')
178     group.add_argument(
179         '--slow-suite',
180         dest='submodule', action=GuardAction, nargs=0, const='__slow_suite__',
181         help="Only run slow tests (tests which are neither in the fast nor in"
182              " the sanity suite)")
183     parser.add_argument('--dry-run', action='store_true',
184         help='do not run the tests')
185
186     parser.set_defaults(run=run, submodule=None)
187
188 class ModuleAction(argparse.Action):
189     def __call__(self, parser, namespace, values, option_string=None):
190         split = values.split('.')
191         if len(split) == 1:
192             module, submodule = values, None
193         elif len(split) == 2:
194             module, submodule = split
195         else:
196             raise argparse.ArgumentError(
197                 option_string,
198                 "must have the form 'module[.submodule]', got '%s'" % values)
199
200         setattr(namespace, self.dest, module)
201         if submodule is not None:
202             setattr(namespace, 'submodule', submodule)
203
204 class GuardAction(argparse.Action):
205     def __call__(self, parser, namespace, values, option_string=None):
206         if getattr(namespace, self.dest, None):
207             print "%s value provided, ignoring '%s'" % (self.dest, option_string)
208             return
209         setattr(namespace, self.dest, self.const)