init-repository: fixed `--help' with older Pod::Usage (OSX 10.6)
[mirror/qt/qt5.git] / init-repository
1 #!/usr/bin/env perl
2 #############################################################################
3 ##
4 ## Copyright (C) 2011 Nokia Corporation and/or its subsidiary(-ies).
5 ## All rights reserved.
6 ## Contact: Nokia Corporation (qt-info@nokia.com)
7 ##
8 ## This file is part of the utilities of the Qt Toolkit.
9 ##
10 ## $QT_BEGIN_LICENSE:LGPL$
11 ## No Commercial Usage
12 ## This file contains pre-release code and may not be distributed.
13 ## You may use this file in accordance with the terms and conditions
14 ## contained in the Technology Preview License Agreement accompanying
15 ## this package.
16 ##
17 ## GNU Lesser General Public License Usage
18 ## Alternatively, this file may be used under the terms of the GNU Lesser
19 ## General Public License version 2.1 as published by the Free Software
20 ## Foundation and appearing in the file LICENSE.LGPL included in the
21 ## packaging of this file.  Please review the following information to
22 ## ensure the GNU Lesser General Public License version 2.1 requirements
23 ## will be met: http://www.gnu.org/licenses/old-licenses/lgpl-2.1.html.
24 ##
25 ## In addition, as a special exception, Nokia gives you certain additional
26 ## rights.  These rights are described in the Nokia Qt LGPL Exception
27 ## version 1.1, included in the file LGPL_EXCEPTION.txt in this package.
28 ##
29 ## If you have questions regarding the use of this file, please contact
30 ## Nokia at qt-info@nokia.com.
31 ##
32 ##
33 ##
34 ##
35 ##
36 ##
37 ##
38 ##
39 ## $QT_END_LICENSE$
40 ##
41 #############################################################################
42
43 use strict;
44 use warnings;
45
46 package Qt::InitRepository;
47
48
49 =head1 NAME
50
51 init-repository - initialize the Qt5 repository and all submodules
52
53 =head1 SYNOPSIS
54
55   ./init-repository [options]
56
57 This script may be run after an initial `git clone' of Qt5 in order to check
58 out all submodules.
59
60
61 =head1 OPTIONS
62
63 B<Global options:>
64
65 =over
66
67 =item --force, -f
68
69 Force initialization (even if the submodules are already checked out).
70
71
72 =item --quiet, -q
73
74 Be quiet.  Will exit cleanly if the repository is already initialized.
75
76 =back
77
78
79 B<Module options:>
80
81 =over
82
83 =item --no-webkit
84
85 Skip webkit and webkit examples submodules.
86 It may be desirable to skip these modules due to the large size of the webkit
87 git repository.
88
89
90 =item --no-update
91
92 Skip the `git submodule update' command.
93
94
95 =item --ignore-submodules
96
97 Set git config to ignore submodules by default when doing operations on the
98 qt5 repo, such as `pull', `fetch', `diff' etc.
99
100 After using this option, pass `--ignore-submodules=none' to git to override
101 it as needed.
102
103 =back
104
105
106 B<Repository options:>
107
108 =over
109
110 =item --nokia-developer
111
112 Switch to internal Nokia URLs.
113
114
115 =item --brisbane
116
117 Switch to internal Nokia URLs and make use of the Brisbane git mirrors.
118 (Implies `--mirror' and `--mirror-webkit').
119
120
121 =item --ssh
122
123 Use the SSH protocol for git operations.  This may be useful if the git
124 protocol is blocked by a firewall. Note that this requires a user account
125 with an uploaded SSH key on all servers used.  (Implies `--nokia-developer').
126
127
128 =item --http
129
130 Use the HTTP protocol for git operations.  This may be useful if the git
131 protocol is blocked by a firewall.  Note that this only works with the
132 external Gitorious server.
133
134
135 =item --alternates <path to other Qt5 repo>
136
137 Adds alternates for each submodule to another full qt5 checkout. This makes
138 this qt5 checkout very small, as it will use the object store of the
139 alternates before unique objects are stored in its own object store.
140
141 This option has no effect when using `--no-update'.
142
143 B<NOTE:> This will make this repo dependent on the alternate, which is
144 potentially dangerous!  The dependency can be broken by also using
145 the `--copy-objects' option, or by running C<git repack -a> in each
146 submodule, where required.  Please read the note about the `--shared' option
147 in the documentation of `git clone' for more information.
148
149
150 =item --copy-objects
151
152 When `--alternates' is used, automatically do a C<git repack -a> in each
153 submodule after cloning, to ensure that the repositories are independent
154 from the source used as a reference for cloning.
155
156 Note that this negates the disk usage benefits gained from the use of
157 `--alternates'.
158
159
160 =item --mirror <url-base>
161
162 Uses <url-base> as the base URL for submodule git mirrors.
163
164 For example:
165
166   --mirror user@machine:/foo/bar
167
168 ...will use the following as a mirror for qtbase:
169
170   user@machine:/foo/bar/qtbase.git
171
172
173 =item --mirror-webkit <url>
174
175 Uses <url> as the URL for the webkit git mirror.
176
177 =back
178
179 =cut
180
181 use Carp         qw( confess             );
182 use English      qw( -no_match_vars      );
183 use Getopt::Long qw( GetOptionsFromArray );
184 use Pod::Usage   qw( pod2usage           );
185 use Cwd          qw( getcwd              );
186
187 my %PROTOCOLS = (
188     'internal'  => 'git://scm.dev.nokia.troll.no/' ,
189     'ssh'       => 'git@scm.dev.nokia.troll.no:'   ,
190     'http'      => 'http://git.gitorious.org/'     ,
191 );
192
193 my %STAGING_REPOS = map { $_ => "git://gitorious.org/qt/$_.git" } qw(
194     qt5-staging
195     qt3support-staging
196     qtactiveqt-staging
197     qtbase-earth-staging
198     qtbase-staging
199     qtdeclarative-staging
200     qtdoc-staging
201     qtmultimedia-staging
202     qtphonon-staging
203     qtqa-staging
204     qtscript-staging
205     qtsvg-staging
206     qttools-staging
207     qttranslations-staging
208     qtwebkit-examples-and-demos-staging
209     qtxmlpatterns-staging
210     qtlocation-staging
211 );
212
213 my $BNE_MIRROR_URL_BASE
214     = 'git://bq-git.apac.nokia.com/qtsoftware/qt/';
215
216 my $BNE_MIRROR_WEBKIT_URL
217     = 'git://bq-git.apac.nokia.com/qtsoftware/research/gitorious-org-webkit-qtwebkit-mirror.git';
218
219 sub new
220 {
221     my ($class, @arguments) = @_;
222
223     my $self = {};
224     bless $self, $class;
225     $self->parse_arguments(@arguments);
226
227     return $self;
228 }
229
230 # Like `system', but possibly log the command, and die on non-zero exit code
231 sub exe
232 {
233     my ($self, @cmd) = @_;
234
235     if (!$self->{quiet}) {
236         print "+ @cmd\n";
237     }
238
239     if (system(@cmd) != 0) {
240         confess "@cmd exited with status $CHILD_ERROR";
241     }
242
243     return;
244 }
245
246 sub parse_arguments
247 {
248     my ($self, @args) = @_;
249
250     %{$self} = (%{$self},
251         'alternates'          => "",
252         'detach-alternates'   => 0 ,
253         'force'               => 0 ,
254         'ignore-submodules'   => 0 ,
255         'mirror-url'          => "",
256         'mirror-webkit-url'   => "",
257         'nokia-developer'     => 0 ,
258         'protocol'            => "",
259         'update'              => 1 ,
260         'webkit'              => 1 ,
261     );
262
263     GetOptionsFromArray(\@args,
264         'alternates=s'      =>  \$self->{qw{ alternates        }},
265         'copy-objects'      =>  \$self->{qw{ detach-alternates }},
266         'force'             =>  \$self->{qw{ force             }},
267         'ignore-submodules' =>  \$self->{qw{ ignore_submodules }},
268         'mirror-webkit=s'   =>  \$self->{qw{ mirror-webkit-url }},
269         'mirror=s'          =>  \$self->{qw{ mirror-url        }},
270         'nokia-developer'   =>  \$self->{qw{ nokia-developer   }},
271         'quiet'             =>  \$self->{qw{ quiet             }},
272         'update!'           =>  \$self->{qw{ update            }},
273         'webkit!'           =>  \$self->{qw{ webkit            }},
274
275         'help|?'            =>  sub { pod2usage(1);               },
276         'http'              =>  sub { $self->{protocol} = 'http'; },
277         'ssh|ssh-protocol'  =>  sub { $self->{protocol} = 'ssh';  },
278
279         'brisbane|brisbane-nokia-developer' => sub {
280             $self->{'nokia-developer'}   = 1;
281             $self->{'protocol'}          = 'internal';
282             $self->{'mirror-url'}        = $BNE_MIRROR_URL_BASE;
283             $self->{'mirror-webkit-url'} = $BNE_MIRROR_WEBKIT_URL;
284         },
285
286         'nokia-developer' => sub {
287             $self->{'nokia-developer'}   = 1;
288             $self->{'protocol'}          = 'internal';
289         },
290     ) || pod2usage(2);
291
292     if ($self->{'nokia-developer'} && $self->{'protocol'} eq 'http') {
293         print "*** Ignoring use of HTTP protocol, as it's only usable with external server\n";
294         $self->{'protocol'} = '';
295     }
296
297     # Replace any double trailing slashes from end of mirror
298     $self->{'mirror-url'} =~ s{//+$}{/};
299
300     return;
301 }
302
303 sub check_if_already_initialized
304 {
305     my ($self) = @_;
306
307     # We consider the repo as `initialized' if submodule.qtbase.url is set
308     if (qx(git config --get submodule.qtbase.url)) {
309         if ($self->{force}) {
310             my @configresult = qx(git config -l);
311             foreach (@configresult) {
312                 # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
313                 if (/(submodule\.[^.=]+)\.url=.*/) {
314                     $self->exe('git', 'config', '--remove-section', $1);
315                 }
316             }
317         }
318         else {
319             exit 0 if ($self->{quiet});
320             print "Will not reinitialize already initialized repository (use -f to force)!\n";
321             exit 1;
322         }
323     }
324
325     return;
326 }
327
328 sub git_submodule_init
329 {
330     my ($self) = @_;
331
332     my @init_args;
333     if ($self->{quiet}) {
334         push @init_args, '--quiet';
335     }
336     $self->exe('git', 'submodule', 'init', @init_args);
337
338     my $template = getcwd()."/.commit-template";
339     if (-e $template) {
340         $self->exe('git', 'config', 'commit.template', $template);
341     }
342
343     return;
344 }
345
346 sub git_disable_webkit_submodule
347 {
348     my ($self) = @_;
349
350     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit');
351     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit-examples-and-demos');
352
353     return;
354 }
355
356 sub git_set_submodule_config
357 {
358     my ($self) = @_;
359
360     my @configresult          = qx(git config -l);
361     my $protocol              = $self->{protocol};
362     my $url_base_for_protocol = $PROTOCOLS{$protocol};
363
364     GITCONFIG:
365     foreach my $line (@configresult) {
366         # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
367         next GITCONFIG if ($line !~ /(submodule\.[^.=]+\.url)=(.*)/);
368
369         my $key   = $1;
370         my $value = $2;
371
372         if ($protocol) {
373             # WebKit is special, and has only external link.
374             if ($key ne 'submodule.qtwebkit.url') {
375                 # qt-labs projects are still hosted under qt internally.
376                 if ($protocol ne 'http') {
377                     $value =~ s,^git://gitorious\.org/qt-labs/,${url_base_for_protocol}qt/,;
378                 }
379                 $value =~ s,^git://gitorious\.org/,$url_base_for_protocol,;
380             }
381         }
382
383         $self->exe('git', 'config', $key, $value);
384
385         if ($self->{'ignore-submodules'}) {
386             $key =~ s,\.url,.ignore,;
387             $self->exe('git', 'config', $key, 'all');
388         }
389     }
390
391     return;
392 }
393
394 sub git_clone_all_submodules
395 {
396     my ($self) = @_;
397
398     # manually clone each repo here, so we can easily use reference repos, mirrors and
399     # add all staging repos
400     my @configresult = qx(git config -l);
401     foreach my $line (@configresult) {
402         if ($line =~ /submodule\.([^.=]+)\.url=(.*)/) {
403             $self->git_clone_one_submodule($1, $2);
404         }
405     }
406
407     $self->exe('git', 'submodule', 'update');
408
409     return;
410 }
411
412 sub git_add_staging_remote
413 {
414     my ($self, $repo_basename) = @_;
415
416     my $protocol              = $self->{protocol};
417     my $url_base_for_protocol = $PROTOCOLS{$protocol};
418
419     my %current_remotes;
420     for my $line (qx(git remote show)) {
421         chomp $line;
422         $current_remotes{$line} = 1;
423     }
424
425     # We assume that any staging starting with `$repo_basename-' relates to this
426     # repo.  For example, for the `qtbase' module, `qtbase-staging'
427     # and `qtbase-earth-staging' are considered as related staging repos.
428     my @staging = grep { /^\Q$repo_basename\E-/; } keys %STAGING_REPOS;
429
430     STAGING:
431     foreach my $staging_repo (@staging) {
432         # nothing to do if remote already exists
433         next STAGING if ($current_remotes{$staging_repo});
434
435         my $staging_repo_url = $STAGING_REPOS{$staging_repo};
436         if ($protocol) {
437             if ($protocol ne 'http') {
438                 $staging_repo_url =~ s,^git://gitorious\.org/qt-labs/,${url_base_for_protocol}qt/,;
439             }
440             $staging_repo_url =~ s,^git://gitorious\.org/,$url_base_for_protocol,;
441         }
442         $self->exe('git', 'remote', 'add', $staging_repo, $staging_repo_url);
443     }
444
445     return;
446 }
447
448 sub git_clone_one_submodule
449 {
450     my ($self, $submodule, $url) = @_;
451
452     my $alternates            = $self->{ 'alternates'        };
453     my $mirror_url            = $self->{ 'mirror-url'        };
454     my $mirror_webkit_url     = $self->{ 'mirror-webkit-url' };
455
456     # `--reference FOO' args for the clone, if any.
457     my @reference_args;
458
459     if ($alternates) {
460         # alternates is a qt5 repo, so the submodule will be under that.
461         if (-d "$alternates/$submodule") {
462             @reference_args = ('--reference', "$alternates/$submodule");
463         }
464         else {
465             print " *** $alternates/$submodule not found, ignoring alternate for this submodule\n";
466         }
467     }
468
469     my $mirror;
470     if ($mirror_url && ($submodule ne 'qtwebkit')) {
471         $mirror = $mirror_url.$submodule;
472         $mirror .= ".git" unless (-d $mirror); # Support local disk mirror
473     }
474     elsif ($mirror_webkit_url && ($submodule eq 'qtwebkit')) {
475         $mirror = $mirror_webkit_url;
476     }
477
478     my $do_clone = (! -d "$submodule/.git");
479     if ($do_clone) {
480         $self->exe('git', 'clone', @reference_args, ($mirror ? $mirror : $url), $submodule);
481     }
482
483     chdir($submodule) or confess "chdir $submodule: $OS_ERROR";
484
485     if (!$do_clone) {
486         $self->exe('git', 'fetch', ($mirror ? $mirror : $url));
487     }
488
489     my $template = getcwd()."/../.commit-template";
490     if (-e $template) {
491         $self->exe('git', 'config', 'commit.template', $template);
492     }
493
494     if ($mirror) {
495         $self->exe('git', 'config', 'remote.origin.url', $url);
496
497         # In `force' mode, remove the mirror if it already exists,
498         # since we may be reinitializing the module.
499         if ($self->{force}) {
500             eval { $self->exe('git', 'remote', 'rm', 'mirror'); }; # failure is OK
501         }
502
503         $self->exe('git', 'remote', 'add', 'mirror', $mirror);
504     }
505
506     $self->git_add_staging_remote($submodule);
507
508     if ($self->{'detach-alternates'}) {
509         $self->exe('git', 'repack', '-a');
510
511         my $alternates_path = '.git/objects/info/alternates';
512         unlink($alternates_path) || confess "unlink $alternates_path: $OS_ERROR";
513     }
514
515     chdir("..") or confess "cd ..: $OS_ERROR";
516
517     return;
518 }
519
520 sub run
521 {
522     my ($self) = @_;
523
524     $self->check_if_already_initialized;
525     $self->git_submodule_init;
526
527     if (!$self->{webkit}) {
528         $self->git_disable_webkit_submodule;
529     }
530
531     $self->git_set_submodule_config;
532
533     if ($self->{update}) {
534         $self->git_clone_all_submodules;
535     }
536
537     $self->git_add_staging_remote('qt5');
538
539     return;
540 }
541
542 #==============================================================================
543
544 Qt::InitRepository->new(@ARGV)->run if (!caller);
545 1;