init-repository

   1 #!/usr/bin/env perl
   2 #############################################################################
   3 ##
   4 ## Copyright (C) 2012 Nokia Corporation and/or its subsidiary(-ies).
   5 ## All rights reserved.
   6 ## Contact: Nokia Corporation (qt-info@nokia.com)
   7 ##
   8 ## This file is part of the utilities of the Qt Toolkit.
   9 ##
  10 ## $QT_BEGIN_LICENSE:LGPL$
  11 ## GNU Lesser General Public License Usage
  12 ## This file may be used under the terms of the GNU Lesser General Public
  13 ## License version 2.1 as published by the Free Software Foundation and
  14 ## appearing in the file LICENSE.LGPL included in the packaging of this
  15 ## file. Please review the following information to ensure the GNU Lesser
  16 ## General Public License version 2.1 requirements will be met:
  17 ## http://www.gnu.org/licenses/old-licenses/lgpl-2.1.html.
  18 ##
  19 ## In addition, as a special exception, Nokia gives you certain additional
  20 ## rights. These rights are described in the Nokia Qt LGPL Exception
  21 ## version 1.1, included in the file LGPL_EXCEPTION.txt in this package.
  22 ##
  23 ## GNU General Public License Usage
  24 ## Alternatively, this file may be used under the terms of the GNU General
  25 ## Public License version 3.0 as published by the Free Software Foundation
  26 ## and appearing in the file LICENSE.GPL included in the packaging of this
  27 ## file. Please review the following information to ensure the GNU General
  28 ## Public License version 3.0 requirements will be met:
  29 ## http://www.gnu.org/copyleft/gpl.html.
  30 ##
  31 ## Other Usage
  32 ## Alternatively, this file may be used in accordance with the terms and
  33 ## conditions contained in a signed written agreement between you and Nokia.
  34 ##
  35 ##
  36 ##
  37 ##
  38 ##
  39 ## $QT_END_LICENSE$
  40 ##
  41 #############################################################################
  42
  43 use v5.10;
  44 use strict;
  45 use warnings;
  46
  47 package Qt::InitRepository;
  48
  49
  50 =head1 NAME
  51
  52 init-repository - initialize the Qt5 repository and all submodules
  53
  54 =head1 SYNOPSIS
  55
  56   ./init-repository [options]
  57
  58 This script may be run after an initial `git clone' of Qt5 in order to check
  59 out all submodules.
  60
  61
  62 =head1 OPTIONS
  63
  64 B<Global options:>
  65
  66 =over
  67
  68 =item --force, -f
  69
  70 Force initialization (even if the submodules are already checked out).
  71
  72
  73 =item --quiet, -q
  74
  75 Be quiet.  Will exit cleanly if the repository is already initialized.
  76
  77 =back
  78
  79
  80 B<Module options:>
  81
  82 =over
  83
  84 =item --no-webkit
  85
  86 Skip webkit and webkit examples submodules.
  87 It may be desirable to skip these modules due to the large size of the webkit
  88 git repository.
  89
  90 =item --module-subset=<module1>,<module2>...
  91
  92 Only initialize the specified subset of modules given as the argument. Specified
  93 modules must already exist in .gitmodules.
  94
  95 =item --no-update
  96
  97 Skip the `git submodule update' command.
  98
  99
 100 =item --ignore-submodules
 101
 102 Set git config to ignore submodules by default when doing operations on the
 103 qt5 repo, such as `pull', `fetch', `diff' etc.
 104
 105 This option is default for --nokia-developer/--brisbane.
 106
 107 After using this option, pass `--ignore-submodules=none' to git to override
 108 it as needed.
 109
 110 =back
 111
 112
 113 B<Repository options:>
 114
 115 =over
 116
 117 =item --nokia-developer
 118
 119 Switch to internal Nokia URLs.
 120
 121
 122 =item --brisbane
 123
 124 Switch to internal Nokia URLs and make use of the Brisbane git mirrors.
 125 (Implies `--mirror' and `--mirror-webkit').
 126
 127 =item --berlin
 128
 129 Switch to internal Nokia URLs and make use of the Berlin git mirrors.
 130 (Implies `--mirror' and `--mirror-webkit').
 131
 132
 133 =item --ssh
 134
 135 Use the SSH protocol for git operations.  This may be useful if the git
 136 protocol is blocked by a firewall. Note that this requires a user account
 137 with an uploaded SSH key on all servers used.  (Implies `--nokia-developer').
 138
 139 The `--ssh' option does not affect the gerrit remotes.
 140
 141
 142 =item --http
 143
 144 Use the HTTP protocol for git operations.  This may be useful if the git
 145 protocol is blocked by a firewall.  Note that this only works with the
 146 external Gitorious server.
 147
 148 The `--http' option does not affect the gerrit remotes.
 149
 150
 151 =item --codereview-username <Gerrit/JIRA username>
 152
 153 Specify the user name for the (potentially) writable `gerrit' remote
 154 for each module, for use with the Gerrit code review tool.
 155
 156 If this option is omitted, the gerrit remote is created without a username
 157 and port number, and thus relies on a correct SSH configuration.
 158
 159
 160 =item --alternates <path to other Qt5 repo>
 161
 162 Adds alternates for each submodule to another full qt5 checkout. This makes
 163 this qt5 checkout very small, as it will use the object store of the
 164 alternates before unique objects are stored in its own object store.
 165
 166 This option has no effect when using `--no-update'.
 167
 168 B<NOTE:> This will make this repo dependent on the alternate, which is
 169 potentially dangerous!  The dependency can be broken by also using
 170 the `--copy-objects' option, or by running C<git repack -a> in each
 171 submodule, where required.  Please read the note about the `--shared' option
 172 in the documentation of `git clone' for more information.
 173
 174
 175 =item --copy-objects
 176
 177 When `--alternates' is used, automatically do a C<git repack -a> in each
 178 submodule after cloning, to ensure that the repositories are independent
 179 from the source used as a reference for cloning.
 180
 181 Note that this negates the disk usage benefits gained from the use of
 182 `--alternates'.
 183
 184
 185 =item --mirror <url-base>
 186
 187 Uses <url-base> as the base URL for submodule git mirrors.
 188
 189 For example:
 190
 191   --mirror user@machine:/foo/bar
 192
 193 ...will use the following as a mirror for qtbase:
 194
 195   user@machine:/foo/bar/qtbase.git
 196
 197
 198 =item --mirror-webkit <url>
 199
 200 Uses <url> as the URL for the webkit git mirror.
 201
 202 =item --mirror-v8 <url>
 203
 204 Uses <url> as the URL for the V8 git mirror.
 205
 206 =back
 207
 208 =cut
 209
 210 use Carp         qw( confess             );
 211 use English      qw( -no_match_vars      );
 212 use Getopt::Long qw( GetOptionsFromArray );
 213 use Pod::Usage   qw( pod2usage           );
 214 use Cwd          qw( getcwd              );
 215
 216 my %PROTOCOLS = (
 217     'internal'  => 'git://scm.dev.nokia.troll.no/' ,
 218     'ssh'       => 'git@scm.dev.nokia.troll.no:'   ,
 219     'http'      => 'http://git.gitorious.org/'     ,
 220 );
 221
 222 my %GERRIT_REPOS = map { $_ => "qt/$_" } qw(
 223     qt3d
 224     qt5
 225     qlalr
 226     qtactiveqt
 227     qtbase
 228     qtconnectivity
 229     qtdeclarative
 230     qtdoc
 231     qtdocgallery
 232     qtfeedback
 233     qtjsondb
 234     qtlocation
 235     qtmultimedia
 236     qtphonon
 237     qtpim
 238     qtqa
 239     qtrepotools
 240     qtscript
 241     qtsensors
 242     qtsvg
 243     qtsystems
 244     qttools
 245     qttranslations
 246     qtwayland
 247     qtwebkit-examples-and-demos
 248     qtxmlpatterns
 249 );
 250 $GERRIT_REPOS{qtquick3d} = "qt/quick3d";
 251
 252 # Protocol-specific repo overrides, if they differ from the values set in the git submodule config
 253 # (e.g. because public vs private names differ for whatever reason)
 254 my %PROTOCOL_REPOS = (
 255     qtquick3d   =>  {
 256         internal    =>  "qt/quick3d",   # instead of qt-quick3d/qt-quick3d on gitorious
 257         ssh         =>  "qt/quick3d",
 258     },
 259 );
 260
 261 my $GERRIT_SSH_BASE
 262     = 'ssh://@USER@codereview.qt-project.org@PORT@/';
 263
 264 my $BNE_MIRROR_URL_BASE
 265     = 'git://bq-git.apac.nokia.com/qtsoftware/';
 266
 267 my $BNE_MIRROR_WEBKIT_URL
 268     = 'git://bq-git.apac.nokia.com/qtsoftware/research/gitorious-org-webkit-qtwebkit-mirror.git';
 269
 270 my $BNE_MIRROR_V8_URL
 271     = 'git://bq-git.apac.nokia.com/github/v8.git';
 272
 273 my $BER_MIRROR_URL_BASE
 274     = 'git://ber-git.europe.nokia.com/';
 275
 276 my $BER_MIRROR_WEBKIT_URL
 277     = 'git://ber-git.europe.nokia.com/qtwebkit/qtwebkit.git';
 278
 279
 280 sub new
 281 {
 282     my ($class, @arguments) = @_;
 283
 284     my $self = {};
 285     bless $self, $class;
 286     $self->parse_arguments(@arguments);
 287
 288     return $self;
 289 }
 290
 291 # Like `system', but possibly log the command, and die on non-zero exit code
 292 sub exe
 293 {
 294     my ($self, @cmd) = @_;
 295
 296     if (!$self->{quiet}) {
 297         print "+ @cmd\n";
 298     }
 299
 300     if (system(@cmd) != 0) {
 301         confess "@cmd exited with status $CHILD_ERROR";
 302     }
 303
 304     return;
 305 }
 306
 307 sub parse_arguments
 308 {
 309     my ($self, @args) = @_;
 310
 311     %{$self} = (%{$self},
 312         'alternates'          => "",
 313         'codereview-username' => "",
 314         'detach-alternates'   => 0 ,
 315         'force'               => 0 ,
 316         'ignore-submodules'   => 0 ,
 317         'mirror-url'          => "",
 318         'mirror-webkit-url'   => "",
 319         'mirror-v8-url'       => "",
 320         'nokia-developer'     => 0 ,
 321         'protocol'            => "",
 322         'update'              => 1 ,
 323         'webkit'              => 1 ,
 324         'module-subset'       => "",
 325     );
 326
 327     GetOptionsFromArray(\@args,
 328         'alternates=s'      =>  \$self->{qw{ alternates        }},
 329         'codereview-username=s' => \$self->{qw{ codereview-username }},
 330         'copy-objects'      =>  \$self->{qw{ detach-alternates }},
 331         'force'             =>  \$self->{qw{ force             }},
 332         'ignore-submodules' =>  \$self->{qw{ ignore-submodules }},
 333         'mirror-webkit=s'   =>  \$self->{qw{ mirror-webkit-url }},
 334         'mirror-v8=s'       =>  \$self->{qw{ mirror-v8-url     }},
 335         'mirror=s'          =>  \$self->{qw{ mirror-url        }},
 336         'nokia-developer'   =>  \$self->{qw{ nokia-developer   }},
 337         'quiet'             =>  \$self->{qw{ quiet             }},
 338         'update!'           =>  \$self->{qw{ update            }},
 339         'webkit!'           =>  \$self->{qw{ webkit            }},
 340         'module-subset=s'   =>  \$self->{qw{ module-subset     }},
 341
 342         'help|?'            =>  sub { pod2usage(1);               },
 343         'http'              =>  sub { $self->{protocol} = 'http'; },
 344         'ssh|ssh-protocol'  =>  sub { $self->{protocol} = 'ssh';  },
 345
 346         'brisbane|brisbane-nokia-developer' => sub {
 347             $self->{'nokia-developer'}   = 1;
 348             $self->{'protocol'}          = 'internal';
 349             $self->{'mirror-url'}        = $BNE_MIRROR_URL_BASE;
 350             $self->{'mirror-v8-url'}     = $BNE_MIRROR_V8_URL;
 351             $self->{'mirror-webkit-url'} = $BNE_MIRROR_WEBKIT_URL;
 352             $self->{'ignore-submodules'} = 1;
 353         },
 354
 355         'berlin|berlin-nokia-developer' => sub {
 356             $self->{'nokia-developer'}   = 1;
 357             $self->{'protocol'}          = 'internal';
 358             $self->{'mirror-url'}        = $BER_MIRROR_URL_BASE;
 359             $self->{'mirror-webkit-url'} = $BER_MIRROR_WEBKIT_URL;
 360         },
 361
 362         'nokia-developer' => sub {
 363             $self->{'nokia-developer'}   = 1;
 364             $self->{'protocol'}          = 'internal';
 365             $self->{'ignore-submodules'} = 1;
 366         },
 367     ) || pod2usage(2);
 368
 369     if ($self->{'nokia-developer'} && $self->{'protocol'} eq 'http') {
 370         print "*** Ignoring use of HTTP protocol, as it's only usable with external server\n";
 371         $self->{'protocol'} = '';
 372     }
 373
 374     # Replace any double trailing slashes from end of mirror
 375     $self->{'mirror-url'} =~ s{//+$}{/};
 376
 377     if ($self->{'module-subset'}) {
 378         $self->{'module-subset'} = {
 379             map { $_ => 1 } split(qr{,}, $self->{'module-subset'})
 380         };
 381     }
 382
 383     return;
 384 }
 385
 386 sub check_if_already_initialized
 387 {
 388     my ($self) = @_;
 389
 390     # We consider the repo as `initialized' if submodule.qtbase.url is set
 391     if (qx(git config --get submodule.qtbase.url)) {
 392         if ($self->{force}) {
 393             my @configresult = qx(git config -l);
 394             foreach (@configresult) {
 395                 # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
 396                 if (/(submodule\.[^.=]+)\.url=.*/) {
 397                     $self->exe('git', 'config', '--remove-section', $1);
 398                 }
 399             }
 400         }
 401         else {
 402             exit 0 if ($self->{quiet});
 403             print "Will not reinitialize already initialized repository (use -f to force)!\n";
 404             exit 1;
 405         }
 406     }
 407
 408     return;
 409 }
 410
 411 sub git_submodule_init
 412 {
 413     my ($self) = @_;
 414
 415     my @init_args;
 416     if ($self->{quiet}) {
 417         push @init_args, '--quiet';
 418     }
 419     $self->exe('git', 'submodule', 'init', @init_args);
 420
 421     my $template = getcwd()."/.commit-template";
 422     if (-e $template) {
 423         $self->exe('git', 'config', 'commit.template', $template);
 424     }
 425
 426     return;
 427 }
 428
 429 sub git_disable_webkit_submodule
 430 {
 431     my ($self) = @_;
 432
 433     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit');
 434     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit-examples-and-demos');
 435
 436     return;
 437 }
 438
 439 sub git_prune_submodules
 440 {
 441     my ($self) = @_;
 442
 443     my @configresult = qx(git config -l);
 444     foreach my $line (@configresult) {
 445         if ($line =~ /submodule\.([^.=]+)\.url=/) {
 446             my $module_name = $1;
 447             if (!$self->{'module-subset'}{$module_name}) {
 448                 $self->exe('git', 'config', '--remove', "submodule.$module_name");
 449             }
 450         }
 451     }
 452 }
 453
 454 sub git_set_submodule_config
 455 {
 456     my ($self) = @_;
 457
 458     my @configresult          = qx(git config -l);
 459     my $protocol              = $self->{protocol};
 460     my $url_base_for_protocol = $PROTOCOLS{$protocol};
 461
 462     foreach my $line (@configresult) {
 463         # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
 464         next if ($line !~ /submodule\.([^.=]+)\.url=(.*)/);
 465
 466         my $key   = $1;
 467         my $value = $2;
 468
 469         if ($protocol) {
 470             # WebKit is special, and has only external link.
 471             if ($key ne 'qtwebkit' and $key ne 'qt3d') {
 472                 # qt-labs projects are still hosted under qt internally.
 473                 if ($protocol ne 'http') {
 474                     $value =~ s,^git://gitorious\.org/qt-labs/,${url_base_for_protocol}qt/,;
 475                 }
 476
 477                 if ($PROTOCOL_REPOS{$key}->{$protocol}) {
 478                     # If this repo has an explicitly set basename for this protocol, use it...
 479                     # e.g.   'git@example.com:'     . 'qt/quick3d'
 480                     $value = $url_base_for_protocol . $PROTOCOL_REPOS{$key}->{$protocol};
 481                 }
 482                 else {
 483                     # ...otherwise, assume the selected protocol uses same naming structure
 484                     # as gitorious.org
 485                     # e.g. git://gitorious.org/qt/qt5 => git@example.com:qt/qt5
 486                     $value =~ s,^git://gitorious\.org/,$url_base_for_protocol,;
 487                 }
 488             }
 489         }
 490
 491         $self->exe('git', 'config', "submodule.$key.url", $value);
 492
 493         if ($self->{'ignore-submodules'}) {
 494             $self->exe('git', 'config', "submodule.$key.ignore", 'all');
 495         }
 496     }
 497
 498     return;
 499 }
 500
 501 sub git_clone_all_submodules
 502 {
 503     my ($self) = @_;
 504
 505     # manually clone each repo here, so we can easily use reference repos, mirrors etc
 506     my @configresult = qx(git config -l);
 507     foreach my $line (@configresult) {
 508         if ($line =~ /submodule\.([^.=]+)\.url=(.*)/) {
 509             $self->git_clone_one_submodule($1, $2);
 510         }
 511     }
 512
 513     $self->exe('git', 'submodule', 'update', '--recursive');
 514
 515     return;
 516 }
 517
 518 sub git_add_remotes
 519 {
 520     my ($self, $repo_basename) = @_;
 521
 522     my $gerrit_repo_basename = $GERRIT_REPOS{$repo_basename};
 523     if ($gerrit_repo_basename) {
 524         my $gerrit_repo_url;
 525
 526         # If given a username, make a "verbose" remote.
 527         # Otherwise, rely on proper SSH configuration.
 528         if ($self->{'codereview-username'}) {
 529             $gerrit_repo_url = $GERRIT_SSH_BASE;
 530             $gerrit_repo_url =~ s,\@USER\@,$self->{'codereview-username'}\@,;
 531             $gerrit_repo_url =~ s,\@PORT\@,:29418,;
 532         }
 533         else {
 534             $gerrit_repo_url = $GERRIT_SSH_BASE;
 535             $gerrit_repo_url =~ s,\@[^\@]+\@,,g;
 536         }
 537
 538         $gerrit_repo_url .= $gerrit_repo_basename;
 539         $self->exe('git', 'config', 'remote.gerrit.url', $gerrit_repo_url);
 540         $self->exe('git', 'config', 'remote.gerrit.fetch', '+refs/heads/*:refs/remotes/gerrit/*');
 541     }
 542
 543     return;
 544 }
 545
 546 sub git_clone_one_submodule
 547 {
 548     my ($self, $submodule, $url) = @_;
 549
 550     my $alternates            = $self->{ 'alternates'        };
 551     my $mirror_url            = $self->{ 'mirror-url'        };
 552     my $mirror_webkit_url     = $self->{ 'mirror-webkit-url' };
 553     my $mirror_v8_url         = $self->{ 'mirror-v8-url'     };
 554     my $protocol              = $self->{ 'protocol'          };
 555
 556     # `--reference FOO' args for the clone, if any.
 557     my @reference_args;
 558
 559     if ($alternates) {
 560         # alternates is a qt5 repo, so the submodule will be under that.
 561         if (-d "$alternates/$submodule") {
 562             @reference_args = ('--reference', "$alternates/$submodule");
 563         }
 564         else {
 565             print " *** $alternates/$submodule not found, ignoring alternate for this submodule\n";
 566         }
 567     }
 568
 569     my $mirror;
 570     if ($mirror_url && ($submodule ne 'qtwebkit')) {
 571         $mirror = $mirror_url.( $PROTOCOL_REPOS{$submodule}->{internal} // "qt/$submodule" );
 572         $mirror .= ".git" unless (-d $mirror); # Support local disk mirror
 573     }
 574     elsif ($mirror_webkit_url && ($submodule eq 'qtwebkit')) {
 575         $mirror = $mirror_webkit_url;
 576     }
 577     if ($mirror && ($submodule eq 'qt3d')) {
 578         $mirror =~ s/qtsoftware/gitorious/ ;
 579     }
 580
 581     my $do_clone = (! -d "$submodule/.git");
 582     if ($do_clone) {
 583         $self->exe('git', 'clone', @reference_args, ($mirror ? $mirror : $url), $submodule);
 584     }
 585
 586     chdir($submodule) or confess "chdir $submodule: $OS_ERROR";
 587
 588     $self->exe('git', 'config', 'remote.origin.url', $url);
 589     if ($mirror) {
 590         $self->exe('git', 'config', 'remote.mirror.url', $mirror);
 591         $self->exe('git', 'config', 'remote.mirror.fetch', '+refs/heads/*:refs/remotes/mirror/*');
 592     }
 593
 594     if (!$do_clone) {
 595         $self->exe('git', 'fetch', ($mirror ? $mirror : $url));
 596     }
 597
 598     my $template = getcwd()."/../.commit-template";
 599     if (-e $template) {
 600         $self->exe('git', 'config', 'commit.template', $template);
 601     }
 602
 603     $self->git_add_remotes($submodule);
 604
 605     if ($self->{'detach-alternates'}) {
 606         $self->exe('git', 'repack', '-a');
 607
 608         my $alternates_path = '.git/objects/info/alternates';
 609         unlink($alternates_path) || confess "unlink $alternates_path: $OS_ERROR";
 610     }
 611
 612     if ($submodule eq "qtbase" || $submodule eq "qtdeclarative") { #Extra steps needed to setup base and declarative
 613         $self->exe('git', 'submodule', 'init');
 614         if ($mirror_v8_url || $protocol eq 'http') {
 615             my @configresult = qx(git config -l);
 616             my $v8url;
 617             foreach my $line (@configresult) {
 618                 # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
 619                 next if ($line !~ /submodule.src\/3rdparty\/v8.url=(.*)/);
 620                 $v8url = $1;
 621             }
 622
 623             if ($v8url) {
 624                 if ($protocol eq 'http') {
 625                     # rewrite the git:// url to https://
 626                     if ($v8url =~ s{^git://github}{https://github}) {
 627                         $self->exe('git', 'config', 'submodule.src/3rdparty/v8.url', $v8url);
 628                     }
 629                     else {
 630                         warn 'You requested git over http, but I could not figure out how to '
 631                             ."rewrite v8's giturl of $v8url";
 632                     }
 633                 }
 634
 635                 if ($mirror_v8_url && $do_clone) {
 636                     chdir('src/3rdparty/') or confess "chdir $submodule/src/3rdparty: $OS_ERROR";
 637                     $self->exe('git', 'clone', $mirror_v8_url, 'v8');
 638                     chdir('v8') or confess "chdir $submodule/src/3rdparty/v8: $OS_ERROR";
 639                     $self->exe('git', 'config', 'remote.origin.url', $v8url);
 640                     chdir('../../..') or confess "cd ../../..: $OS_ERROR";
 641                 }
 642             }
 643         }
 644         $self->exe('git', 'submodule', 'update');
 645     }
 646
 647     chdir("..") or confess "cd ..: $OS_ERROR";
 648
 649     return;
 650 }
 651
 652 sub run
 653 {
 654     my ($self) = @_;
 655
 656     $self->check_if_already_initialized;
 657     $self->git_submodule_init;
 658
 659     if (!$self->{webkit}) {
 660         $self->git_disable_webkit_submodule;
 661     }
 662
 663     if ($self->{'module-subset'}) {
 664         $self->git_prune_submodules;
 665     }
 666
 667     $self->git_set_submodule_config;
 668
 669     if ($self->{update}) {
 670         $self->git_clone_all_submodules;
 671     }
 672
 673     $self->git_add_remotes('qt5');
 674
 675     return;
 676 }
 677
 678 #==============================================================================
 679
 680 Qt::InitRepository->new(@ARGV)->run if (!caller);
 681 1;