init-repository

   1 #!/usr/bin/env perl
   2 #############################################################################
   3 ##
   4 ## Copyright (C) 2011 Nokia Corporation and/or its subsidiary(-ies).
   5 ## All rights reserved.
   6 ## Contact: Nokia Corporation (qt-info@nokia.com)
   7 ##
   8 ## This file is part of the utilities of the Qt Toolkit.
   9 ##
  10 ## $QT_BEGIN_LICENSE:LGPL$
  11 ## No Commercial Usage
  12 ## This file contains pre-release code and may not be distributed.
  13 ## You may use this file in accordance with the terms and conditions
  14 ## contained in the Technology Preview License Agreement accompanying
  15 ## this package.
  16 ##
  17 ## GNU Lesser General Public License Usage
  18 ## Alternatively, this file may be used under the terms of the GNU Lesser
  19 ## General Public License version 2.1 as published by the Free Software
  20 ## Foundation and appearing in the file LICENSE.LGPL included in the
  21 ## packaging of this file.  Please review the following information to
  22 ## ensure the GNU Lesser General Public License version 2.1 requirements
  23 ## will be met: http://www.gnu.org/licenses/old-licenses/lgpl-2.1.html.
  24 ##
  25 ## In addition, as a special exception, Nokia gives you certain additional
  26 ## rights.  These rights are described in the Nokia Qt LGPL Exception
  27 ## version 1.1, included in the file LGPL_EXCEPTION.txt in this package.
  28 ##
  29 ## If you have questions regarding the use of this file, please contact
  30 ## Nokia at qt-info@nokia.com.
  31 ##
  32 ##
  33 ##
  34 ##
  35 ##
  36 ##
  37 ##
  38 ##
  39 ## $QT_END_LICENSE$
  40 ##
  41 #############################################################################
  42
  43 use strict;
  44 use warnings;
  45
  46 package Qt::InitRepository;
  47
  48
  49 =head1 NAME
  50
  51 init-repository - initialize the Qt5 repository and all submodules
  52
  53 =head1 SYNOPSIS
  54
  55   ./init-repository [options]
  56
  57 This script may be run after an initial `git clone' of Qt5 in order to check
  58 out all submodules.
  59
  60
  61 =head1 OPTIONS
  62
  63 B<Global options:>
  64
  65 =over
  66
  67 =item --force, -f
  68
  69 Force initialization (even if the submodules are already checked out).
  70
  71
  72 =item --quiet, -q
  73
  74 Be quiet.  Will exit cleanly if the repository is already initialized.
  75
  76 =back
  77
  78
  79 B<Module options:>
  80
  81 =over
  82
  83 =item --no-webkit
  84
  85 Skip webkit and webkit examples submodules.
  86 It may be desirable to skip these modules due to the large size of the webkit
  87 git repository.
  88
  89
  90 =item --no-update
  91
  92 Skip the `git submodule update' command.
  93
  94
  95 =item --ignore-submodules
  96
  97 Set git config to ignore submodules by default when doing operations on the
  98 qt5 repo, such as `pull', `fetch', `diff' etc.
  99
 100 After using this option, pass `--ignore-submodules=none' to git to override
 101 it as needed.
 102
 103 =back
 104
 105
 106 B<Repository options:>
 107
 108 =over
 109
 110 =item --nokia-developer
 111
 112 Switch to internal Nokia URLs.
 113
 114
 115 =item --brisbane
 116
 117 Switch to internal Nokia URLs and make use of the Brisbane git mirrors.
 118 (Implies `--mirror' and `--mirror-webkit').
 119
 120
 121 =item --ssh
 122
 123 Use the SSH protocol for git operations.  This may be useful if the git
 124 protocol is blocked by a firewall. Note that this requires a user account
 125 with an uploaded SSH key on all servers used.  (Implies `--nokia-developer').
 126
 127
 128 =item --http
 129
 130 Use the HTTP protocol for git operations.  This may be useful if the git
 131 protocol is blocked by a firewall.  Note that this only works with the
 132 external Gitorious server.
 133
 134
 135 =item --alternates <path to other Qt5 repo>
 136
 137 Adds alternates for each submodule to another full qt5 checkout. This makes
 138 this qt5 checkout very small, as it will use the object store of the
 139 alternates before unique objects are stored in its own object store.
 140
 141 This option has no effect when using `--no-update'.
 142
 143 B<NOTE:> This will make this repo dependent on the alternate, which is
 144 potentially dangerous!  The dependency can be broken by also using
 145 the `--copy-objects' option, or by running C<git repack -a> in each
 146 submodule, where required.  Please read the note about the `--shared' option
 147 in the documentation of `git clone' for more information.
 148
 149
 150 =item --copy-objects
 151
 152 When `--alternates' is used, automatically do a C<git repack -a> in each
 153 submodule after cloning, to ensure that the repositories are independent
 154 from the source used as a reference for cloning.
 155
 156 Note that this negates the disk usage benefits gained from the use of
 157 `--alternates'.
 158
 159
 160 =item --mirror <url-base>
 161
 162 Uses <url-base> as the base URL for submodule git mirrors.
 163
 164 For example:
 165
 166   --mirror user@machine:/foo/bar
 167
 168 ...will use the following as a mirror for qtbase:
 169
 170   user@machine:/foo/bar/qtbase.git
 171
 172
 173 =item --mirror-webkit <url>
 174
 175 Uses <url> as the URL for the webkit git mirror.
 176
 177 =back
 178
 179 =cut
 180
 181 use Carp         qw( confess             );
 182 use English      qw( -no_match_vars      );
 183 use Getopt::Long qw( GetOptionsFromArray );
 184 use Pod::Usage   qw( pod2usage           );
 185 use Cwd          qw( getcwd              );
 186
 187 my %PROTOCOLS = (
 188     'internal'  => 'git://scm.dev.nokia.troll.no/' ,
 189     'ssh'       => 'git@scm.dev.nokia.troll.no:'   ,
 190     'http'      => 'http://git.gitorious.org/'     ,
 191 );
 192
 193 my %STAGING_REPOS = map { $_ => "git://gitorious.org/qt/$_.git" } qw(
 194     qt5-staging
 195     qt3support-staging
 196     qtactiveqt-staging
 197     qtbase-earth-staging
 198     qtbase-staging
 199     qtdeclarative-staging
 200     qtdoc-staging
 201     qtmultimedia-staging
 202     qtphonon-staging
 203     qtqa-staging
 204     qtscript-staging
 205     qtsvg-staging
 206     qttools-staging
 207     qttranslations-staging
 208     qtwebkit-examples-and-demos-staging
 209     qtxmlpatterns-staging
 210     qtlocation-staging
 211 );
 212
 213 my $BNE_MIRROR_URL_BASE
 214     = 'git://bq-git.apac.nokia.com/qtsoftware/qt/';
 215
 216 my $BNE_MIRROR_WEBKIT_URL
 217     = 'git://bq-git.apac.nokia.com/qtsoftware/research/gitorious-org-webkit-qtwebkit-mirror.git';
 218
 219 sub new
 220 {
 221     my ($class, @arguments) = @_;
 222
 223     my $self = {};
 224     bless $self, $class;
 225     $self->parse_arguments(@arguments);
 226
 227     return $self;
 228 }
 229
 230 # Like `system', but possibly log the command, and die on non-zero exit code
 231 sub exe
 232 {
 233     my ($self, @cmd) = @_;
 234
 235     if (!$self->{quiet}) {
 236         print "+ @cmd\n";
 237     }
 238
 239     if (system(@cmd) != 0) {
 240         confess "@cmd exited with status $CHILD_ERROR";
 241     }
 242
 243     return;
 244 }
 245
 246 sub parse_arguments
 247 {
 248     my ($self, @args) = @_;
 249
 250     %{$self} = (%{$self},
 251         'alternates'          => "",
 252         'detach-alternates'   => 0 ,
 253         'force'               => 0 ,
 254         'ignore-submodules'   => 0 ,
 255         'mirror-url'          => "",
 256         'mirror-webkit-url'   => "",
 257         'nokia-developer'     => 0 ,
 258         'protocol'            => "",
 259         'update'              => 1 ,
 260         'webkit'              => 1 ,
 261     );
 262
 263     GetOptionsFromArray(\@args,
 264         'alternates=s'      =>  \$self->{qw{ alternates        }},
 265         'copy-objects'      =>  \$self->{qw{ detach-alternates }},
 266         'force'             =>  \$self->{qw{ force             }},
 267         'ignore-submodules' =>  \$self->{qw{ ignore_submodules }},
 268         'mirror-webkit=s'   =>  \$self->{qw{ mirror-webkit-url }},
 269         'mirror=s'          =>  \$self->{qw{ mirror-url        }},
 270         'nokia-developer'   =>  \$self->{qw{ nokia-developer   }},
 271         'quiet'             =>  \$self->{qw{ quiet             }},
 272         'update!'           =>  \$self->{qw{ update            }},
 273         'webkit!'           =>  \$self->{qw{ webkit            }},
 274
 275         'help|?'            =>  sub { pod2usage(1);               },
 276         'http'              =>  sub { $self->{protocol} = 'http'; },
 277         'ssh|ssh-protocol'  =>  sub { $self->{protocol} = 'ssh';  },
 278
 279         'brisbane|brisbane-nokia-developer' => sub {
 280             $self->{'nokia-developer'}   = 1;
 281             $self->{'protocol'}          = 'internal';
 282             $self->{'mirror-url'}        = $BNE_MIRROR_URL_BASE;
 283             $self->{'mirror-webkit-url'} = $BNE_MIRROR_WEBKIT_URL;
 284         },
 285
 286         'nokia-developer' => sub {
 287             $self->{'nokia-developer'}   = 1;
 288             $self->{'protocol'}          = 'internal';
 289         },
 290     ) || pod2usage(2);
 291
 292     if ($self->{'nokia-developer'} && $self->{'protocol'} eq 'http') {
 293         print "*** Ignoring use of HTTP protocol, as it's only usable with external server\n";
 294         $self->{'protocol'} = '';
 295     }
 296
 297     # Replace any double trailing slashes from end of mirror
 298     $self->{'mirror-url'} =~ s{//+$}{/};
 299
 300     return;
 301 }
 302
 303 sub check_if_already_initialized
 304 {
 305     my ($self) = @_;
 306
 307     # We consider the repo as `initialized' if submodule.qtbase.url is set
 308     if (qx(git config --get submodule.qtbase.url)) {
 309         if ($self->{force}) {
 310             my @configresult = qx(git config -l);
 311             foreach (@configresult) {
 312                 # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
 313                 if (/(submodule\.[^.=]+)\.url=.*/) {
 314                     $self->exe('git', 'config', '--remove-section', $1);
 315                 }
 316             }
 317         }
 318         else {
 319             exit 0 if ($self->{quiet});
 320             print "Will not reinitialize already initialized repository (use -f to force)!\n";
 321             exit 1;
 322         }
 323     }
 324
 325     return;
 326 }
 327
 328 sub git_submodule_init
 329 {
 330     my ($self) = @_;
 331
 332     my @init_args;
 333     if ($self->{quiet}) {
 334         push @init_args, '--quiet';
 335     }
 336     $self->exe('git', 'submodule', 'init', @init_args);
 337
 338     my $template = getcwd()."/.commit-template";
 339     if (-e $template) {
 340         $self->exe('git', 'config', 'commit.template', $template);
 341     }
 342
 343     return;
 344 }
 345
 346 sub git_disable_webkit_submodule
 347 {
 348     my ($self) = @_;
 349
 350     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit');
 351     $self->exe('git', 'config', '--remove', 'submodule.qtwebkit-examples-and-demos');
 352
 353     return;
 354 }
 355
 356 sub git_set_submodule_config
 357 {
 358     my ($self) = @_;
 359
 360     my @configresult          = qx(git config -l);
 361     my $protocol              = $self->{protocol};
 362     my $url_base_for_protocol = $PROTOCOLS{$protocol};
 363
 364     GITCONFIG:
 365     foreach my $line (@configresult) {
 366         # Example line: submodule.qtqa.url=git://gitorious.org/qt/qtqa.git
 367         next GITCONFIG if ($line !~ /(submodule\.[^.=]+\.url)=(.*)/);
 368
 369         my $key   = $1;
 370         my $value = $2;
 371
 372         if ($protocol) {
 373             # WebKit is special, and has only external link.
 374             if ($key ne 'submodule.qtwebkit.url') {
 375                 # qt-labs projects are still hosted under qt internally.
 376                 if ($protocol ne 'http') {
 377                     $value =~ s,^git://gitorious\.org/qt-labs/,${url_base_for_protocol}qt/,;
 378                 }
 379                 $value =~ s,^git://gitorious\.org/,$url_base_for_protocol,;
 380             }
 381         }
 382
 383         $self->exe('git', 'config', $key, $value);
 384
 385         if ($self->{'ignore-submodules'}) {
 386             $key =~ s,\.url,.ignore,;
 387             $self->exe('git', 'config', $key, 'all');
 388         }
 389     }
 390
 391     return;
 392 }
 393
 394 sub git_clone_all_submodules
 395 {
 396     my ($self) = @_;
 397
 398     # manually clone each repo here, so we can easily use reference repos, mirrors and
 399     # add all staging repos
 400     my @configresult = qx(git config -l);
 401     foreach my $line (@configresult) {
 402         if ($line =~ /submodule\.([^.=]+)\.url=(.*)/) {
 403             $self->git_clone_one_submodule($1, $2);
 404         }
 405     }
 406
 407     $self->exe('git', 'submodule', 'update');
 408
 409     return;
 410 }
 411
 412 sub git_add_staging_remote
 413 {
 414     my ($self, $repo_basename) = @_;
 415
 416     my $protocol              = $self->{protocol};
 417     my $url_base_for_protocol = $PROTOCOLS{$protocol};
 418
 419     my %current_remotes;
 420     for my $line (qx(git remote show)) {
 421         chomp $line;
 422         $current_remotes{$line} = 1;
 423     }
 424
 425     # We assume that any staging starting with `$repo_basename-' relates to this
 426     # repo.  For example, for the `qtbase' module, `qtbase-staging'
 427     # and `qtbase-earth-staging' are considered as related staging repos.
 428     my @staging = grep { /^\Q$repo_basename\E-/; } keys %STAGING_REPOS;
 429
 430     STAGING:
 431     foreach my $staging_repo (@staging) {
 432         # nothing to do if remote already exists
 433         next STAGING if ($current_remotes{$staging_repo});
 434
 435         my $staging_repo_url = $STAGING_REPOS{$staging_repo};
 436         if ($protocol) {
 437             if ($protocol ne 'http') {
 438                 $staging_repo_url =~ s,^git://gitorious\.org/qt-labs/,${url_base_for_protocol}qt/,;
 439             }
 440             $staging_repo_url =~ s,^git://gitorious\.org/,$url_base_for_protocol,;
 441         }
 442         $self->exe('git', 'remote', 'add', $staging_repo, $staging_repo_url);
 443     }
 444
 445     return;
 446 }
 447
 448 sub git_clone_one_submodule
 449 {
 450     my ($self, $submodule, $url) = @_;
 451
 452     my $alternates            = $self->{ 'alternates'        };
 453     my $mirror_url            = $self->{ 'mirror-url'        };
 454     my $mirror_webkit_url     = $self->{ 'mirror-webkit-url' };
 455
 456     # `--reference FOO' args for the clone, if any.
 457     my @reference_args;
 458
 459     if ($alternates) {
 460         # alternates is a qt5 repo, so the submodule will be under that.
 461         if (-d "$alternates/$submodule") {
 462             @reference_args = ('--reference', "$alternates/$submodule");
 463         }
 464         else {
 465             print " *** $alternates/$submodule not found, ignoring alternate for this submodule\n";
 466         }
 467     }
 468
 469     my $mirror;
 470     if ($mirror_url && ($submodule ne 'qtwebkit')) {
 471         $mirror = $mirror_url.$submodule;
 472         $mirror .= ".git" unless (-d $mirror); # Support local disk mirror
 473     }
 474     elsif ($mirror_webkit_url && ($submodule eq 'qtwebkit')) {
 475         $mirror = $mirror_webkit_url;
 476     }
 477
 478     my $do_clone = (! -d "$submodule/.git");
 479     if ($do_clone) {
 480         $self->exe('git', 'clone', @reference_args, ($mirror ? $mirror : $url), $submodule);
 481     }
 482
 483     chdir($submodule) or confess "chdir $submodule: $OS_ERROR";
 484
 485     if (!$do_clone) {
 486         $self->exe('git', 'fetch', ($mirror ? $mirror : $url));
 487     }
 488
 489     my $template = getcwd()."/../.commit-template";
 490     if (-e $template) {
 491         $self->exe('git', 'config', 'commit.template', $template);
 492     }
 493
 494     if ($mirror) {
 495         $self->exe('git', 'config', 'remote.origin.url', $url);
 496
 497         # In `force' mode, remove the mirror if it already exists,
 498         # since we may be reinitializing the module.
 499         if ($self->{force}) {
 500             eval { $self->exe('git', 'remote', 'rm', 'mirror'); }; # failure is OK
 501         }
 502
 503         $self->exe('git', 'remote', 'add', 'mirror', $mirror);
 504     }
 505
 506     $self->git_add_staging_remote($submodule);
 507
 508     if ($self->{'detach-alternates'}) {
 509         $self->exe('git', 'repack', '-a');
 510
 511         my $alternates_path = '.git/objects/info/alternates';
 512         unlink($alternates_path) || confess "unlink $alternates_path: $OS_ERROR";
 513     }
 514
 515     chdir("..") or confess "cd ..: $OS_ERROR";
 516
 517     return;
 518 }
 519
 520 sub run
 521 {
 522     my ($self) = @_;
 523
 524     $self->check_if_already_initialized;
 525     $self->git_submodule_init;
 526
 527     if (!$self->{webkit}) {
 528         $self->git_disable_webkit_submodule;
 529     }
 530
 531     $self->git_set_submodule_config;
 532
 533     if ($self->{update}) {
 534         $self->git_clone_all_submodules;
 535     }
 536
 537     $self->git_add_staging_remote('qt5');
 538
 539     return;
 540 }
 541
 542 #==============================================================================
 543
 544 Qt::InitRepository->new(@ARGV)->run if (!caller);
 545 1;