« PreviousNext »

Entry

サーバの引越しで数GBのファイルをwgetさせる場合

6GBのファイルをwgetしようとしたのですが、これでなぜかエラーでまったくだめ。上限とかあるのかなぁ?と思ってネットで調べたら、やっぱり同じような経験してる人を多数発見。どうやら2GB以上?だとだめな場合があるらしい。

素直にftpコマンドたたいて取得すれば?と突っ込まれそうですが、セキュリティーの設定変更を依頼したり、いろいろ面倒なことがあるので、自分だけで完結したいなぁと思ったわけです。

で、さらに調べたら、なんとtar.gzを分割できるということが判明。
へぇ...知らなかったなぁ。

【仮に「hoge」というディレクトリを丸ごと別サーバに転送したい場合】

まずはtar.gzで圧縮
tar cvzf hoge.tar.gz hoge

2GB以下なら大丈夫かも、ということで2000MBで分割。
split -b 2000m hoge.tar.gz

すると、xa*というテキストファイルが生成されます。
ファイルサイズが大きければそれなりに時間がかかるみたいです。

次いで、分割ファイルを別サーバからwgetします。
wget -c http://www.hoge.hoge/xaa
wget -c http://www.hoge.hoge/xab
wget -c http://www.hoge.hoge/xac
wget -c http://www.hoge.hoge/xad

wgetできたら、下記コマンドで結合し解凍。
cat xa* > hoge.tar.gz
tar xvzf hoge.tar.gz

ファイルサイズが大きかっただけに全てダウンロードするのに8時間くらいかかってしまいましたが、なんとか成功。めでたし。めでたし。

Page Top

« PreviousNext »