2009年05月15日
whois.hansode.org(70/n) - whois情報1000万レコードを目指して
空いたリソース
長い目で観察し、問題点を洗い出し、
パフォーマンスチューニングしたらサーバリソースに余裕が生まれた。
空いたリソースをどうするか…。
そうだ、5文字.com、5文字.netを調べよう。
5文字の組み合わせ
その組み合わせは…
$ echo $((26 ** 5)) 11881376
- 26 → アルファベット26文字
.comと.netなので、更に倍。
$ echo $((26 ** 5 * 2)) 23762752
23,762,752通り…。
(2千3百万)
もしも数字とハイフンを考慮したらとんでもない数値になる。
$ echo $((36 ** 5 * 2)) 120932352
120,932,352通り。
(1億2千万)
目標は1000万越え
目標が1000万エントリなので、
今回のクロール対象はアルファベットの組み合わせ(2千3百万通り) としておこう。
さて、いつクロールし終わるんだろうか…
