半袖野郎 blog.hansode.org

今更ながら

昨年末にsakuraの契約が切れるので、Amazon EC2へ論理移転を行った。
これで2度目の論理移転。

ドキュメントは未来の自分へのラブレター

開発環境構築手順。
それと、以前論理移転した時に追加した手順。

必要なものは、可能な限りDebianパッケージ化してある。
すると、3つだけで環境構築が終わる。
Debianだと楽でイイね。

$ sudo dpkg --set-selections < ./dpkg.list
$ sudo apt-get install -f
$ svn checkout [ repos uri ]

あとはDBのデータ同期、/etcの設定(apache,mysql)

Amazon EC2で更にオイシイ

Debianパッケージ化してあるおかげで環境構築は楽になる。
Amazon EC2だと、仮想マシンイメージを丸々バックアップが可能だ。

仮想マシンイメージをプライベートイメージとして登録しておけば、
レプリカを手軽にいくつでも起動出来る。

これ以降、ElasticfoxなどでプライベートAMI指定して起動するだけ。
apt-getを実行しなくて良い。

5文字(.com|.net)のクロールが終わった

whois.hansode.org(71/n) - whois情報1000万レコード超え から約3ヶ月。
ようやく5文字(.com|.net)のクロールが終わった。

▼2009/09/20 12:55現在

只今の蓄積WHOIS情報数：
28,655,964 WHOIS!!

さて、次は何をしようか。

気付いたら1000万超えしていた

whois.hansode.org(70/n) - whois情報1000万レコードを目指して で1000万超え宣言した。
そして、気付いたら1000万を超えていた…。

▼2009/06/29 14:45現在

只今の蓄積WHOIS情報数：
11,809,033 WHOIS!!

1文字目がa〜gまでのクロールが終わった所。
まだまだクロールし終わらないね。

空いたリソース

長い目で観察し、問題点を洗い出し、
パフォーマンスチューニングしたらサーバリソースに余裕が生まれた。

空いたリソースをどうするか…。

そうだ、5文字.com、5文字.netを調べよう。

5文字の組み合わせ

その組み合わせは…

$ echo $((26 ** 5))
11881376

• 26 → アルファベット26文字

.comと.netなので、更に倍。

$ echo $((26 ** 5 * 2))
23762752

23,762,752通り…。
(2千3百万)

もしも数字とハイフンを考慮したらとんでもない数値になる。

$ echo $((36 ** 5 * 2))
120932352

120,932,352通り。
(1億2千万)

目標は1000万越え

目標が1000万エントリなので、
今回のクロール対象はアルファベットの組み合わせ(2千3百万通り) としておこう。

さて、いつクロールし終わるんだろうか…

→whois.hansode.org

whois.hansode.org(46/n) - ドメイン名を収集する手段の進化その後

• 第1世代
  • 思いつく有名所を調べる
  • すぐに限界が訪れる…
• 第2世代
  • 3文字、4文字を調べる
  • 無意味な文字列も含まれてて、あまり有用情報ではない
• 第3世代
  • ネームサーバからドメイン名を取得していく
  • そこそこ意味のあるドメイン名を取得出来る
  • しかし、やがて限界が訪れる
• 第4世代
  • IPアドレスの逆引きホスト名からドメイン名を取得していく
  • ホスティング用のIPアドレスレンジの場合、逆引きにサービス中のホスト名が設定されている
  • かなり価値のあるドメイン名を取得出来る
  • これもまた、やがて限界が訪れる
• 第5世代(現在巡回中)
  • feedを利用すれば鮮度のあるFQDNを収集可能
  • ソーシャルブックマークのfeed
  • 各種まとめサイトのfeed

この土日にfeedから収集するクローラーを書き終えた。
微増ながらも、FQDNとドメイン名の増加していくのが分かる。

2009/04/02現在:100万ページ越え!!

開発当初に目標として設定していたのは
「Googleに100万ページをインデックスさせること」。

その目標を、ついに達成した。
さて、次の目標は…

site:whois.hansode.orgの結果

順調に増加中。

• whois.hansode.org(59/n) - サイトマップ プロトコルを導入してインデックス数増加計画
• whois.hansode.org(61/n) - サイトマップ プロトコルを導入 その後
• whois.hansode.org(62/n) - サイトマップ プロトコルを導入 その後2

現在の対応TLD数は54

何かのタイミングで知ったali.asの為に対応。
.asはシンプル過ぎるwhois情報だ。

livedoorデータセットを使ってみた

livedoorデータセットでは国内大手のSBMサービス、livedoor クリップのデータを提供している。
何か使えないか考えてみた。

1. clipされているURIには、FQDNが含まれている
2. しかも、clipされるくらい、意味のあるFQDN。
3. そして、意味のあるドメイン名が含まれている

whois.hansode.orgに足りなかった
「意味のあるFQDN(Google PageRankの高いFQDN)」を多数集めることが可能だと言う事に気づいた。

ldclip_dataset_200812.csv.gz

抽出したデータは下記の通り。

• ドメイン名数: 5474
• FQDN数: 38186

データセットを提供してくれたライブドアに感謝。

追記・補足

今回はwhois.hansode.orgの既存データと比較し、
どれくらい良質データが不足しているのか研究調査用に利用しました。

現在の対応TLD数は53

ccTLDは200近くあるので、まだ1/4しか対応してない事になる。
「このccTLDも対応して欲しい！」可能な限り対応しますので、コメント下さい。

• gTLD
  • biz
  • cat
  • com
  • edu
  • gov
  • info
  • mobi
  • name
  • net
  • org
• ccTLD
  • ac
  • at
  • au
  • be
  • bz
  • ca
  • cc
  • ch
  • cn
  • cx
  • cz
  • de
  • dk
  • eu
  • fi
  • fr
  • gs
  • ie
  • in
  • is
  • it
  • jp
  • kr
  • la
  • li
  • lt
  • lu
  • nl
  • no
  • nu
  • ph
  • ru
  • se
  • si
  • sk
  • st
  • to
  • tv
  • ua
  • uk
  • us
  • vc
  • ws

「*blog*.jp」にマッチするドメイン名とは

聞かれたので、手持ちのデータベースにて調べてみた。
色々あるもんだなぁ。

• 1jin-blog.jp
• blockblog.jp
• blog.jp
• blogcms.jp
• blogdb.jp
• blogdeco.jp
• blogent.jp
• blogeye.jp
• bloggers-lounge.jp
• bloglife.jp
• blogpartsgarden.jp
• blogri.jp
• blogscape.jp
• blogtowa.jp
• blogwatch.jp
• blogzine.jp
• bouhan-blog.jp
• dreamblog.jp
• e-sunpiablog.jp
• embrace-blog.jp
• ero-blog.jp
• exblog.jp
• freeblog.jp
• genki-blog.jp
• happy-blog.jp
• joblog.jp
• justblog.jp
• kousyoublog.jp
• kumiblog.jp
• lime-blog.jp
• lolipoblog.jp
• manblog.jp
• me-blog.jp
• moblogging.jp
• nqsblog.jp
• ownersblog.jp
• pressblog.jp
• rsblog.jp
• sablog.jp
• shinseisolblog.jp
• taku-blog.jp
• thehouse-ablog.jp
• thehouse-eblog.jp
• vision-blog.jp
• wanderblog.jp
• weblog.ne.jp
• wineblog.jp
• yayoi-blog.jp
• yumikoblog.jp

2009.02.14 whois.hansode.org調べ

JP WHOIS検索結果の表示例の存在に気づいた

クローラーのログを覗いていたら、
何度もwhois検索しているドメイン名がある事に気づいた。

原因を調べてみると、システム側で扱っていないステータスである事が分かった。

[State] Renamed (2009/04/30,EXAMPLE.CO.JP)

属性ドメイン名(co.jp)の場合、1法人に対して1ドメイン名が割り当てられる。
社名変更などによりドメイン名を変更したい場合の対応なのだろう。
属性ドメイン名は何かと複雑で困る事が多い。

汎用・属性のステータスに関する詳細情報はJP WHOIS検索結果の表示例にまとめられている。
近日parser修正予定。

2009/01/08現在:50万ページ越え

site:whois.hansode.orgの結果

順調に増加中。

• whois.hansode.org(59/n) - サイトマップ プロトコルを導入してインデックス数増加計画
• whois.hansode.org(61/n) - サイトマップ プロトコルを導入 その後

YODOBASHI.COMが失効したりして

whois.hansode.orgの
有効期限間近ドメイン名大賞にノミネートされていて気づいた。

2008/11/14 10:45現在、YODOBASHI.COMのwhois情報

VeriSign側のWHOIS情報より

Domain Name: YODOBASHI.COM
Registrar: GMO INTERNET, INC. DBA ONAMAE.COM AND DISCOUNT-DOMAIN.COM
Whois Server: whois.discount-domain.com
Referral URL: http://www.discount-domain.com
Name Server: YCODNS01.YODOBASHI.COM
Name Server: YCTDNS01.YODOBASHI.COM
Status: clientTransferProhibited
Updated Date: 14-nov-2007
Creation Date: 15-nov-1999
Expiration Date: 15-nov-2008

GMO側のWHOIS情報より

Domain Handle:
Domain Name: yodobashi.com
Created On: 1999-11-15 21:34:02.0
Last Updated On: 2007-11-15 00:12:57.0
Expiration Date: 2008-11-16 02:34:02.0
Status: ACTIVE

もし、このまま失効したら…

システムリニューアルよる過負荷どころの騒ぎではない。

Updated Dateを見る限り、
去年は期限ギリギリで更新していたようだ。

今年もギリギリだろうか?

管理者の数だけ管理ポリシーがあるのだろうけど、
ドメイン名を更新する意思があるのなら、期限に余裕を持って更新したいね。

ドメイン名期限管理のサポートサービス！

whois.hansode.orgを使うとドメイン名の期限管理を行える。
こんな人にオススメ。

• 所有しているドメイン名の期限を管理したい！
• 気になるあのドメイン名がいつか失効するのを待っている！
• 複数所有していて、とにかく期限管理が面倒臭い

管理対象ドメイン名の有効期限をfeedやiCalで管理出来るのが最大の特徴。
気になる方は、whois.hansode.orgをどうぞ。

whois.hansode.org(59/n) - サイトマップ プロトコルを導入してインデックス数増加計画 から、約一ケ月

■2008/10/06現在では、

site:whois.hansode.orgの結果は約5万前後。

■2008/11/12現在、

site:whois.hansode.orgの結果は、

徐々に増えている。

心がけたこと

約一ケ月間、ただボーっとしていた訳ではない。

1. Googleウェブマスターツールをこまめに確認
2. 問題のある項目は可能な限り対応
3. とにかく問題を解決する

問題として指摘される項目は、いわゆるweb標準にそれている項目。
これ等を改善する事により、健全なサイトが出来上がって行く。

結局は、当たり前の事をやっているだけなのか。
まだまだ勉強不足である事を感じた。

1年を振り返る

whois.hansode.orgのサービス公開を2007/09/27するなら、もう1年1ヶ月が経過した。

• [2007/09/27] whois.hansode.org(1/n) - WHOISプロキシを作り始めた
• [2007/10/22] whois.hansode.org(3/n) - ウェブ公開開始

■きっかけは「面倒くさい」

先日の三連休、
時間があったので前々から作ろうとしていたものを作り始めた。

WHOIS情報はTLDによってフォーマットが違う。

これにより、有効期限やネームサーバ等を調べる際、
TLD毎に何かしらの調査方法を確立しなければならない。

「フォーマットが統一されていれば問題は解決するはずだ」そして作り始めた。

当時も今も、一番のヘビーユーザーは自分なのだろう。

利用している方がいらっしゃいましたら、今後ともよろしくお願いします。

インデックス数の伸び悩み

半分でも良いのでインデックス対象としたい。
そんな話をしてたらサイトマップを勧められた。

• Googleウェブマスターツール サイトマップ プロトコル

実際は250万以上のページが存在する。
全体の数パーセントしかインデックスされていないのだ。

土日にサイトマップ生成処理を作った

Googleウェブマスターツールにサイトマップを登録。

しばらく様子見。

インデックスが増えればPVも増えて行く事を期待している。
良い結果が出てくれると嬉しい。

ログインすると何が良いのかが書かれていない

• 認証にlivedoor Authを使っている事
• livedoor Authへのリンク

果たしてログインしたら何が良いのか？

何が書かれているべきか

• ログイン後に可能となる事は何か
• 何を出来るようになるのか
• それをしたら何が嬉しいのか

きっかけはGoogleウェブマスターツール

punycode逆変換失敗

逆変換できません

重複title問題の対応

1. 逆変換失敗の為、titleにドメイン名が出て来なくなる
2. 重複したタイトルがいくつか発生してしまう

開発時には気付かなかった事

• 重複するメタデータ(descriptions)
• タイトルタグの重複

指摘された項目を改善する意味

今更ながら追加

• はてなブックマーク
• livedoor Clip
• Yahoo!ブックマーク
• Buzzurl

実はいい加減なフォーマット

期待していたフォーマット

• 都道府県 市区
• 町村
• ビル名

• 東京都新宿区
• 歌舞伎町2-16-9
• 新宿TKビル4F

つまり、上2つを取得してやれば良い

何だよこれ…

• 茨城県牛久市中央5-12-14
• [汎用JPドメイン指定事業者]
• 有限会社ネットグルーヴワークス

Google Maps APIの特徴

• 正常な住所である事は大前提
• 正常な住所であるはずなのに位置情報取得…
  • ビル名が入っていると位置情報取得失敗

現在の住所取得ロジック

• 3行のうち、文字列「ビル」が入っていたら除外

Google Maps Hacks 第2版 ―地図検索サービスをもっと活用するテクニック

posted with amazlet at 08.07.27

Rich Gibson Schuyler Erle
オライリー・ジャパン
売り上げランキング: 46266

Amazon.co.jp で詳細を見る

公開窓口の住所を地図で見たい

1. パース済みの公開連絡窓口の住所を利用
2. Google Maps APIのジオコーディングで位置情報を取得
   1. 正常取得時は該当位置情報
   2. 異常取得時は株式会社あくしゅの位置情報
3. 取得した位置情報をGoogle Mpasにマッピング

Google Maps Hacks 第2版 ―地図検索サービスをもっと活用するテクニック

posted with amazlet at 08.07.19

Rich Gibson Schuyler Erle
オライリー・ジャパン
売り上げランキング: 84589

Amazon.co.jp で詳細を見る

前から位置情報を表示させたかった

1. FQDNの場合はIPアドレスを参照
2. IPアドレスを元にGeoIP City Geolocationから位置情報を取得
3. 位置情報をGoogle Maps APIで地図表示

そのIPアドレスがどこにあるのか
そのFQDNはどこにあるか

具体例

FQDN:

blog.hansode.org

IPアドレス:

203.131.198.205

問題点

今後の位置情報改案

• 位置情報精度向上
• whois情報から住所を取得出来るドメイン名は位置情報を表示させたい
• 複数情報をマッピングさせたみたい(具体的ネタはまだ思いついてない)

Google Maps Hacks 第2版 ―地図検索サービスをもっと活用するテクニック

posted with amazlet at 08.07.18

Rich Gibson Schuyler Erle
オライリー・ジャパン
売り上げランキング: 55884

Amazon.co.jp で詳細を見る

WHOISデータベースが更新される度に変更アリ判定

何もしないまま一ヵ月半経過

チューニングしよう

実践ハイパフォーマンスMySQL

posted with amazlet at 08.06.20

ジェレミ・D. ザウドニ デレク・J. ベリング
オライリージャパン
売り上げランキング: 11576

Amazon.co.jp で詳細を見る

• クエリの見直し
  • スロークエリーの確認と調査
  • EXPLAINで使用するインデックスの確認
• MySQLのチューニング
  • サーバの統計情報確認(munin)
  • mytopコマンドで確認
  • vmstatコマンドで確認
  • my.cnfの確認

• クエリとインデックスに関しては劇的変化を期待出来ない状態
• key_bufferが少な過ぎ…？

文字種類の切替

例えば、
a0だった場合と、
acだった場合。

前者よりも後者がキーを押す回数多いよ。

新採点方法

• 減点方式
  • 1文字目は-1
  • 2文字目は-2
  • 3文字目は-3
  • 4文字目は-4
• 次の文字が、同じキーにある場合 　
  • aaa だったら、 a(-1) + a(-2) + a(-2)
  • abc だったら、 a(-1) + b(-3) + c(-4)
  　
• 次の文字種類が違う場合 　
  • a0 だったら、 a(-1) + 0(-2)
  • 0a だったら、 0(-1) + a(-2)
  　

SEOを意識

変更内容

• サイト名が先になっていたので、サイト名を後ろへ回した
• カテゴリが抜け落ちていたので追加

前: whois.hansode.org - キーワード
後: キーワード < カテゴリ | whois.hansode.org

僕とあくしゅ！

Powered by axsh co., LTD.

それは試行錯誤の繰り返し

• 第1世代
  • 思いつく有名所を調べる
  • すぐに限界が訪れる…
• 第2世代
  • 3文字、4文字を調べる
  • 無意味な文字列も含まれてて、あまり有用情報ではない
• 第3世代
  • ネームサーバからドメイン名を取得していく
  • そこそこ意味のあるドメイン名を取得出来る
  • しかし、やがて限界が訪れる
• 第4世代(今ココ。巡回中。)
  • IPアドレスの逆引きホスト名からドメイン名を取得していく
  • ホスティング用のIPアドレスレンジの場合、逆引きにサービス中のホスト名が設定されている
  • かなり価値のあるドメイン名を取得出来る

第5世代はどうするか

• 価値あるドメイン名を取得したい
  • アクティブなウェブサイトは価値があるはず
• 知らぬ間に検索してる
  • ネットサーフィンしてるだけで検索されてる

• Firefoxのアドオン(orツールバー)を作る
  1. 表示中ページのホスト名を取得
  2. whois.hansode.orgへリクエスト送信

気になるページのHost名情報を一発検索!!

• Host名情報を検索
• blogパーツにより、間接的にWhois情報を検索