名前は聞いた事があるのに、構築しなかった環境の１つ
DRBD環境構築が必要だったので、DRBD環境を構築。
構築完了したのは1ヶ月半も前の事。作業記録のタイムスタンプを見ると、11/08。
アウトプットするまでに随分と時間がかかってしまった事に反省。
検証環境
- RHEL 6.0 / CentOS 6.0 (i686)
- drbd 8.4.0
要件定義
作業概要
- DRBDをインストール
- DRBDの設定ファイルを作成
- DRBDを起動
- データ同期確認
サーバ構成
| ノード名 | 用途 | IPアドレス | NIC |
|---|
| node1 | master | 192.0.2.2 | eth0 |
| node2 | backup | 192.0.2.3 |
| - | Virtual IP | 192.0.2.254 |
作業内容
事前作業
DRBDをビルドするに辺り必要なパッケージをインストール。
$ sudo yum install -y gcc make automake autoconf flex rpm-build kernel-devel libxslt fakeroot
rpmbuildで必要となるディレクトリ構造を作成。く
$ mkdir -p /home/centos/rpmbuild/{BUILD,BUILDROOT,RPMS,SOURCES,SPECS,SRPMS}
ソースをダウンロード
$ curl -O http://oss.linbit.com/drbd/8.4/drbd-8.4.0.tar.gz
ダウンロードしたソースを伸長。
$ tar zxvf drbd-8.4.0.tar.gz
configureスクリプトを実行。
$ cd drbd-8.4.0
$ ./configure
fakerootを経由してmakeを実行。fakerootを使う理由は、rpmをビルドするにはroot権限であるから。fakerootがroot権限であるかのような振る舞いをしてくれる。
$ fakeroot make rpm km-rpm
無事にビルドが完了すると、下記rpmが作成される。
$ ls -1 /home/centos/rpmbuild/RPMS/i386/
drbd-8.4.0-1.el6.i386.rpm
drbd-bash-completion-8.4.0-1.el6.i386.rpm
drbd-heartbeat-8.4.0-1.el6.i386.rpm
drbd-km-2.6.32_71.el6.i686-8.4.0-1.el6.i386.rpm
drbd-pacemaker-8.4.0-1.el6.i386.rpm
drbd-udev-8.4.0-1.el6.i386.rpm
drbd-utils-8.4.0-1.el6.i386.rpm
drbd-xen-8.4.0-1.el6.i386.rpm
ビルド済みrpmで必要なのは drbd-utilsとdrbd-km。これらをインストール。
$ sudo rpm -ivh \
/home/centos/rpmbuild/RPMS/i386/drbd-utils-8.4.0-1.el6.i386.rpm \
/home/centos/rpmbuild/RPMS/i386/drbd-km-2.6.32_71.el6.i686-8.4.0-1.el6.i386.rpm
カーネルモジュールをロードしてみる。
$ lsmod | grep drbd
$ sudo modprobe drbd
$ lsmod | grep drbd
drbd 274063 0
libcrc32c 815 1 drbd
"/etc/init.d/drbd start "実行にmodprobe drbdが実行されるので、ここではmodprobeコマンドでカーネルモジュールを正常にロード出来る事を確認するだけで良い。
起動対象サービスに入ってるのを確認しておく。
$ chkconfig --list drbd
drbd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
デバイスファイル用意
今回はrawファイルを作成しループバックマウントしてDRBD用デバイスファイルを調達する。
$ sudo dd if=/dev/zero of=/var/tmp/drbd.img bs=1M count=128
$ sudo losetup -f
/dev/loop0
作ったrawファイルを空きデバイス/dev/loop0にマッピングさせる。
$ sudo losetup /dev/loop0 /var/tmp/drbd.img
$ sudo losetup -a
/dev/loop0: [fd00]:266486 (/var/tmp/drbd.img)
これでDRBD用の同期対象デバイスが出来上がった。
DRBD設定
必要に応じて/etc/hostsにホスト登録しておく。
理由は、configでIPアドレス指定するにも関わらず、名前解決に失敗すると起動しない為。
$ sudo vi /etc/hosts
> 192.0.2.2 drbd-primary
> 192.0.2.3 drbd-secondary
configを追加。ドキュメントで拡張子は「.res」が推奨されているので、sandbox.resとして作成。
- /etc/drbd.d/sandbox.res
-
resource sandbox {
protocol C;
device /dev/drbd0;
disk /dev/loop0;
meta-disk internal;
on drbd-primary {
address 192.0.2.2:7801;
}
on drbd-secondary {
address 192.0.2.3:7801;
}
}
DRBDデバイスを初期化
$ sudo drbdadm create-md sandbox
Writing meta data...
initializing activity log
NOT initializing bitmap
New drbd meta data block successfully created.
success
※注意: iptablesが有効になってるとDRBD通信が行われない場合がある
DRBDを起動。
$ sudo /etc/init.d/drbd start
Starting DRBD resources: [
create res: sandbox
prepare disk: sandbox
adjust disk: sandbox
adjust net: sandbox
]
.....
DRBDが起動すると/proc/drbdが作成される。
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:131032
この時、どちらもsecondaryになっているのが分かる。
データ同期確認
primary側でファイルを作成し、secondaryへデータ同期が行われるのを確認する。
ndoe1: (secondary→primary)
node1をprimaryに昇格させる。
$ sudo drbdadm primary --force sandbox
primaryからsecondaryへの同期処理が開始され、しばらくすると同期完了する。
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----
ns:2664 nr:0 dw:0 dr:3476 al:0 bm:0 lo:0 pe:3 ua:3 ap:0 ep:1 wo:b oos:128600
[>....................] sync'ed: 3.2% (128600/131032)K
finish: 0:00:45 speed: 2,432 (2,432) K/sec
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:131032 nr:0 dw:0 dr:131696 al:0 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
DRBDデバイスを確認。設定通り/dev/drbd0が作成されているのが分かる。
$ ls -la /dev/drbd0
brw-rw---- 1 root disk 147, 0 Nov 8 17:19 /dev/drbd0
通常のディスクデバイスファイルと同様にDRBDデバイスをフォーマットし、マウントすれば利用可能となる。
$ sudo mkfs -t ext4 /dev/drbd0
$ sudo mkdir /mnt/drbd0
$ sudo mount -t ext4 /dev/drbd0 /mnt/drbd0
マウント後の内容確認。
$ ls -la /mnt/drbd0/
total 17
drwxr-xr-x 3 root root 1024 Nov 8 17:22 .
drwxr-xr-x. 3 root root 4096 Nov 8 17:23 ..
drwx------ 2 root root 12288 Nov 8 17:22 lost+found
primary・secondary間でデータ同期されるのを確認するため、ファイルを作成してみる。
$ sudo touch /mnt/drbd0/test.txt
$ ls -la /mnt/drbd0/
total 17
drwxr-xr-x 3 root root 1024 Nov 8 17:23 .
drwxr-xr-x. 3 root root 4096 Nov 8 17:23 ..
drwx------ 2 root root 12288 Nov 8 17:22 lost+found
-rw-r--r-- 1 root root 0 Nov 8 17:23 test.txt
node1:(primary→secondary)
DRBDが使用中だとsecondaryへ降格出来ないので、デバイスをumountする。
$ sudo umount /mnt/drbd0
secondaryへ降格させる。
$ sudo drbdadm secondary sandbox
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
ns:139687 nr:0 dw:8655 dr:132451 al:10 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
これにより、他のsecondaryがprimaryへ昇格可能状態となる。
node2: (secondary→primary)
node2をprimaryへ昇格させる。
$ sudo drbdadm primary sandbox
/proc/drbdでprimaryになっているのが分かる。
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:0 nr:139687 dw:139687 dr:664 al:0 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
DRBDデバイスの内容を確認する為、マウントする。
$ sudo mkdir /mnt/drbd0
$ sudo mount -t ext4 /dev/drbd0 /mnt/drbd0/
マウントポイントの内容を確認。node1で作成した test.txt が存在しているのが分かる。
$ ls -la /mnt/drbd0/
total 17
drwxr-xr-x 3 root root 1024 Nov 8 17:23 .
drwxr-xr-x. 3 root root 4096 Nov 8 17:25 ..
drwx------ 2 root root 12288 Nov 8 17:22 lost+found
-rw-r--r-- 1 root root 0 Nov 8 17:23 test.txt
node2: (primary→secondary)
umountし、secondaryへ降格させる。
$ sudo umount /mnt/drbd0
$ sudo drbdadm secondary sandbox
/dev/drbdでsecondaryに降格している事を確認。
$ cat /proc/drbd
version: 8.4.0 (api:1/proto:86-100)
GIT-hash: 28753f559ab51b549d16bcf487fe625d5919c49c build by centos@centos, 2011-11-08 16:16:36
0: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----
ns:18 nr:139687 dw:139705 dr:671 al:3 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
これでnode1, node2がどちらもsecondaryになってる状態。
後はnode1をprimaryに昇格させて、同期させるだけ。
あと書き
DRBDのバージョンによってコマンド名、引数に違いがあるので、よく確認すべし。
]]>
