半袖野郎 blog.hansode.org

Xen関連パッケージをholdする

Eucalyptus環境を構築するためにUbuntuを9.04にしたい。
単にupgradeしてしまうとXen関連パッケージまでアップグレードされてしまう。
それを避けるべく、Xen関連パッケージはholdしておく。

対象パッケージを確認

$ dpkg -l | egrep 'xen|python' | awk '{print $2}'
libxen3
linux-image-2.6.24-23-xen
linux-restricted-modules-2.6.24-23-xen
linux-ubuntu-modules-2.6.24-23-xen
python
python-central
python-dev
python-minimal
python-support
python-xen-3.2
python2.5
python2.5-dev
python2.5-minimal
xen-hypervisor-3.2
xen-shell
xen-tools
xen-utils-3.2

holdする

$ sudo dpkg --get-selections | egrep xen | awk '{print $1, " hold"}' | dpkg --set-selections

「hold」になった事を確認

$ dpkg --get-selections | egrep 'xen|python'
libxen3                                         hold
linux-image-2.6.24-23-xen                       hold
linux-restricted-modules-2.6.24-23-xen          hold
linux-ubuntu-modules-2.6.24-23-xen              hold
python                                          hold
python-central                                  hold
python-dev                                      hold
python-minimal                                  hold
python-support                                  hold
python-xen-3.2                                  hold
python2.5                                       hold
python2.5-dev                                   hold
python2.5-minimal                               hold
xen-hypervisor-3.2                              hold
xen-shell                                       hold
xen-tools                                       hold
xen-utils-3.2                                   hold

これでアップグレード対象から除外される。
/etc/apt/sources.listを変更し、hardyをjauntyにする。

$ sudo cp -pi /etc/apt/sources.list /etc/apt/sources.list-hardy
$ sudo perl -pi -e 's,hardy,jaunty,g' /etc/apt/sources.list
$ sudo apt-get update
$ sudo apt-get dist-upgrade

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=9.04
DISTRIB_CODENAME=jaunty
DISTRIB_DESCRIPTION="Ubuntu 9.04"

無事、Ubuntu 9.04になった。
Debianパッケージは素敵です。

さあ、今度はEucalyptus環境を構築して行く。

何ともデリケートな構成

PhenomにXen環境構築(7/n) 少し寝かせよう… から10か月も経過していた。
他の作業が落ち着き、久しぶりに眠ったままのサーバを起動させてみた。
試行錯誤を繰り返しながらも、何とか動いてくれた。

簡単にまとめると、

• Ubuntu 8.04
• Linux 2.6.24
• Xen 3.2

重要視したパッケージ一覧

• libxen3
• linux-image-2.6.24-23-xen
• linux-restricted-modules-2.6.24-23-xen
• linux-ubuntu-modules-2.6.24-23-xen
• python
• python-central
• python-dev
• python-minimal
• python-support
• python-xen-3.2
• python2.5
• python2.5-dev
• python2.5-minimal
• xen-hypervisor-3.2
• xen-shell
• xen-tools
• xen-utils-3.2

作業手順

Xenが動くようにするまでに、かなり強引な作業を続けたので、
下記手順で正しいかどうかに疑問が残る。

1. Ubuntu 8.04 Serverをインストール
2. apt-get update
3. python2.5系をインストール
4. xen3.2系をインストール
5. linux-image-2.6.24-23-xenをインストール

1年近く経過してようやく動いた。
最新最速マシンに手を出すのはもうやめよう…

その先は

これで終わりではない。
今後はEucalyptus環境を構築していく。

仮想化技術Xen-概念と内部構造

posted with amazlet at 09.05.05

David Chisnall
毎日コミュニケーションズ
売り上げランキング: 125284

Amazon.co.jp で詳細を見る

現状見解

2,3か月置いてみる

• アーキテクチャが新し過ぎた
• Xenが未対応の可能性
• 諸事情により時間が無くなった

Xen徹底入門

posted with amazlet at 08.08.04

平 初 長谷川 猛 宮本 久仁男 大島 孝子
翔泳社
売り上げランキング: 114545

Amazon.co.jp で詳細を見る

PhenomにXen環境構築(5/n) DomainUが正常起動しないの続き

• /usr/bin/xenstore-list <path>
  • Domainの属性名表示
  • 概要表示
  • 「ls -1 <path>」の様なもの
• /usr/bin/xenstore-ls <path>
  • Domainの属性名と属性値をツリー表示
  • 詳細表示
  • 「snmpwalk <path>」の様なもの
  • xenstore-listで表示対象を絞り込んでから実行するのが良い

/usr/bin/xenstore-list実行結果例

$ sudo xenstore-list /
tool
vm
local

$ sudo xenstore-list /local
domain

$ sudo xenstore-list /local/domain
0
3

$ sudo xenstore-list /local/domain/3
vm
device
device-misc
console
image
store
control
memory
cpu
name
domid
serial

...

/usr/bin/xenstore-ls実行結果例

$ sudo xenstore-ls / | head
tool = ""
 xenstored = ""
vm = ""
 00000000-0000-0000-0000-000000000000 = ""
  on_xend_stop = "ignore"
  shadow_memory = "0"
  uuid = "00000000-0000-0000-0000-000000000000"
  on_reboot = "restart"
  image = "(linux (kernel ))"
   ostype = "linux"
.....

Xen徹底入門

posted with amazlet at 08.07.29

平 初 長谷川 猛 宮本 久仁男 大島 孝子
翔泳社
売り上げランキング: 124204

Amazon.co.jp で詳細を見る

PhenomにXen環境構築(4/n) 一歩前進。xendは正常起動した。しかし… の続編

$ sudo xen-create-image --dhcp --hostname=centos5 --install-method=rinse --dist=centos-5

$ sudo xm create /etc/xen/domains/centos5.cfg
Using config file "/etc/xen/domains/centos5.cfg".
Started domain centos5

$ sudo xm console centos5

ttyの設定不足疑惑

1. Domain0の/etc/securettyに「xvc0」と「hvc0」を追加
2. /etc/xen/domains/centos5.cfgに「extra='xencons=tty1'」を追加

その他動作しない原因として疑った項目

• カーネルのバージョン
• DomainUのディストリビューション

Xen徹底入門

posted with amazlet at 08.07.28

平 初 長谷川 猛 宮本 久仁男 大島 孝子
翔泳社
売り上げランキング: 109704

Amazon.co.jp で詳細を見る

PhenomにXen環境構築(3/n) 実は駄目だった…の続き

複数Xenが混在していたから

混在時のバージョン毎挙動まとめ

• Xen3.2
  • OS起動失敗
  • boot時に異常終了
  • 「Multiboot-moduleほげほげ」と言うメッセージが一瞬表示されるだけ
  • ※混在の有無に関わらず異常終了
• Xen3.1
  • OS起動成功
  • xendが起動しない
  • ログには「Premission denied when trying to init xend」
• Xen3.0
  • OS起動成功
  • xendは起動する
  • しかしpeth0が無い

晴れ間が見えた

I just ran into this myself. In my case, the issue was mixing a xen 3.1 hypervisor with xen 3.2 utilities. Make sure you are booting off the correct kernel in grub.... mine somehow ended up pointed at the 3.1 hypervisor as the default!

どのバージョンを使うか検討

• Xen3.2は前述の通り起動すらしないので問題外
• Xen3.1は起動の可能性を秘めている
• Xen3.0はXen3.1が駄目だった場合に採用

Ubuntu Server 8.04 + Xen3.1

1. 非Xenカーネルで起動
2. 不要パッケージ(Xen3.2とXen3.0)をapt-get removeする
3. システム再起動
4. Xen3.1なカーネルを選択して起動

xendが正常起動している!!

• xendの正常起動を確認
• peth0の存在を確認

Xen徹底入門

posted with amazlet at 08.07.24

平 初 長谷川 猛 宮本 久仁男 大島 孝子
翔泳社
売り上げランキング: 37506

Amazon.co.jp で詳細を見る

一難去って、また一難

xendが動いてないぜ

イキナリ結論

PhenomにはXen3.1を使え

1. とりあえずapt-get大会
2. bootに失敗
   1. Multiboot-modeほげほげほげ と一瞬出て再起動がかかる
   2. linux-image-2.6.24-19-xenが原因であると仮定
      1. linux-image-2.6.24-16-xenを確認 →boot失敗
      2. linux-image-2.6.24-18-xenを確認 →boot失敗
      3. ⇒もしかしたらカーネルは白?
   3. Xen-3.2原因であると仮定
      1. xen-hypervisor-3.1とxen-utils-3.1をインストール
      2. Xen 3.1 / Linux 2.6.24でboot確認 →成功
      3. ⇒原因はXen 3.2である事が分かった

Xen関連パッケージ

axsh@maria:/proc$ dpkg --get-selections | grep xen
libxen3.1                                       install
linux-image-2.6.24-19-xen                       install
linux-image-xen                                 install
linux-restricted-modules-2.6.24-19-xen          install
linux-restricted-modules-xen                    install
linux-ubuntu-modules-2.6.24-19-xen              install
python-xen-3.1                                  install
xen-hypervisor-3.1                              install
xen-shell                                       install
xen-tools                                       install
xen-utils-3.1                                   install

Xen徹底入門

posted with amazlet at 08.07.23

平 初 長谷川 猛 宮本 久仁男 大島 孝子
翔泳社
売り上げランキング: 23248

Amazon.co.jp で詳細を見る

サーバ環境

model name

AMD Phenom(tm) 9950 Quad-Core Processor

cpu MHz

2600.086

cache size

512 KB

Memory

7988296 kB (2Gx4)

HDD

ST3500320AS (500Gx2)

RAID

ソフトウェアRAID1

引退させたいサーバを引退させる1つの解決策

作業概要

1. 論理移転用ディスクイメージdisk.img作成
2. 作成したイメージdisk.imgをマウント
3. 「/」からrsyncしてレプリカを作成
4. rsync済のdisk.imgを移転先へ転送

1. 受け入れ用DomainUを構築しておく
2. 古いサーバ側で生成したイメージをdisk.imgとして配置
3. DomainUを起動

いざ、論理移転

 # cd /tmp
 # mkdir xen
 # cd xen
 # df
 # dd if=/dev/zero of=disk.img count=$((1024 * 30)) bs=1M

 # mkfs.ext3 disk.img

 # mount -t ext3 -o loop ./disk.img /mnt/loop

 # cd /
 # rsync -Hax / /mnt/loop --exclude tmp/xen/disk.img
 # umount /mnt/loop

 # scp tmp/xen/disk.img $(remote):/tmp/.

 $ sudo xen-create-image  --ip=192.0.2.21 --netmask=255.255.255.0 --gateway=192.0.2.1 --broadcast=192.0.2.255 --hostname=skel --size=2Gb --memory=256Mb --swap=1024Mb

 $ cd /home/xen/domains/skel
 $ sudo mv -i /tmp/disk.img ./.

 $ sudo mkdir /mnt/loop
 $ sudo mount -o loop disk.img /mnt/loop

 $ sudo chroot /mnt/loop /bin/bash

 # vi /etc/fstab
 proc            /proc           proc    defaults        0       0
 /dev/sda1 none swap sw 0 0
 /dev/sda2 / ext3 noatime,nodiratime,errors=remount-ro 0 1

 # vi /etc/network/interfaces

 # cp -p /etc/inittab /tmp/inittab.$$
 # vi /etc/inittab
 # diff /tmp/inittab.$$ /etc/inittab
 < 2:23:respawn:/sbin/getty 38400 tty2
 < 3:23:respawn:/sbin/getty 38400 tty3
 < 4:23:respawn:/sbin/getty 38400 tty4
 < 5:23:respawn:/sbin/getty 38400 tty5
 < 6:23:respawn:/sbin/getty 38400 tty6
 ---
 > #2:23:respawn:/sbin/getty 38400 tty2
 > #3:23:respawn:/sbin/getty 38400 tty3
 > #4:23:respawn:/sbin/getty 38400 tty4
 > #5:23:respawn:/sbin/getty 38400 tty5
 > #6:23:respawn:/sbin/getty 38400 tty6

 # exit

 $ sudo xm create /etc/xen/domains/skel.cfg -c

無事に引退。振り返り

• 静かになった
  • サーバ稼動時はファンとディスクが五月蝿かった。
• パフォーマンス向上
  • 嬉しい誤算
  • よく考えてみると、ハードウェアが良くなったから当たり前か。

/etc/xen-tools/xen-tools.confの内容

$ egrep -v '^#|^$' /etc/xen-tools/xen-tools.conf
dir = /home/xen
install-method = debootstrap
size   = 8Gb      # Disk image size.
memory = 256Mb    # Memory size
swap   = 128Mb    # Swap size
fs     = ext3     # use the EXT3 filesystem for the disk image.
dist   = etch     # Default distribution to install.
image  = sparse   # Specify sparse vs. full disk images.
kernel      = /boot/vmlinuz-`uname -r`
initrd      = /boot/initrd.img-`uname -r`
arch=i386
mirror = http://ftp.us.debian.org/debian/
ext3_options   = noatime,nodiratime,errors=remount-ro
ext2_options   = noatime,nodiratime,errors=remount-ro
xfs_options    = defaults
reiser_options = defaults
output    = /etc/xen/domains

Software Design (ソフトウエア デザイン) 2008年 05月号 [雑誌]

posted with amazlet at 08.06.25

技術評論社

Amazon.co.jp で詳細を見る

DebianにCentOS4の仮想環境を作ろう

$ sudo xen-create-image --install-method rinse  --dist centos-4 --hostname centos4

debian$ cd /etc/
debian$ grep http://anorien.csc.warwick.ac.uk/ -r . -l 2>/dev/null
./rinse/rinse.conf

ミラーサイト設定を変更

$ cd /etc/rinse
$ sudo cp -pi rinse.conf rinse.conf.0
$ sudo vi rinse.conf

$ diff rinse.conf.0 rinse.conf
14,15c14,15
< mirror = http://anorien.csc.warwick.ac.uk/mirrors/centOS/4.6/os/i386/CentOS/RPMS/
< mirror.amd64 = http://anorien.csc.warwick.ac.uk/mirrors/CentOS/4.6/os/x86_64/CentOS/RPMS/
---
> mirror = http://ftp.riken.jp/Linux/centos/4.6/os/i386/CentOS/RPMS/
> mirror.amd64 = http://ftp.riken.jp/Linux/centos/4.6/os/x86_64/CentOS/RPMS/
19,20c19,20
< mirror = http://anorien.csc.warwick.ac.uk/mirrors/centos/5/os/i386/CentOS/
< mirror.amd64 = http://anorien.csc.warwick.ac.uk/mirrors/centos/5/os/x86_64/CentOS/
---
> mirror = http://ftp.riken.jp/Linux/centos/5/os/i386/CentOS/
> mirror.amd64 = http://ftp.riken.jp/Linux/centos/5/os/x86_64/CentOS/

まとめ

• Domain0がDebian
• DomainUをCentOSとする場合
• つまり、install-methodをrinseとする場合

1. /var/log/xen-tools/を確認
2. ミラー先に問題がある場合は/etc/rinse/rinse.confを変更
3. 再度xen-create-imageを実行して確認