Proxmox VEで組む！Intel/AMD混在環境でのHAクラスタ動作検証

おうちサーバでお安くHAクラスタが組める！！というわけで、わが家ではProxmox VEを導入しています。

このHAクラスタにIntel/AMDを混在させたらどうなるのよ？という情報が少なかったので検証してみました。

結論としては、Intel/AMD混在でも問題なく移行できました。

実際の挙動は組み合わせ次第と思いますが、一例として公開しておきます。

目次

1. Intel/AMD混在HA構成の構築
2. Intel → AMD コールドマイグレーション
3. AMD → AMD ライブマイグレーション
4. AMD → Intel ライブマイグレーション

環境

• Proxmoxバージョン: 7.2-3

• ストレージ: CephFS 16.2.7 (Pacific)

• ノード情報

  • PVE#1: 8vCPUs/32GB RAM on ESXi7 (Ryzen 2700 8C16T)
  • PVE#2: 6vCPUs/32GB RAM on ESXi7 (Ryzen 5600G 6C12T)
  • PVE#3: 4CPU/16GB RAM (Intel Celeron J4105)

  以前Twitterで上げたけどこんな感じ

• 検証するOS
  ① LXC: CentOS8 Stream
  1vCPU/2GB RAM/SSD 8GB

  Resources:
  

  Options:
  

  ② VM: Windows10 x64 21H2
  3vCPUs/6GB RAM/SSD 64GB

  Resources:
  

  Options:
  

• 検証内容:

  1. ゲストOS側で1秒ごとにechoするスクリプトを実行
  2. 外部PCから1秒ごとにping実行

検証結果

1. Intel/AMD混在HA構成の構築

→単一CPUと同じ手順で構築できます。

※ うまくログインできないときはcli経由でAuth更新すれば治りました。(よく分かってない)

pvecm updatecerts

2. Intel → AMD コールドマイグレーション

シャットダウン後に移行してから再度起動するケース

2-① LXC(CentOS)のケース

→ 問題なく起動

移行前:

移行後:

2-② VM(Windows10)のケース

→ 問題なく起動 (CPUクロックが変わらない？)

移行前:

移行後:

3. AMD→ AMDライブマイグレーション

同一メーカ間で起動したままマイグレーションをかけてみます。

3-① LXC(CentOS)のケース

→ シャットダウン後、再度起動する

ダウンタイムは10秒程度

3-② VM(Windows10)のケース

→ 起動したままホストが切り替わる

1秒間隔のpingでは影響なく切り替わりました。

4. AMD→ Intelライブマイグレーション

異種メーカー間で起動したままマイグレーションを行います。

4-① LXC(CentOS)のケース

→ シャットダウン後、再度起動する

③同様、10秒程度で移行しています。

4-② VM(Windows10)のケース

→ 起動したままホストが切り替わる

こちらも多少ラグはありますが、システムとしては停止せずに移行できました。

まとめ

• LXCの場合は一度シャットダウンされるが、比較的すぐ復活する

• VMの場合は稼働したまま移行できる
  ※ MachineやBIOS等の設定に依存する可能性あり

「数時間後に落ちる」なんて噂も見かけたので断言はできませんが、ほぼ意識せずにライブマイグレーションできそうです。スゴイ。

[おまけ] HA設定

検証結果から、おうちHAはこの方針で暫定運用しています。運用次第で更新するかも

• 1ノードのメンテナンス時にも継続稼働させるため、Intel/AMD混在環境でHAを有効にする
• ダウンタイムを軽減するため、できるだけAMD間でのライブマイグレーションを行う
• 高性能ノード(#1,#2)を優先稼働し、省電力ノード(#3)はできるだけ選定しない

HA Group設定:

• PVE#1(AMD): Priority=20

• PVE#2(AMD): Priority=20

• PVE#3(Intel): Priority=1

※ Priorityが高いと優先してマイグレーション先に選定される…はず

P.S.

このような実験はテスト環境でやりましょう。
運用環境のCephストレージを吹っ飛ばして1カ月分のデータをロストしました。