文書の表示以前のリビジョンバックリンク全て展開する／折り畳む文書の先頭へ この文書は読取専用です。文書のソースを閲覧することは可能ですが、変更はできません。もし変更したい場合は管理者に連絡してください。 ====== Proxmox VE 6.2と他のZFSプールを1ストレージに同居させる ====== <WRAP box info> Proxmox VE 7あたりでインストーラでパーティションを切ってZFSルート構成が作れるようになった。したがって本記事のような面倒な手段を取る必要はなくなった。 また、''/etc/kernel/pve-efiboot-uuids''は''/etc/kernel/proxmox-boot-uuids''に変わったようだ。 </WRAP> Proxmox VEをZFSルートシステムでインストールすると、EFIシステムパーティションなどを除いたディスクの全領域が、Proxmox VE用のプールrpoolとなってしまう。 諸々の事情により、うちの環境ではパーティションを切ってrpoolと他のZFSプールを1つのストレージ上に共存させたい。UEFIとZFSの組み合わせとなれば、臆するなかれ、FreeBSDで培ったスキルを活かしてPVEの全領域プールからパーティションプールへの移行ができるんじゃね？と考え試してみた記録。 好きな構成でDebianインストールしてからProxmox VEの環境入れればいいだって？うっせー、俺はLinuxわかんねーんだよ！ ===== 試した環境 ===== * Proxmox VE 6.2-4 * Intel DC S3700 400GB * PVEをインストールしたストレージ(sda)。便宜上、占有ストレージと呼ぶ。 * Samsung PM963 1.92TB * PVEと他のZFSプールを同居させるストレージ(nvme0)。便宜上、共存ストレージと呼ぶ。 ===== 方針 ===== 共存ストレージ作成にあたり、まずは占有ストレージのパーティションを確認する。 <code> # fdisk -l /dev/sda Disk /dev/sdh: 357.6 GiB, 384000000000 bytes, 750000000 sectors Disk model: INTEL SSDSC2BA40 Units: sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disklabel type: gpt Disk identifier: FDCAC366-6C27-4210-8305-0C33EE989D55 Device Start End Sectors Size Type /dev/sda1 34 2047 2014 1007K BIOS boot /dev/sda2 2048 1050623 1048576 512M EFI System /dev/sda3 1050624 749999966 748949343 357.1G Solaris /usr & Apple ZFS Partition 1 does not start on physical sector boundary. </code> <code> # zfs list rpool NAME USED AVAIL REFER MOUNTPOINT rpool 12.1G 333G 104K /rpool </code> 4kセクタガン無視してパーティション切られてて<del>ファッキューリーナスと思うが</del>、それはさておき。 うちの環境ではBIOSブートはもう使わないので、BIOS bootは要らない。VMの仮想ディスクは専用プール(zimg)に確保するつもりなので、PVEのシステムプール(rpool)も最小限の容量とする。他に当方環境の諸々の事情を考慮し、共存ストレージは以下のパーティション構成とした。とりあえず、ESPとrpool用のパーティションがあればOK。 ^ 種類 ^ 容量 ^ 用途 ^ | FAT32 | 512MiB | EFIシステムパーティション | | ZFS | 100GiB | FreeBSDシステム (zroot) | | ZFS | 1434GiB | VM用データ置き場 (zimg) | | ZFS | 50GiB | PVEシステム (rpool) | | - | 250GiB | 予備領域 | ===== 手順 ===== ==== 共存ストレージのパーティション作成 ==== 共存ストレージにパーティションを作成する。 GPTを作る <code> # fdisk /dev/nvme2n1 Welcome to fdisk (util-linux 2.33.1). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Device does not contain a recognized partition table. Created a new DOS disklabel with disk identifier 0x5133f831. Command (m for help): g Created a new GPT disklabel (GUID: CEAAD3D1-5B58-524F-8E0D-26F1F3B2A24A). </code> nコマンドでパーティションを切って… <code> Command (m for help): n Partition number (1-128, default 1): First sector (256-468843600, default 256): Last sector, +/-sectors or +/-size{K,M,G,T,P} (256-468843600, default 468843600): +512M Created a new partition 1 of type 'Linux filesystem' and of size 512 MiB. </code> tコマンドでパーティションの種類を変える <code> Command (m for help): t Partition number (1-4, default 4): 1 Partition type (type L to list all types): 1 Changed type of partition 'Linux filesystem' to 'EFI System'. </code> 最終的に以下のようになる。ZFSを使う上でパーティションタイプは重要ではないが、後から見てもわかるように設定しておくのが無難。 <code> Command (m for help): p Disk /dev/nvme2n1: 1.8 TiB, 1920383410176 bytes, 468843606 sectors Disk model: SAMSUNG MZQLW1T9HMJP-00003 Units: sectors of 1 * 4096 = 4096 bytes Sector size (logical/physical): 4096 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disklabel type: gpt Disk identifier: CEAAD3D1-5B58-524F-8E0D-26F1F3B2A24A Device Start End Sectors Size Type /dev/nvme0n1p1 256 131327 131072 512M EFI System /dev/nvme0n1p2 131328 26345727 26214400 100G FreeBSD ZFS /dev/nvme0n1p3 26345728 402260223 375914496 1.4T Solaris /usr & Apple ZFS /dev/nvme0n1p4 402260224 415367423 13107200 50G Solaris /usr & Apple ZFS </code> 最後にwで書き込む。 <code> Command (m for help): w The partition table has been altered. Calling ioctl() to re-read partition table. Syncing disks. </code> ==== ESPの移植 ==== 作成したESPをFAT32でフォーマットする。 <code> # mkdosfs -F 32 -S 4096 -s 1 -v -n EFI /dev/nvme1n1p1 mkfs.fat 4.1 (2017-01-24) /dev/nvme2n1p1 has 64 heads and 32 sectors per track, hidden sectors 0x0800; logical sector size is 4096, using 0xf8 media descriptor, with 131072 sectors; drive number 0x80; filesystem has 2 32-bit FATs and 1 sector per cluster. FAT size is 128 sectors, and provides 130784 clusters. There are 32 reserved sectors. Volume ID is 517202a5, volume label EFI </code> 既存ESPと新規ESPをマウントし、中身をコピーする。 <code> # mkdir /mnt/esp /mnt/newesp # mount /dev/sda2 /mnt/esp # mount /dev/nvme1n1p1 /mnt/newesp # cp -Rpv /mnt/esp/. /mnt/newesp/ </code> 今回はパーティションサイズが完全に一緒だったので、ddで丸コピーでもよかったかもしれない。 忘れずにアンマウント。 <code> # umount /mnt/esp # umount /mnt/newesp </code> ==== rpoolの移植 ==== PVEのシステムデータのコピー方法は、ZFSのミラーリングを使う方法、send/recvを使う方法の2種類がある。 === 方法1：ミラープールを経由する ==== ZFSのミラーリングを使う方法。 現在のrpoolに共存ストレージのnvme0n1p4をミラーとして追加し、同期完了後に占有ストレージのパーティションをミラーから切り離す。 簡単かつ安全な方法だが、今回は移行先のパーティションの方が小さいので使えない。残念。参考までに実行するコマンドは以下のようになる。なお、デバイス追加時に**addを使うとストライピングとして追加され、取り外し出来なくなる**ので注意！！ <code> ■ミラーの追加 # zpool attach rpool ata-INTEL_SSDSC2BA400G3_xxx-part3 nvme-SAMSUNG_MZQLW1T9HMJP-00003_yyyy-part4 ■ミラーの取り外し # zpool detach rpool ata-INTEL_SSDSC2BA400G3_xxx-part3 </code> === 方法2：zfs send/recvを使う === ZFSのデータバックアップ・復元機能であるzfs send/recvを使う方法。正攻法と言えば正攻法。 使用中のデータ分のやり取りしか行わないので、小さなプールへのデータ移行が可能である。 == 移行元プールのプロパティ確認 == 移行にあたって、移行元プールのプロパティを確認しておく。 ''SOURCE''がlocalとなっているプロパティが、そのプールとデータセットで独自に設定されたものなので、それらも移行先に移植する必要がある。 <code> # zpool get all rpool | grep local rpool bootfs rpool/ROOT/pve-1 local rpool ashift 12 local （feature flagsは無視してOK） # zfs get all rpool | grep local rpool compression on local rpool atime off local rpool sync standard local </code> == 移行先プールの準備 == 上記のプロパティを踏まえて共存ストレージに移行先プールrpool2を作る。 <code> # zpool create -o ashift=12 rpool2 /dev/disk/by-id/nvme-SAMSUNG_MZQLW1T9HMJP-00003_yyy-part4 </code> == 専用ストレージから共存ストレージにデータを移動 == ここからはProxmox VEのインストーラのシェルで作業する。インストーラをDebug Modeで起動し、1度目のシェルはそのままexitし、2度目のシェルに入る。 移行元と移行先プールのマウントポイントを作り、それぞれマウントする。-RでZFSの代替ルート指定を忘れずに行うこと。 <code> # mkdir /run/rpool /run/rpool2 # zpool import -fR /run/rpool rpool # zpool import -fR /run/rpool2 rpool2 </code> 移行元にスナップショットを作成。 <code> # zfs snapshot -r rpool@backup </code> zfs send/recvでデータのコピーを行うが、まずはrecvに-nオプションを付けて、意図通りの場所に復元できるか確認する。-Fで上書き指定するので、間違うと結構悲惨なんだぜ。 <code> # zfs send -RLce rpool@backup | zfs recv -Fduvn rpool2 </code> {{ :virtualization:pve_zfs_send_recv_rpool_dry_run.png |}} 問題なさそうなら、-nを外して本番実行。 <code> # zfs send -RLce rpool@backup | zfs recv -Fduv rpool2 </code> {{ :virtualization:pve_zfs_send_recv_rpool.png |}} 念のため移行先のrpool2の中身を見てみる。 <code> # zfs list -r rpool2 </code> {{ :virtualization:pve_zfs_list_rpool2.png |}} == 移行先プールの名前変更 == 共存ストレージのrpool2を新生rpoolに名称変更する。 その前に、専用ストレージのrpoolが残ったままなので、こちらはrpool_origとでもしておく。 まずは両プールを一旦アンマウント。 </code> # zpool export rpool # zpool export rpool2 </code> rpoolをrpool_origに名前を変えてマウント。 <code> # zpool -R /mnt/rpool rpool rpool_orig </code> 同じく、rpool2をrpoolに名前を変えてマウント。 </code> # zpool -R /mnt/rpool2 rpool2 rpool </code> == 新生rpoolのbootfsの設定 == 共存ストレージのrpoolのbootfsが空のままなので、以前のrpoolの値を移植する。 <code> # zpool set bootfs=rpool/ROOT/pve-1 rpool </code> 最後に両プールをアンマウントする。 <code> # zpool export rpool_orig # zpool export rpool </code> ===== 共存ストレージから起動 ===== あとはマシンを再起動し、ブートドライブとして共存ストレージの方を選べば、以前の環境はそのままに新しいrpoolの方からProxmox VEが起動するハズ。 シェルでzfs listすると、新しいrpoolになっていることが分かる。 <code> # zfs list -r rpool NAME USED AVAIL REFER MOUNTPOINT rpool 15.3G 32.7G 104K /rpool rpool/ROOT 15.3G 32.7G 96K /rpool/ROOT rpool/ROOT/pve-1 15.3G 32.7G 15.3G / rpool/data 96K 32.7G 96K /rpool/data </code> zfs send/recvの時に作ったスナップショットrpool@backupも新生rpoolにできているので、忘れずに消す。 <code> # zfs destroy -r rpool@backup </code> ===== ESP同期設定の変更 ===== PVEがESPの同期の時に使うUUIDの設定を変更する。変えなくてもPVE自体は動くが、update-initramfsなどをした時にESPが更新されなくなる。 ''blkid''コマンドでパーティションのUUIDを表示する。 <code> # blkid /dev/nvme0n1p1: LABEL_FATBOOT="EFI" LABEL="EFI" UUID="5172-02A5" TYPE="vfat" PARTUUID="381a481f-926d-834a-b607-ab8c7f30d141" /dev/nvme0n1p2: LABEL="zroot" UUID="14384939844916901067" UUID_SUB="4240071790088313073" TYPE="zfs_member" PARTUUID="618094f1-c1c8-0b4e-b685-06d67f86a449" （略） /dev/nvme0n1: PTUUID="9248b857-8f10-ca4b-a0c0-3ea559112855" PTTYPE="gpt" /dev/nvme1n1: PTUUID="fe718aa7-f8d0-c149-88db-55afb4dbe75a" PTTYPE="gpt" /dev/mapper/fbsd_disk0: PTTYPE="PMBR" /dev/mapper/fbsd_disk1: PTTYPE="PMBR" </code> こんな感じでずらずらと表示される。 必要なのは、対象のESPのパーティションのUUIDである。うちの環境ではnvme0n1p1なので 5172-02A5 となる。 ''/etc/kernel/pve-efiboot-uuids''に入っている以前のUUIDを、この値で置き換える。 virtualization/proxmox_ve_6_2_share_disk_with_other_zpools.txt 最終更新: 2023-02-09 22:51by Decomo