Ceph BLUESTORE 配置参考

参考：https://docs.ceph.com/en/latest/rados/configuration/bluestore-config-ref/

设备

BlueStore 管理一个、两个或（在某些情况下）三个存储设备。

在最简单的情况下，BlueStore 使用单个（主）存储设备。存储设备通常是作为一个整体使用的，占用了BlueStore直接管理的整个设备。此主设备通常由block数据目录中的符号链接标识。

数据目录是一个tmpfs挂载（在启动时或ceph-volume激活时），其中包含所有常见的 OSD 文件，这些文件包含有关 OSD 的信息，例如：它的标识符、它所属的集群以及它的私钥环。

也可以在一个或两个附加设备上部署 BlueStore：

• 预写日志 (WAL) 设备（block.wal在数据目录中标识）可用于 BlueStore 的内部日志或预写日志。仅当设备比主设备快时（例如，当它在 SSD 上且主设备是 HDD 时），使用 WAL 设备才有用。
• 数据库设备（在数据目录中标识）block.db可用于存储 BlueStore 的内部元数据。BlueStore（或者更确切地说，嵌入式 RocksDB）会将尽可能多的元数据放在数据库设备上以提高性能。如果数据库设备已满，元数据将溢出回主设备（否则会出现在主设备上）。同样，只有当数据库设备比主设备快时，它才会有帮助。

如果只有少量可用的快速存储空间（例如，小于 1 GB），我们建议将其用作 WAL 设备。如果有更多，配置数据库设备更有意义。BlueStore 日志将始终放置在可用的最快设备上，因此使用 DB 设备将提供与 WAL 设备相同的好处，同时还允许在其中存储额外的元数据（如果合适的话）。这意味着，如果指定了 DB 设备但未指定显式 WAL 设备，则 WAL 将隐式与更快设备上的 DB 共存。

block和block.db

如果您混合使用快速和慢速设备（SSD / NVMe 和旋转），建议放置block.db在较快的设备上，而block （数据）放在较慢的（旋转驱动器）上。

您必须手动创建这些卷组和逻辑卷，因为该ceph-volume工具目前无法自动执行此操作。

对于下面的示例，让我们假设四个旋转驱动器（ sda、sdb、sdc和sdd）和一个（快速）固态驱动器（sdx）。首先创建卷组：

$ vgcreate ceph-block-0 /dev/sda
$ vgcreate ceph-block-1 /dev/sdb
$ vgcreate ceph-block-2 /dev/sdc
$ vgcreate ceph-block-3 /dev/sdd

现在创建block逻辑卷：

$ lvcreate -l 100%FREE -n block-0 ceph-block-0
$ lvcreate -l 100%FREE -n block-1 ceph-block-1
$ lvcreate -l 100%FREE -n block-2 ceph-block-2
$ lvcreate -l 100%FREE -n block-3 ceph-block-3

我们正在为四个慢速旋转设备创建 4 个 OSD，因此假设 /dev/sdx 有 200GB SSD，我们将创建 4 个逻辑卷，每个 50GB：

$ vgcreate ceph-db-0 /dev/sdx
$ lvcreate -L 50GB -n db-0 ceph-db-0
$ lvcreate -L 50GB -n db-1 ceph-db-0
$ lvcreate -L 50GB -n db-2 ceph-db-0
$ lvcreate -L 50GB -n db-3 ceph-db-0

最后，使用 ceph-volume 创建 4 个 OSD ：

$ ceph-volume lvm create --bluestore --data ceph-block-0/block-0 --block.db ceph-db-0/db-0
$ ceph-volume lvm create --bluestore --data ceph-block-1/block-1 --block.db ceph-db-0/db-1
$ ceph-volume lvm create --bluestore --data ceph-block-2/block-2 --block.db ceph-db-0/db-2
$ ceph-volume lvm create --bluestore --data ceph-block-3/block-3 --block.db ceph-db-0/db-3

这些操作最终会创建四个 OSD，block在速度较慢的旋转驱动器上，每个 OSD 在固态驱动器上都有一个 50 GB 的逻辑卷 (DB)。