Ceph 压测相关整理
Ceph 压测相关整理 - 代码先锋网 (codeleading.com)
１．压测Ceph带宽数据
指的是硬盘或设备(路由器/交换机)在传输数据的时候数据流的速度
(1) 在rbd pool创建一个test块设备，大小为100G，这个大小可以超过pool本身大小，因为是瘦分配．
rbd create rbd/test2 --size 100G --object-size 4M --image-feature layering --stripe-unit 4M --stripe-count 1
(2) 映射该设备到机器
[root@node-1 ~]# rbd map rbd/test2
/dev/rbd7
(3) 该设备可以初始化，挂载并使用
(4) 对该设备进行带宽压测，bs需要大点
[root@node-1 ~]# dd if=/dev/zero of=$(rbd showmapped | grep test2 | awk '{print$5}') bs=1M count=102400
(5) 解除该设备对本机的映射
[root@node-1 ~]# rbd unmap rbd/test2
(6) 删除该块设备
[root@node-1 ~]# rbd rm rbd/test2
Removing image: 100% complete...done.
２．压测Ceph IOPS
指的是系统在单位时间内能处理的最大的I/O频度，是衡量磁盘性能的主要指标之一
(1) 用以上创建的块设备，用fio命令对该设备进行压测读，其中bs=4k，先写入设备，线程深度大点-iodepth 16
[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=write -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
(2) 从设备读．
[root@node-1 ~]# fio -filename=/dev/rbd4 -direct=1 -iodepth 16 -thread -rw=read -ioengine=psync -bs=4k -size=10G -numjobs=10 -name=mytest --eta-newline=1
(3) 通过ceph -s可以看到实时的数据，op/s rd（读），op/s wr（写）
[root@node-1 ~]# ceph -s
cluster:
id: 1a6c90fe-b0e4-4ace-85ce-9f0582c483d0
health: HEALTH_WARN
Degraded data redundancy: 10563/51294 objects degraded (20.593%), 23 pgs degraded, 23 pgs undersized
services:
mon: 3 daemons, quorum node-1,node-2,node-3
mgr: node-3(active), standbys: node-2, node-1
osd: 6 osds: 6 up, 6 in; 23 remapped pgs
flags nodeep-scrub
rbd-mirror: 1 daemon active
rgw: 3 daemons active
data:
pools: 12 pools, 96 pgs
objects: 17.10k objects, 49.7GiB
usage: 150GiB used, 768GiB / 918GiB avail
pgs: 10563/51294 objects degraded (20.593%)
73 active+clean
22 active+undersized+degraded+remapped+backfill_wait
1 active+undersized+degraded+remapped+backfilling
io:
client: 14.2MiB/s rd, 606KiB/s wr, 3.64kop/s rd, 43op/s wr
recovery: 1.67MiB/s, 0objects/s
