Ceph之osd扩容和换盘

 

目录

• 一、osd扩容
  • 1.1 osd横向扩容（scale out）
  • 1.2 osd纵向扩容（scale up）
    • 1.2.1 清理磁盘数据
    • 1.2.2 加入新的osd
    • 1.2.3 确认ods已扩容
  • 1.3 ceph osd数据重新分布
    • 1.3.1 临时关闭rebalance
    • 1.3.2 开启rebalance
• 二、osd缩容
  • 2.1 剔除osd节点

 

一、osd扩容

1.1 osd横向扩容（scale out）

简单理解，横向扩容就是通过增加节点来达到增加容量的目的，大概操作流程如下：

• 参考 [部署ceph集群 （Nautilus版）](https://lvjianzhao.gitee.io/lvjianzhao/2021/02/21/部署ceph Nautilus版/#more) 对新节点进行初始化、配置yum源、时间同步，安装基础工具，集群间的主机名互相可解析，ceph-deploy节点可以免密登录到新节点等操作。
• 执行命令 ceph-deploy osd create --data {data-disk} {node-name} 同步配置文件
• ceph -s 查看集群状态，如果无误，添加osd完成。

1.2 osd纵向扩容（scale up）

纵向扩容：通过增加现有节点的硬盘(OSD)来达到增加容量的目的。

1.2.1 清理磁盘数据

如果目标磁盘有分区表，请执行下列命令进行删除分区信息，对应的数据也将会被删除。

1.2.2 加入新的osd

1.2.3 确认ods已扩容

1.3 ceph osd数据重新分布

当有新的osd加入集群或者移除了osd，就会把状态上报给Monitor，Monitor知道了osd map发生了变化就会触发rebalancing，确保pg能够平滑的移动到各个osd上。以pg为整体进行数据重平衡，重平衡的过程中可能会影响性能。一次性加入的osd越多，数据rebalancing就越频繁，业务也可能因此受到影响。生产环境中，强烈建议一次只添加一个osd，最大限度的减少性能和业务的影响。

1.3.1 临时关闭rebalance

当在做rebalance的时候，每个osd都会按照osd_max_backfills指定数量的线程来同步,如果该数值比较大，同步会比较快，但是会影响部分性能；另外数据同步时，是走的cluster_network,而客户端连接是用的public_network,生产环境建议这两个网络用万兆网络，较少网络传输的影响！

同样，为了避免业务繁忙时候rebalance带来的性能影响，可以对rebalance进行关闭；当业务比较小的时候，再打开：

1.3.2 开启rebalance

二、osd缩容

当osd对应的硬件磁盘设备损坏或者其他情况，我们需要将磁盘对应的osd剔除集群，进行维护。那么应该怎么做呢？

2.1 剔除osd节点

至此，osd剔除集群完成。