## 案例需求

部署基于nginx分发器的高可用web集群

- 分发器故障自动切换
- 数据服务器自动容错
- 任何机器宕机不中断web业务


### 实验拓扑

![](https://img.centos1.com/blog/202309080823243.jpg)

### 实验环境

| 角色   | IP                             |
| ------ | ------------------------------ |
| client | 192.168.0.10                   |
| master | 192.168.0.40 VIP=192.168.0.150 |
| backup | 192.168.0.41 VIP=192.168.0.150 |
| web1   | 192.168.0.42                   |
| web2   | 192.168.0.43                   |

### 实验步骤

a、配置nginx集群

```
master&backup安装nginx和keepalived
修改nginx配置文件
[root@master ~]# vim /usr/local/nginx/conf/nginx.conf
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
         upstream web {
                server 192.168.0.42 max_fails=2 fail_timeout=3;#3秒内失败2次，则认为此节点失效
                server 192.168.0.43 max_fails=2 fail_timeout=3;
        }
server {
        listen  80;
        server_name     localhost;
        location / {
        proxy_pass http://web;
        }
}
}
```

b、配置keepalived

```
[root@master ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx {	#定义脚本的名称为check_nginx
    script "/etc/keepalived/nginx_pid.sh"	#检查对应位置的文件是否存在
    interval 2	#定义执行间隔为2秒
    fall 1	#失败次数为1次
}
vrrp_instance nginx {	#定义实例名称为nginx
    state MASTER	#定义主机状态
    interface ens33	#定义通信接口，VIP绑定的接口
    mcast_src_ip 192.168.0.40	#定义发送vrrp广播的源地址，模式使用VIP绑定网卡的主IP地址
    virtual_router_id 51#定义VRID，主从设备vrid要抑制
    priority 100#定义优先级
    advert_int 1	#定义检查间隔，默认1秒
    authentication {	#设置认证，同一vrid的设备要抑制
        auth_type PASS	#认证方式为PASS
        auth_pass 1111	#认证密码为1111
    }
    track_script {
        check_nginx	#调用在vrrp_script中定义的内容
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}



[root@backup ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived
global_defs {
    router_id NGINX_DEVEL
}
vrrp_script check_nginx {
    script "/etc/keepalived/nginx_pid.sh"
    interval 2
    fall 1
}
vrrp_instance nginx {
    state BACKUP
    interface ens33
    mcast_src_ip 192.168.0.41
    virtual_router_id 51
    priority 90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        check_nginx
    }
    virtual_ipaddress {
        192.168.0.150/24
    }
}
```

c、构建关联脚本

```
[root@master ~]# vim /etc/keepalived/nginx_pid.sh
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [ $nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [ $nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

[root@backup ~]# vim /etc/keepalived/nginx_pid.sh 
#!/bin/bash
nginx_kp_check () {
    nginxpid=`ps -C nginx --no-header |wc -l`
    if [ $nginxpid -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        sleep 1
        nginxpid=`ps -C nginx --no-header |wc -l`
        if [ $nginxpid -eq 0 ];then
            systemctl stop keepalived
        fi
    fi
}

nginx_kp_check

脚本功能说明：统计nginx进程数量，如果进程数量的值等于0，说明nginx挂了，那么执行/usr/local/nginx/sbin/nginx去启动分发器，等待1秒后再次检查进程数量，如果进程数量的值还是等于0，则执行systemctl stop keepalived停止keepalived服务。这样就停止发组播，释放VIP，而备用服务器就开始接手工作了。
```

### 集群高可用性测试

**集群测试：使用客户端正常访问VIP**

```
[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2
```

在master上down掉nginx服务

```
[root@master ~]# watch -n1 'killall nginx'
每隔秒执行一次killall nginx命令
[root@master ~]# ip add #查看VIP是否还在
[root@backup ~]# ip add	#到backup主机上查看是否有VIP
```

继续测试

```
[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2
```

重启master上的keepalived服务

```
[root@master ~]# ip add	#查看VIP是否飘回来
[root@master ~]# lsof -i :80	#查看nginx是否被启
```

再次测试

```
[root@client ~]# curl 192.168.0.150
web1
[root@client ~]# curl 192.168.0.150
web2
```

**数据服务器宕机测试**

停止web1主机上的web服务

```
[root@web1 ~]# systemctl stop httpd
```

切换到client主机测试

```
[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web2
```

启动web1主机上的web服务

```
[root@web1 ~]# systemctl start httpd
```

切换到client主机测试

```
[root@client ~]# curl 192.168.0.150
web2
[root@client ~]# curl 192.168.0.150
web1
```

构建高可用nginx集群

## 一、lvs+keepalived高可用集群部署

### 案例需求

部署基于LVS DR模式的web高可用集群，实现：

- 实现数据服务器容错
- 实现分发器故障切换
- 任何机器宕机不中断web业务



### 实验环境

六台安装CentOS8的虚拟机一台测试机，两台LVS分发器，一台路由器，两台web服务器，关闭selinux关闭防火墙，停止libvirtd.service服务

| 角色名称 | 接口名称      | IP地址                              |
| -------- | :------------ | ----------------------------------- |
| client   | ens33         | 192.168.1.200                       |
| route    | ens33，ens160 | 192.168.1.1，192.168.2.1            |
| lvs1     | ens33         | 192.168.2.200，192.168.2.100（VIP） |
| lvs2     | ens33         | 192.168.2.150，192.168.2.100（VIP） |
| rs1      | ens33，lo:0   | 192.168.2.220，192.168.2.100（VIP） |
| rs2      | ens33，lo:0   | 192.168.2.210，192.168.2.100（VIP） |

### 实验拓扑图

![](https://img.centos1.com/blog/202309051632125.jpg)

### 实验步骤

a、配置客户端

```
ens33=192.168.1.200
[root@client ~]# route add default gw 192.168.1.1
```

b、设置路由

```
ens33=192.168.1.1
ens160=192.168.2.1

[root@route ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
```

c、设置RS的VIP、网关、内核参数

```
RS1
[root@rs1 ~]# route add default gw 192.168.2.1
[root@rs1 ~]# ifconfig lo:0 192.168.2.100 netmask 255.255.255.255 up
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 

RS2
[root@rs2 ~]# route add default gw 192.168.2.1
[root@rs2 ~]# ifconfig lo:0 192.168.2.100 netmask 255.255.255.255 up
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
[root@rs2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 

安装web服务，生成测试页面
RS1
[root@rs1 ~]# dnf install httpd -y
[root@rs1 ~]# echo "rs1" > /var/www/html/index.html
[root@rs1 ~]# systemctl start httpd.service
RS2
[root@rs2 ~]# dnf install httpd -y
[root@rs2 ~]# echo "rs2" > /var/www/html/index.html
[root@rs2 ~]# systemctl start httpd.service
```

d、设置LVS

```
### LVS1 安装软件包，修改配置文件
[root@lvs1 ~]# dnf install ipvsadm keepalived -y
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   router_id lvs_1
}
vrrp_instance apache {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.2.100/24
    }
}

virtual_server 192.168.2.100 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
#    persistence_timeout 50
    protocol TCP

    real_server 192.168.2.210 80 {
        weight 1
        TCP_CHECK {
              connect_timeout 3
              connect_port 80
            }
        }
    real_server 192.168.2.220 80 {
        weight 1
        TCP_CHECK {
              connect_timeout 3
              connect_port 80
            }
        }
}

### 重启keepalived服务
[root@lvs1 ~]# systemctl start keepalived.service 

### 使用ip add命令查看所设置的VIP是否被设置
[root@lvs1 ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:6d:1c:b3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.200/24 brd 192.168.2.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.2.100/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::474:99dd:c899:455f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever


### LVS2	安装软件包，修改配置文件
[root@lvs2 ~]# dnf install ipvsadm keepalived -y
[root@lvs2 ~]# vim /etc/keepalived/keepalived.conf 
! Configuration File for keepalived

global_defs {
   router_id lvs_1
}
vrrp_instance apache {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 10
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.2.100/24
    }
}

virtual_server 192.168.2.100 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
#    persistence_timeout 50
    protocol TCP

    real_server 192.168.2.210 80 {
        weight 1
        TCP_CHECK {
              connect_timeout 3
              connect_port 80
            }
        }
    real_server 192.168.2.220 80 {
        weight 1
        TCP_CHECK {
              connect_timeout 3
              connect_port 80
            }
        }
}

### 重启keepalived服务
[root@lvs2 ~]# systemctl start keepalived.service
```

e、客户端测试

```
### 客户端验证分发
[root@client ~]# elinks http://192.168.2.100 --dump
   rs1
[root@client ~]# elinks http://192.168.2.100 --dump
   rs2

### 停止lvs1的keepalived服务  验证分发器故障切换
[root@lvs1 ~]# systemctl stop keepalived.service 

使用ip add命令查看VIP是否被释放
[root@lvs1 ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:6d:1c:b3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.200/24 brd 192.168.2.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::474:99dd:c899:455f/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever


切换到lvs2查看VIP是否被设置
[root@lvs2 ~]# ip add
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:5c:a0:66 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.150/24 brd 192.168.2.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet 192.168.2.100/24 scope global secondary ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::5726:cbb9:c37b:d898/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever


切换到客户端测试
[root@client ~]# elinks http://192.168.2.100 --dump
   rs1
[root@client ~]# elinks http://192.168.2.100 --dump
   rs2


### 停止RS1数据服务器查看数据服务器容错
[root@rs1 ~]#  systemctl stop httpd

切换到客户端测试:用户只能访问到RS1的页面
[root@client ~]# elinks http://192.168.2.100 --dump
   rs1
[root@client ~]# elinks http://192.168.2.100 --dump
   rs1
```

提示：使用tcpdump命令可以看到vrrp的相关信息发送信息，深度理解VRRP协议

```
[root@lvs1 ~]# tcpdump -nn -vvv vrrp
```

lvs+keepalived高可用集群部署

# CentOS 7 使用 Percona XtraDB Cluster 部署 MySQL HA 与 VIP 负载均衡
Percona XtraDB Cluster（PXC）是一个高可用、高性能、并且易于扩展的开源数据库解决方案。它基于MySQL数据库，并使用Percona Server和Galera Cluster技术构建。PXC旨在为企业级应用程序提供无缝的可扩展性和高可用性，同时降低操作复杂性和成本。



以下是Percona XtraDB Cluster的一些核心特性：

1. **高可用性**：通过使用Galera Cluster技术，PXC可以实现几乎无停机时间的数据库高可用性。数据库的所有节点都是主节点，可以同时执行写入和读取操作。当一个节点失败时，其他节点可以自动接管并继续提供服务。
2. **数据同步复制**：PXC支持真正的多主同步复制，这意味着在所有节点上的数据更改都会实时同步。这大大减少了数据丢失风险，并确保了数据的一致性。
3. **负载均衡和故障切换**：PXC可以通过负载均衡技术将读写请求分布到各个节点，从而提高系统性能。此外，它还支持自动故障切换，确保数据库服务在节点故障时不间断。
4. **在线模式更改**：PXC允许在不中断服务的情况下添加或删除节点，这意味着可以在不影响应用程序性能的情况下轻松扩展集群。
5. **数据压缩和加密**：PXC支持数据压缩和加密，以降低存储成本并保护数据安全。
6. **备份和恢复**：Percona XtraBackup工具提供了对PXC进行完整、增量和部分备份的能力，同时支持在线备份和恢复，以便在数据丢失或损坏时快速恢复服务。

## 准备工作

确保您有三个运行 CentOS 7 的节点，以便部署三节点 Percona XtraDB Cluster。在本指南中，我们将使用以下 IP 地址和主机名（请根据实际情况替换）：

```
node1: 192.168.100.15
node2: 192.168.100.16
node3: 192.168.100.17
```

修改主机名

```
sudo hostnamectl set-hostname node1
sudo hostnamectl set-hostname node2
sudo hostnamectl set-hostname node3
```

- 修改vhosts

```
192.168.100.15	node1
192.168.100.16	node2
192.168.100.17	node3
```

- 关闭防火墙

```
sudo systemctl stop firewalld
sudo systemctl disable firewalld
```



## 安装 Percona XtraDB Cluster

### 1. 添加 Percona 存储库

在每个节点上，使用以下命令下载并安装 Percona 存储库：

```bash
sudo yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm -y
```

### 2. 启用 Percona 存储库

```bash
sudo percona-release setup pxc57
```

### 3. 安装 Percona XtraDB Cluster

```bash
sudo yum install Percona-XtraDB-Cluster-57 -y
```



## 配置 Percona XtraDB Cluster

### 1. 配置 MySQL

在每个节点上，编辑 `/etc/my.cnf` 配置文件。删除现有的配置（如果有），并添加以下内容（确保在以下配置中替换您的 IP 地址和节点名称）：

```ini
[mysqld]

# Galera Cluster 配置
wsrep_provider=/usr/lib64/galera3/libgalera_smm.so
wsrep_cluster_address=gcomm://192.168.100.15,192.168.100.16,192.168.100.17
wsrep_node_name=mnode1
wsrep_node_address=192.168.100.15
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2

# SST 配置
wsrep_sst_method=xtrabackup-v2
wsrep_sst_auth=sstuser:sstpassword

[client]
socket=/var/lib/mysql/mysql.sock
```

在其他节点上重复此步骤，确保更改 `wsrep_node_name` 和 `wsrep_node_address` 以匹配每个节点的主机名和 IP 地址。

### 2. 初始化第一个节点

在第一个节点上，使用以下命令启动 Percona XtraDB Cluster：

```bash
sudo systemctl start mysql@bootstrap.service
```

### 3.修改密码

```
mysql -uroot -p
ALTER USER 'root'@'localhost' IDENTIFIED BY 'Wxq3012@';
```



### 4.创建同步密码

```
CREATE USER 'sstuser'@'localhost' IDENTIFIED BY 'sstpassword';
GRANT PROCESS, RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost';
FLUSH PRIVILEGES;
```



###  4.在其他节点上启动 Percona XtraDB Cluster

在其他节点上，使用以下命令启动 Percona XtraDB Cluster：

```bash
sudo systemctl start mysql
```

为了测试数据库高可用性，我们将执行以下步骤：

1. 在所有节点上创建测试数据库和表。
2. 插入记录。
3. 模拟故障。
4. 验证故障转移后数据仍可用。

## 步骤 1：在所有节点上创建测试数据库和表

在其中一个节点上登录到 MySQL，然后创建一个测试数据库和表：

```sql
CREATE DATABASE test_db;
USE test_db;
CREATE TABLE test_table (id INT AUTO_INCREMENT PRIMARY KEY, name VARCHAR(50));
```

由于 Percona XtraDB Cluster 是一个同步复制集群，这些更改应该自动传播到所有其他节点。

## 步骤 2：插入记录

在相同的节点上，插入一些记录：

```sql
INSERT INTO test_table (name) VALUES ('John Doe');
INSERT INTO test_table (name) VALUES ('Jane Doe');
```

查询刚刚插入的记录以验证它们已正确插入：

```sql
SELECT * FROM test_table;
```

您应该看到如下输出：

```
+----+----------+
| id | name     |
+----+----------+
|  1 | John Doe |
|  2 | Jane Doe |
+----+----------+
```



## 配置负载均衡和故障转移

我们将使用 `keepalived` 配置虚拟 IP (VIP) 实现负载均衡和故障转移。

### 1. 安装 keepalived

在每个节点上，使用以下命令安装 `keepalived`：

```bash
sudo yum install keepalived -y
```

### 2. 配置 keepalived

在每个节点上，创建 `/etc/keepalived/keepalived.conf` 配置文件，并将以下内容复制到该文件中（确保替换虚拟 IP 地址）：

```ini
vrrp_script chk_mysql {
  script "pidof mysqld"
  interval 2
  weight 2
}

vrrp_instance VI_1 {
  interface eth0
  state BACKUP
  virtual_router_id 51
  priority 100
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass my_password
  }
  virtual_ipaddress {
    192.168.100.28/24 dev eth0
  }
  track_script {
    chk_mysql
  }
}
```

在其他节点上重复此步骤，请注意更改 `priority` 字段的值。在主节点上，将其设置为较高的值（例如 200），在其他节点上将其设置为较低的值（例如 100 和 50）。

### 3. 启动并启用 keepalived

在每个节点上，使用以下命令启动并启用 `keepalived` 服务：

```bash
sudo systemctl start keepalived
sudo systemctl enable keepalived
```

现在，您已经成功在 CentOS 7 上使用 Percona XtraDB Cluster 部署了 MySQL 高可用性集群，并实现了虚拟 IP (VIP) 负载均衡和故障转移。从此，客户端可以使用虚拟 IP 地址连接到集群，实现无缝的负载均衡和故障转移。

Percona XtraDB Cluster（PXC）提供了一套完整的工具和方法来实现备份、恢复和监控。以下是关于PXC备份恢复和切换监控的详细介绍：

## 备份与恢复

对于PXC，可以使用Percona XtraBackup工具进行备份和恢复。Percona XtraBackup是一个开源的热备份解决方案，提供了对InnoDB和XtraDB存储引擎的数据库进行在线备份的能力。

### **备份**

1. 完整备份：要执行完整备份，请在命令行中运行以下命令：

   ````
   xtrabackup --backup --target-dir=/path/to/backup/directory
   ```
   
   ``/path/to/backup/directory`是备份文件存储的目录。
   ````

2. 增量备份：要执行增量备份，请在命令行中运行以下命令：

   ````
   xtrabackup --backup --target-dir=/path/to/incremental/backup/directory --incremental-basedir=/path/to/base/backup/directory
   ```
   
   ``/path/to/incremental/backup/directory`是增量备份文件存储的目录，`/path/to/base/backup/directory`是完整备份文件的目录。
   ````

### **恢复**

1. 准备数据：在恢复之前，需要准备数据。对于完整备份，运行以下命令：

   ````
   xtrabackup --prepare --target-dir=/path/to/backup/directory
   ```
   
   对于增量备份，首先准备完整备份，然后将增量备份应用到完整备份：
   
   ````

   xtrabackup --prepare --apply-log-only --target-dir=/path/to/base/backup/directory
   xtrabackup --prepare --apply-log --target-dir=/path/to/base/backup/directory --incremental-dir=/path/to/incremental/backup/directory

   ```
   
   ```

2. 恢复数据：将准备好的备份数据复制到MySQL数据目录，然后启动MySQL服务：

   ````
   rsync -avr /path/to/backup/directory/ /var/lib/mysql/
   chown -R mysql:mysql /var/lib/mysql
   systemctl start mysql
   ```
   ````

CentOS7使用Percona XtraDB Cluster部署MySQL HA 与VIP负载均衡

以下是在CentOS 7上安装Docker的详细步骤。


### 步骤1：卸载旧版本

如果您以前安装了旧版本的Docker，请先卸载它们。如果您没有安装，请跳过此步骤。

```bash
sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine
```




### 步骤2：安装需要的包

```bash
sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2
```

### 步骤3：设置Docker的稳定仓库

```bash
sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
```

### 步骤4：安装Docker

```bash
sudo yum install docker-ce docker-ce-cli containerd.io
```

### 步骤5：启动Docker

```bash
sudo systemctl start docker
```

### 步骤6：设置Docker自启动

```bash
sudo systemctl enable docker
```

### 步骤7：检查Docker版本

```bash
docker --version
```

如果一切顺利，您应该能够看到安装的Docker版本号。


### 结论

通过按照以上步骤在CentOS 7上安装Docker，您可以开始使用Docker并构建容器化应用程序。

CentOS7安装Docker的详细步骤

# CentOS 7 Ceph共享存储搭建文档

本文档将指导你如何在CentOS 7上搭建Ceph共享存储。Ceph是一个高度可扩展的分布式存储系统，可提供对象、块和文件系统存储。下面是搭建Ceph集群的步骤。


## 1. 系统要求

- 至少3台运行CentOS 7的服务器（一个MON节点和两个OSD节点）
- 每台服务器至少有一个额外的磁盘用于存储数据
- 服务器之间需要有网络互通



## 2. 安装前准备

### 2.1 更新系统并安装必要的软件包

在所有节点上执行以下命令：

```
sudo yum update -y
sudo yum install -y epel-release
sudo yum install -y python-pip
```

### 2.2 配置主机名和hosts文件

在所有节点上设置主机名：

```
sudo hostnamectl set-hostname mon-node
sudo hostnamectl set-hostname osd-node1
sudo hostnamectl set-hostname osd-node2
```

在所有节点的`/etc/hosts`文件中添加以下内容：

```
<mon-node-ip> mon-node
<osd-node1-ip> osd-node1
<osd-node2-ip> osd-node2
```

## 3. 安装Ceph

### 3.1 添加Ceph存储库

在所有节点上执行以下命令：

```
sudo rpm -Uvh https://download.ceph.com/rpm-nautilus/el7/noarch/ceph-release-1-1.el7.noarch.rpm
```

### 3.2 安装Ceph

在所有节点上执行以下命令：

```
sudo yum install -y ceph  ceph-deploy
```

## 4. 配置Ceph集群

### 4.1 创建Ceph集群

在MON节点上执行以下命令：

```
sudo ceph-deploy new mon-node
```

### 4.2 修改Ceph配置文件

在MON节点的`ceph.conf`文件中添加以下内容：

```
osd pool default size = 2
osd pool default min size = 1
osd pool default pg num = 128
osd pool default pgp num = 128
```

### 4.3 安装Ceph Monitor和Manager

在MON节点上执行以下命令：

```
sudo ceph-deploy mon create-initial
sudo ceph-deploy mgr create mon-node
```

### 4.4 安装Ceph OSD

在所有OSD节点上执行以下命令（将`<osd-disk>`替换为要用于存储数据的磁盘）：

```
sudo ceph-deploy osd create --data <osd-disk> osd-node1
sudo ceph-deploy osd create --data <osd-disk> osd-node2
```

### 4.5 复制Ceph配置文件和密钥

在MON节点上执行以下命令：

```
sudo ceph-deploy admin mon-node osd-node1 osd-node2
```

## 5. 验证Ceph集群状态

### 5.1 查看Ceph集群健康状态

在MON节点上执行以下命令：

```
sudo ceph health
```

如果一切正常，你会看到`HEALTH_OK`的输出。

### 5.2 查看Ceph集群状态

在MON节点上执行以下命令：

```
sudo ceph -s
```

输出将显示集群的详细信息，包括监视器、管理器、OSD和PG（Placement Group）的状态。

## 6. 创建Ceph Pool

### 6.1 创建Ceph对象存储池

在MON节点上执行以下命令（将`<pool-name>`替换为你选择的池名称）：

```
sudo ceph osd pool create <pool-name> 128
```

### 6.2 查看已创建的Ceph池

在MON节点上执行以下命令：

```
sudo ceph osd lspools
```

输出将显示所有已创建的池及其ID。

## 7. 使用Ceph块设备（RBD）

### 7.1 创建RBD映像

在MON节点上执行以下命令（将`<pool-name>`替换为你选择的池名称，将`<image-name>`替换为你选择的映像名称，将`<image-size>`替换为映像大小）：

```
sudo rbd create <pool-name>/<image-name> --size <image-size> --image-feature layering
```

### 7.2 查看RBD映像列表

在MON节点上执行以下命令（将`<pool-name>`替换为你选择的池名称）：

```
sudo rbd ls <pool-name>
```

输出将显示所有已创建的RBD映像。

## 8. 设置CephFS（Ceph文件系统）

### 8.1 创建元数据服务器（MDS）

在MON节点上执行以下命令：

```
sudo ceph-deploy mds create mon-node
```

### 8.2 创建CephFS文件系统

在MON节点上执行以下命令（将`<pool-name>`替换为你选择的数据池和元数据池的名称）：

```
sudo ceph osd pool create <data-pool-name> 128
sudo ceph osd pool create <metadata-pool-name> 128
sudo ceph fs new cephfs <metadata-pool-name> <data-pool-name>
```

### 8.3 挂载CephFS

在客户端节点上安装Ceph客户端：

```
sudo yum install -y ceph-fuse
```

挂载CephFS（将`<mon-node-ip>`替换为MON节点的IP地址）：

```
sudo mkdir /mnt/cephfs
sudo ceph-fuse /mnt/cephfs -m <mon-node-ip>:6789
```

## 9. 故障排查

如果遇到问题，可以查看Ceph相关日志，位于`/var/log/ceph`目录下。

## 10. 参考文档

- [Ceph官方文档](http://docs.ceph.com)

- [Ceph Block Device（RBD）官方文档](https://docs.ceph.com/en/latest/rbd/)
- [CephFS官方文档](https://docs.ceph.com/en/latest/cephfs/)

## 11. 扩展Ceph集群

### 11.1 添加新的MON节点

在新的MON节点上执行以下命令：

```
sudo ceph-deploy mon add <new-mon-node>
```

### 11.2 添加新的OSD节点

在新的OSD节点上执行以下命令（将`<osd-disk>`替换为要用于存储数据的磁盘）：

```
sudo ceph-deploy osd create --data <osd-disk> <new-osd-node>
```

### 11.3 添加新的MDS节点

在新的MDS节点上执行以下命令：

```
sudo ceph-deploy mds create <new-mds-node>
```

## 12. 移除Ceph组件

如果需要移除Ceph组件，可以使用以下命令：

### 12.1 移除OSD

在MON节点上执行以下命令（将`<osd-id>`替换为要移除的OSD的ID）：

```
sudo ceph osd out <osd-id>
sudo ceph osd crush remove osd.<osd-id>
sudo ceph auth del osd.<osd-id>
sudo ceph osd rm <osd-id>
```

在OSD节点上执行以下命令：

```
sudo systemctl stop ceph-osd@<osd-id>
sudo systemctl disable ceph-osd@<osd-id>
```

### 12.2 移除MON

在MON节点上执行以下命令（将`<mon-id>`替换为要移除的MON的ID）：

```
sudo ceph mon remove <mon-id>
```

### 12.3 移除MDS

在MON节点上执行以下命令（将`<mds-id>`替换为要移除的MDS的ID）：

```
sudo ceph mds rm <mds-id> --yes-i-really-mean-it
```

在MDS节点上执行以下命令：

```
sudo systemctl stop ceph-mds@<mds-id>
sudo systemctl disable ceph-mds@<mds-id>
```

## 13. 结论

现在你已经成功搭建了一个Ceph共享存储集群，并学会了如何创建和管理Ceph对象、块和文件系统存储。你还了解了如何扩展和移除Ceph集群中的组件。希望这个指南能帮助你更好地理解和使用Ceph.