rocketmq下载安装
centos7手动安装rocketmq | 小鹏驿站 (gitee.io)
集群模式配置
集群搭建介绍
- 本次采用两台虚拟机,
192.168.101.132:MASTER1/SLAVE2
,192.168.101.131:MASTER2/SLAVE1
- 使用
2m-2s-sync
配置下的配置文件
HOST配置(在两台虚拟机中修改)
vim /etc/hosts
- 配置文件如下
192.168.101.132 rocketmq-nameserver1
192.168.101.131 rocketmq-nameserver2
192.168.101.132 rocketmq-master1
192.168.101.132 rocketmq-slave2
192.168.101.131 rocketmq-master2
192.168.101.131 rocketmq-slave1
- 确保两台机器通信(可以关闭防火墙或者开放端口)
环境变量配置(在两台虚拟机中修改)
vim /etc/profile
- 在最后加入如下配置
#ROCKETMQ_HOME
ROCKETMQ_HOME=/opt/module/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export PATH ROCKETMQ_HOME PATH
- 使配置生效
source /etc/profile
创建消息存储位置
#主
mkdir /opt/module/rocketmq/store
mkdir /opt/module/rocketmq/store/commitlog
mkdir /opt/module/rocketmq/store/consumequeue
mkdir /opt/module/rocketmq/store/index
#拷贝一份作为从节点的配置
cp -r /opt/module/rocketmq/store /opt/module/rocketmq/store-slave
修改broker配置文件
MASTER1(192.168.101.132)
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-a.properties
修改配置如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
SLAVE2(192.168.101.132)
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-b-s.properties
修改配置如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store-slave
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store-slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store-slave/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store-slave/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store-slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
MASTER2(192.168.101.131)
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-b.properties
修改配置如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
SLAVE1(192.168.101.131)
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-a-s.properties
修改配置如下:
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store-slave
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store-slave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store-slave/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store-slave/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store-slave/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store-slave/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
启动集群
启动NameServer集群
- 分别在
192.168.101.132
,192.168.101.131
执行如下命令
cd /opt/module/rocketmq/bin
sh mqnamesrv &
启动broker集群
- 在
192.168.101.132
启动MASTER1和SLAVE2
cd /opt/module/rocketmq/bin
#启动MASTER1
sh mqbroker -c ../conf/2m-2s-sync/broker-a.properties &
#启动SLAVE2
sh mqbroker -c ../conf/2m-2s-sync/broker-b-s.properties &
- 在
192.168.101.131
启动MASTER2和SLAVE1
cd /opt/module/rocketmq/bin
#启动MASTER2
sh mqbroker -c ../conf/2m-2s-sync/broker-b.properties &
#启动SLAVE1
sh mqbroker -c ../conf/2m-2s-sync/broker-a-s.properties &
验证启动成功
使用jps查看状态
jps
查看日志
# 查看nameServer日志
tail -500f /opt/module/rabbitmq/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f /opt/module/rabbitmq/logs/rocketmqlogs/broker.log
注意
- 旧版本主从节点storePath可以在同一个路径下,新版本需要两个不同路径