MQ全称为Message Queue, (MQ)是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信,直接调用通常是用于诸如的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。其中较为成熟的MQ产品有IBM WEBSPHERE MQ等等。
MQ特点
是消费-生产者模型的一个典型的代表,一端往 中不断写入消息,而另一端则可以读取或者订阅队列中的消息。MQ和 类似,但不同的是JMS是SUN JAVA 服务的一个标准和API定义,而MQ则是遵循了AMQP协议的具体实现和产品。
使用场景
在项目中,将一些无需即时返回且耗时的操作提取出来,进行了 ,而这种异步处理的方式大大的节省了服务器的 ,从而提高了系统的吞吐量。
含义
RabbitMQ是一个在 基础上完成的,可复用的企业消息系统。他遵循Mozilla Public License 。
安装
4.1)安装ERLANG
首先,因为RabbitMQ由ERLANG实现,下载ERLANG 。
解压源代码至ERLANG,然后进入$ERLANG目录下
安装依赖包:
Yum install tk
Yum install tcl
Yum install unixODBC
进入$ERLANG.编译ERLANG
./configure –prefix=/usr/local/erlang
./make
./make install
并将erlang bin目录加至PATH
4.2)安装RabbitMQ
下载RabbitMQ ,解压至$RMQ。
启动RabbitMQ
./bin/rabbitmq-server
客户端
import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory;
public class Send { private final static String QUEUE_NAME = "hello";
public static void main(String[] args) throws.IOException{ ConnectionFactory factory = new ConnectionFactory(); factory.setHost("localhost"); Connection connection = factory.newConnection(); Channel channel = connection.createChannel(); channel.queueDeclare(QUEUE_NAME, false, false, false, null); String message = "Hello World!"; channel.basicPublish("", QUEUE_NAME, null, message.getBytes()); System.out.println(" [x] Sent '" + message + "'"); channel.close(); connection.close(); } }
消费者端
public class RabbitMQRecv { private final static String QUEUE_NAME = "hello";
public static void main(String avg[]) throws.IOException, java.lang.InterruptedException { ConnectionFactory factory = new ConnectionFactory(); factory.setHost("localhost"); Connection connection = factory.newConnection(); Channel channel = connection.createChannel(); channel.queueDeclare(QUEUE_NAME, false, false, false, null); System.out.println(" [*] Waiting for messages. To exit press CTRL+C"); QueueingConsumer consumer = new QueueingConsumer(channel); channel.basicConsume(QUEUE_NAME, true, consumer); while (true) { QueueingConsumer.Delivery delivery = consumer.nextDelivery(); String message = new String(delivery.getBody()); System.out.println(" [x] Received '" + message + "'"); } } }
几个概念
Exchange:交换机,决定了消息路由规则;
Queue:消息队列;
Channel:进行消息读写的通道;
Bind:绑定了Queue和Exchange,意即为符合什么样路由规则的消息,将会放置入哪一个 ;
消息持久
1) 将交换机置为可持久;
2) 将通道置为可持久
3) 消息发送时设置可持久。
当我们“生产”了一条可持久化的消息,尝试中断MQ服务,启动消费者获取消息,消息依然能够恢复。相反,则抛出异常。
入门介绍
基本概念
RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP(高级消息队列协议)的标准实现。如果不熟悉AMQP,直接看RabbitMQ的文档会比较困难。不过它也只有几个关键概念,这里简单介绍。
RabbitMQ的结构图如下:
几个概念说明:
Broker:简单来说就是消息队列服务器实体。 Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。 Queue:消息队列载体,每个消息都会被投入到一个或多个队列。 Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来。 Routing Key:路由关键字,exchange根据这个关键字进行消息投递。 vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离。 producer:消息生产者,就是投递消息的程序。 consumer:消息消费者,就是接受消息的程序。 channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务。
消息队列的使用过程大概如下:
(1)客户端连接到消息队列服务器,打开一个channel。 (2)客户端声明一个exchange,并设置相关属性。 (3)客户端声明一个queue,并设置相关属性。 (4)客户端使用routing key,在exchange和queue之间建立好绑定关系。 (5)客户端投递消息到exchange。
exchange接收到消息后,就根据消息的key和已经设置的binding,进行消息路由,将消息投递到一个或多个队列里。
exchange也有几个类型,完全根据key进行投递的叫做Direct交换机,例如,绑定时设置了routing key为”abc”,那么客户端提交的消息,只有设置了key为”abc”的才会投递到队列。对key进行模式匹配后进行投递的叫做Topic交换机,符号”#”匹配一个或多个词,符号”*”匹配正好一个词。例如”abc.#”匹配”abc.def.ghi”,”abc.*”只匹配”abc.def”。还有一种不需要key的,叫做Fanout交换机,它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。
RabbitMQ支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括3个部分: (1)exchange持久化,在声明时指定durable => 1 (2)queue持久化,在声明时指定durable => 1 (3)消息持久化,在投递时指定delivery_mode => 2(1是非持久化)
如果exchange和queue都是持久化的,那么它们之间的binding也是持久化的。如果exchange和queue两者之间有一个持久化,一个非持久化,就不允许建立绑定。
应用实际
使用Linux服务器(ubuntu 9.10 64位),安装RabbitMQ非常方便。
先运行如下命令安装erlang:
apt-get install erlang-nox
下载RabbitMQ的安装包,如下安装:
dpkg -i rabbitmq-server_2.6.1-1_all.deb
安装完后,使用
/etc/init.d/rabbitmq-server start|stop|restart
来启动、停止、重启rabbitmq。
在正式应用之前,先在RabbitMQ里创建一个vhost,加一个用户,并设置该用户的权限。
使用rabbitmqctl客户端工具,在根目录下创建”/pyhtest”这个vhost:
rabbitmqctl add_vhost /pyhtest
创建一个用户名”pyh”,设置密码”pyh1234″:
rabbitmqctl add_user pyh pyh1234
设置pyh用户对/pyhtest这个vhost拥有全部权限:
rabbitmqctl set_permissions -p /pyhtest pyh “.*” “.*” “.*”
后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限
设置好后,开始编程,用Perl写一个消息投递程序(producer):
#!/usr/bin/perl use strict; use Net::RabbitMQ; use UUID::Tiny;
my $channel = 1000; # channel ID,可以随意指定,只要不冲突 my $queuename = “pyh_queue”; # 队列名 my $exchange = “pyh_exchange”; # 交换机名 my $routing_key = “test”; # routing key
my $mq = Net::RabbitMQ->new(); # 创建一个RabbitMQ对象
$mq->connect(“localhost”, { vhost => “/pyhtest”, user => “pyh”, password => “pyh1234″ }); # 建立连接 $mq->channel_open($channel); # 打开一个channel $mq->exchange_declare($channel, $exchange, {durable => 1}); # 声明一个持久化的交换机 $mq->queue_declare($channel, $queuename, {durable => 1}); # 声明一个持久化的队列 $mq->queue_bind($channel, $queuename, $exchange, $routing_key); # 使用routing key在交换机和队列间建立绑定
for (my $i=0;$i<10000000;$i++) { # 循环1000万次 my $string = create_UUID_as_string(UUID_V1); # 产生一条UUID作为消息主体 $mq->publish($channel, $routing_key, $string, { exchange => $exchange }, { delivery_mode => 2 }); # 将消息结合key以持久化模式投递到交换机 }
$mq->disconnect(); # 断开连接
消息接受程序(consumer)大概如下:
#!/usr/bin/perl use strict; use Net::RabbitMQ;
my $channel = 1001; my $queuename = “pyh_queue”; my $mq = Net::RabbitMQ->new();
$mq->connect(“localhost”, { vhost=>”/pyhtest”, user => “pyh”, password => “pyh1234″ }); $mq->channel_open($channel);
while (1) { my $hashref = $mq->get($channel, $queuename); last unless defined $hashref; print $hashref->{message_count}, “: “, $hashref->{body},”\n”; }
$mq->disconnect();
consumer连接后只要指定队列就可获取到消息。
上述程序共投递1000万条消息,每条消息36字节(UUID),打开持久化,共耗时17分多钟(包括产生UUID的时间),每秒投递消息约9500条。测试机器是8G内存、8赫兹CPU。
投递完后,在/var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent目录,产生2G多的持久化消息数据。在运行consumer程序后,这些数据都会消失,因为消息已经被消费了。
集群配置
单机环境下的集群配置:
首先启动两个实例,rab和rab2,端口分别为9991和9992
RABBITMQ_NODE_PORT=9991 RABBITMQ_NODENAME=rab rabbitmq-server -detached
RABBITMQ_NODE_PORT=9992 RABBITMQ_NODENAME=rab2 rabbitmq-server -detached
二:停止rab2,并将其加入cluster集群中
rabbitmqctl -n rab2 stop_app
rabbitmqctl -n rab2 join_cluster rab@rab(@rab,这里的rab表示主机名)
重新启动rab2
RABBITMQ_NODE_PORT=9992 RABBITMQ_NODENAME=rab2 rabbitmq-server -detached
查看集群的状态
rabbitmqctl cluster_status -n rab
显示如下信息表示集群配置正常:
Cluster status of node rab@rab ... [{nodes,[{disc,[rab2@rab,rab@rab]}]}, {running_nodes,[rab@rab]}, {partitions,[]}] ...done.