How we redesigned the NSQ - NSQ重塑之详细设计
之前的文章讲述了我们重塑NSQ的目的和目标,接下来我们将详细描述下每个功能的具体技术细节.重构后架构图首先,看一下重构后的整体架构图:原来的几个NSQ组件大部分功能是复用的,图中新增的就是元数据存储服务-etcd,以及数据同步和HA处理逻辑.改造topicqueue为了增加副本和其他特性,首先需要改造的就是nsq的topic数据写入方式,要保证数据最终落盘,才能继续后面的改造.所以我们第一步重构数据写入逻辑,这块逻辑本身并不依赖分布式功能,可以独立重构.数据落盘原版的topic写入流程是通过golang里面的chan来做的,只有超过chan容量之后,才会落盘.但是chan有几个缺点,首先是内存数据,数据会丢,其次是只能两端操作,无法做更多丰富的查询操作.因此chan本身作为数据存储方案对于持久化数据是不太合适的.改造这块的逻辑还是比较简单的,只要把原来写chan满之后的数据才落盘的逻辑直接改成任何数据都落盘即可.但是这样修改之后,第一是由于IO操作比内存耗时,导致写入速度不
消息中间件NSQ深入与实践
1.介绍最近在研究一些消息中间件，常用的MQ如RabbitMQ,ActiveMQ,Kafka等。NSQ是一个基于Go语言的分布式实时消息平台，它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。官方和第三方还为NSQ开发了众多客户端功能库，如官方提供的基于HTTP的nsqd、Go客户端go-nsq、Python客户端pynsq、基于Node.js的JavaScript客户端nsqjs、异步C客户端libnsq、Java客户端nsq-java以及基于各种语言的众多第三方客户端功能库。1.1Features1).DistributedNSQ提供了分布式的，去中心化，且没有单点故障的拓扑结构，稳定的消息传输发布保障，能够具有高容错和HA（高可用）特性。2).Scalable易于扩展NSQ支持水平扩展，没有中心化的brokers。内置的发现服务简化了在集群中增加节点。同时支持pub-sub和load-balanced的消息分发。3).OpsFriendlyNSQ非常容易配置和部署
RabbitMQ项目使用之死信队列
消息消费失败处理方式:一进入死信队列(进入死信的三种方式)1.消息被拒绝（basic.rejectorbasic.nack）并且requeue=false2.消息TTL过期过期时间3.队列达到最大长度DLX也是一下正常的Exchange同一般的Exchange没有区别，它能在任何的队列上被指定，实际上就是设置某个队列的属性，当这个队列中有死信时，RabbitMQ就会自动的将这个消息重新发布到设置的Exchange中去，进而被路由到另一个队列，publish可以监听这个队列中消息做相应的处理，这个特性可以弥补RabbitMQ3.0.0以前支持的immediate参数中的向publish确认的功能。rabbitmq的三种模式：一.FanoutExchange广播所有发送到FanoutExchange的消息都会被转发到与该Exchange绑定(Binding)的所有Queue上。FanoutExchange不需要处理RouteKey。只需要简单的将队列绑定到exchange上。这样发送
RabbitMQ使用详解
刚刚用了，记录下来，以后忘了，方便能够快速想起来。首先说明，由于RabbitMQ服务端非JAVA,C++语言，当然也就看不懂，所以本文的理解都是过于主观的。一，RabbitMQ服务端搭建推荐最好的安装方式：去官网，去官网，去官网，重要的事情说三遍。我一般的操作流程是：用google右上角翻译网页，然后看个大概意思，然后再显示原网页，一个单词单词的看。还是总结一下Ubuntu,RabbitMQ安装步骤（依次执行下面四条命令就ok了）：1，echo'debhttp://www.rabbitmq.com/debian/testingmain'|sudotee/etc/apt/sources.list.d/rabbitmq.list2，wget-O-https://www.rabbitmq.com/rabbitmq-release-signing-key.asc|sudoapt-keyadd-3，sudoapt-getupdate4，sudoapt-getinstallrabbitmq-server
对话Confluent CTO ：针对Kafka的分布式流数据查询引擎KSQL技术解读
Confluent发布KSQL：针对ApacheKafka的交互式、分布式流SQL引擎。KSQL能够更容易地对ApacheKafka的主题进行多种流处理操作，比如聚合（aggregation）、连接（join）、时间窗口（windowing）以及会话（sessionization）。Confluent是在最近于旧金山举行的Kafka峰会上宣布开源这个流数据SQL引擎的。KSQL允许开发人员以类似SQL的语法读取、写入和处理实时的流数据。关于流处理方面的样例，包括对比两个或更多的流数据来探测反常现象并实时对其作出反应。与其他的分布式流和SQL框架不同的是，KSQL为ApacheKafka提供了一个流数据SQL引擎。在KSQL之前，开发人员需要使用Java或Python编程来处理Kafka中的流数据。NehaNarkhede是Confluent的联合创始人兼CTO，在博客上阐述了KSQL框架的特性和使用场景，它可以用到诸如异常检测（anomalydetection）、监控和流式ETL中。在底层，KSQL使用Kaf
Kafka迎来1.0.0版本，正式告别四位数版本号
Kafka从首次发布之日起，已经走过了七个年头。从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，用于发布和订阅、存储及实时地处理大规模流数据。来自世界各地的数千家公司在使用Kafka，包括三分之一的500强公司。Kafka以稳健的步伐向前迈进，首先加入了复制功能和无边界的键值数据存储，接着推出了用于集成外部存储系统的ConnectAPI，后又推出了为实时应用和事件驱动应用提供原生流式处理能力的StreamsAPI，并于今年春季开始支持仅一次处理语义。如此广泛的应用和完备的功能以及如此悠久的历史，无一不在说明Kafka已经成为一款稳定的企业级产品。而更为激动人心的是，Kafka现在正式迎来了1.0.0版本！Kafka1.0.0发布的主要内容如下。0.10.0版本里开始引入的StreamsAPI在1.0.0版本里继续演进，改进了builderAPI（KIP-120），新增了用于查看运行时活跃任务的API（KIP-130）和用于聚合分区的cogroupAPI（KIP-150）。增强的print()和w
SSM(十七) MQ应用
前言写这篇文章的起因是由于之前的一篇关于Kafka异常消费，当时为了解决问题不得不使用临时的方案。总结起来归根结底还是对Kafka不熟悉导致的，加上平时工作的需要，之后就花些时间看了Kafka相关的资料。何时使用MQ谈到Kafka就不得不提到MQ，是属于消息队列的一种。作为一种基础中间件在互联网项目中有着大量的使用。一种技术的产生自然是为了解决某种需求，通常来说是以下场景：需要跨进程通信：B系统需要A系统的输出作为输入参数。当A系统的输出能力远远大于B系统的处理能力。针对于第一种情况有两种方案:使用RPC远程调用,A直接调用B。使用MQ,A发布消息到MQ,B订阅该消息。当我们的需求是:A调用B实时响应，并且实时关心响应结果则使用RPC，这种情况就得使用同步调用。反之当我们并不关心调用之后的执行结果，并且有可能被调用方的执行非常耗时，这种情况就非常适合用MQ来达到异步调用目的。比如常见的登录场景就只能用同步调用的方式，因为这个过程需要实时的响应结果，总不能在用户点了登录之后排除网
恶意样本分析手册–特殊方法篇
阅读：1windows服务是由三个组件构成的：服务应用，服务控制程序SCP，以及服务控制管理器SCM，当SCM启动一个服务进程时，该进程必须立即调用StartServiceCtrlDispatcher函数。StartServiceCtrlDispatcher函数接受一个入口点列表，每个入口点对应于该进程中的一个服务。文章目录调试服务程序服务简介windows服务是由三个组件构成的：服务应用，服务控制程序SCP，以及服务控制管理器SCM，当SCM启动一个服务进程时，该进程必须立即调用StartServiceCtrlDispatcher函数。StartServiceCtrlDispatcher函数接受一个入口点列表，每个入口点对应于该进程中的一个服务。每个入口点是由它所对应的服务的名称来标识的。StartServiceCtrlDispatcher创建了一个命名管道来跟SCM进行通信，在建立了该通信管道以后，它等待SCM通过该管道发送过来的命令。每次SCM启动一个属于该进程的服务时，它发送一个“服务启动”命令。StartService
MQTT——连接报文
学习MQTT协议。如果只是看了相关文档就认为可以了。那是一个错误的观念。笔者为了能更好的去理解MQTT协议。看了不少相关的开源Broker的项目。可惜这些项目一般都是不完全的。不过从这些项目中笔者至少发现他们大部都是通过Netty这个通信框架来完成的。哪怕是大型项目ActiveMQ也脱不了俗。特别是商用HiveMQ更是列为重要的一部分。所以笔者接下来会用Netty框架来实现一些代码。这样子有助于我们去理解MQTT协议。本节笔者会来讲连接报文(CONNECT)。可以说他是所有报文的基础。所有的动作都必须在连接之上操作。我们都知道MQTT是基于TCP/IP网络协议的。并以字节流传输的。他的行为动作更为简单。如下我们可以知道连接会用到俩个报文类型类——CONNECT报文和CONNACK报文。其中CONNECT报文比较复杂一点。可以说是所有报文中信息种类最多的。CONNACK报文的最大特点就是没有有效载荷部分。接下笔者就会讲解一下连接的相关行为。同时也希望读者们记住笔者这里讲的一般是MQTT3.1和MQTT3.1.1的协议。
重磅发布：Kafka迎来1.0.0版本，正式告别四位数版本号
作者：Natalie&VincentKafka从首次发布之日起，已经走过了七个年头。从最开始的大规模消息系统，发展成为功能完善的分布式流式处理平台，用于发布和订阅、存储及实时地处理大规模流数据。来自世界各地的数千家公司在使用Kafka，包括三分之一的500强公司。Kafka以稳健的步伐向前迈进，首先加入了复制功能和无边界的键值数据存储，接着推出了用于集成外部存储系统的ConnectAPI，后又推出了为实时应用和事件驱动应用提供原生流式处理能力的StreamsAPI，并于今年春季开始支持仅一次处理语义。如此广泛的应用和完备的功能以及如此悠久的历史，无一不在说明Kafka已经成为一款稳定的企业级产品。而更为激动人心的是，Kafka现在正式迎来了1.0.0版本！Kafka1.0.0发布的主要内容如下：0.10.0版本里开始引入的StreamsAPI在1.0.0版本里继续演进，改进了builderAPI（KIP-120），新增了用于查看运行时活跃任务的API（KIP-130）和用于聚合分
Kafka的复制机制
最近在设计一个多分区多副本的消息系统，以前对kafka有一些了解，在阅读了阿里的RocketMQ、小米的Pegasus等分布式系统后，再仔细阅读的kafka的复制设计，整理出本篇文档，可以和其它系统做一个对比。Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持流式处理。7年过去了，kafka已经成为一个羽翼丰满的发布订阅平台、消息存储、流处理的工具。财富500强企业中有三分之一的公司使用了kafka平台。也就是在昨天(2017年11月1日)，kafka发布了它的1.0.0版本。本文主要参考了JunRao的Intra-clusterReplicationinApacheKafka,JunRao毕业于清华大学，哥读到博士，后来在IBM、LinkedIn工作，在LinkedIn期间任
消费者应答（ACK）和发布者确认（Confirm）
这篇文章翻译自：http://www.rabbitmq.com/confirms.html译注：这里将ConsumerAcknowledgements翻译为消费者应答，将Acknowledgement简称为Ack，Acknowledgement本意是应答或者承认，肯定的应答实际产生确认的效果。PublisherConfirms翻译为发布者确认，Confirm本意是通过再次检查确认某些事是正确的，但是RabbitMQ代理也可能向发布者返回消息接收失败。引言如果系统使用类似RabbitMQ这种分布式的消息代理，因为协议方法（消息）发送不保证到达节点或者被节点成功处理，所以发布者和消费者都需要某种机制来对投递和处理进行确认。RabbitMQ的一些消息协议支持这些功能。这篇指南将涵盖AMQP0-9-1中的这些功能，其想法与其它一些协议（STOMP,MQTT等等）大致相同。在AMQP0-9-1中从消费者到RabbitMQ的投递处理确认被称为应答，代理对发布者的确认是一个协议扩展，称为发布者确认。（消费者）投递应答当Rabb
正式版来袭！Kafka 1.0发布，告别4位数版本号；Angular 5.0和Node.js 9.0迎重大更新
承诺更小、更快、更平滑，延迟一个月，Angular5.0正式来袭；Kafka迎来1.0.0版本，正式告别四位数版本号；快速迭代，Node.js迎来9.0正式版。Angular5.0正式发布，改进编译器在今年的ng-conf大会上，官方宣布Angular5将主打三个方面：简单、速度、大小和更新。并承诺Angular5会比Angular4.x更小更快，应用程序的编译会更简单，版本的更新也会更顺利。之前一直困扰用户的“Just-in-Time”和“Ahead-of-Time”也会得到解决，为了减少差异，“Ahead-of-Time”将会被设置为默认编译器。如今，Angular5.0正式发布，让我们看看它带来了哪些值得关注的内容：1、构建优化5.0版本默认采用CLI构建和打包。构建优化器是包含在CLI里面的一个工具，通过对你的应用程序更加语义化的理解可以使得你的打包程序(bundle)更小。2、服务端状态转换和DOM支持有了这个支持，可以让应用程序在服务器端和客户端版之间共享状态
分布式消息队列 RocketMQ 源码分析 —— Filtersrv
������关注微信公众号：【芋道源码】有福利：RocketMQ/MyCAT/Sharding-JDBC所有源码分析文章列表RocketMQ/MyCAT/Sharding-JDBC中文注释源码GitHub地址您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。新的源码解析文章实时收到通知。每周更新一篇左右。认真的源码交流微信群。1.概述Filtersrv，负责自定义规则过滤Consumer从Broker拉取的消息。为什么Broker不提供过滤消息的功能呢？我们来看看官方的说法：Broker端消息过滤在Broker中，按照Consumer的要求做过滤，优点是减少了对于Consumer无用消息的网络传输。缺点是增加了Broker的负担，实现相对复杂。(1).淘宝Notify支持多种过滤方式，包含直接按照消息类
如何在 Apache Kafka 中通过 KSQL 分析 Twitter 数据
介绍KSQL是ApacheKafka中的开源的流式SQL引擎。它可以让你在Kafka主题topic上，使用一个简单的并且是交互式的SQL接口，很容易地做一些复杂的流处理。在这个短文中，我们将看到如何轻松地配置并运行在一个沙箱中去探索它，并使用大家都喜欢的演示数据库源：Twitter。我们将从推文的原始流中获取，通过使用KSQL中的条件去过滤它，来构建一个聚合，如统计每个用户每小时的推文数量。Confluent首先，获取一个Confluent平台的副本。我使用的是RPM包，但是，如果你需要的话，你也可以使用tar、zip等等。启动Confluent系统：$confluentstart（如果你感兴趣，这里有一个Confluent命令行的快速教程）我们将使用KafkaConnect从Twitter上拉取数据。这个Twitter连接器可以在GitHub上找到。要安装它，像下面这样操作：#Clonethegitrepocd/home/rmo
panic: interface conversion: interface {} is nil, not chan *sarama.ProducerError
使用golangkafkasarama包时，遇到如下问题：高并发情况下使用同步syncproducer，偶尔遇到crash:panic:interfaceconversion:interface{}isnil,notchan*sarama.ProducerErrorgoroutine413[running]:github.com/Shopify/sarama.(*syncProducer).handleSuccesses(0xc420384840)/home/lanyang/github.com/Shopify/sarama/sync_producer.go:147+0x139github.com/Shopify/sarama.handleSuccesses)-fm()/home/lanyang/src/github.com/Shopify/sarama/sync_producer.go:76+0x2fgithub.com/Shopify/sar
MQTT——编写连接报文
笔者在上一章对连接报文进行了相关的讲解。这一章笔者想写一个连接报文的例子来加深理解。本来这一章也应该在上一章出现的。可是笔者怕太长了。不好方便阅。所以决定分俩章来。正如笔者上一章所讲的。笔者会用Netty通信框架进行编写。主要因为Netty已经为我们集成了相关MQTT功能。开发环境开发工具：intellijidea.(以前我一直在eclipse。最近新版的老报错。所以就放弃了)Netty包：netty-all-4.1.16.Final.jar。下载网站：http://netty.io/downloads.htmlJDK：JAVA8第三包：commons-lang3-3.6.jar。下载网站：http://commons.apache.org/proper/commons-lang/download_lang.cgiMQTT编写在这里笔者并不打包把客户端的代码一起编写出。事实上关于客户端的开源的代码是非常多的。笔者这里只会略微的编写一下服务端的代码。当然这里代码只是为方更了解MQTT协议。并非企业级的编蜜枣这
kafka集群搭建（windows环境下）
一、简介Kafka是一个实现了分布式的、具有分区、以及复制的日志的一个服务。它通过一套独特的设计提供了消息系统中间件的功能。它是一种发布订阅功能的消息系统。1、名词介绍Message消息，就是要发送的内容，一般包装成一个消息对象。Topic通俗来讲的话，就是放置“消息”的地方，也就是说消息投递的一个容器。假如把消息看作是信封的话，那么Topic就是一个邮箱Partition&&LogPartition分区，可以理解为一个逻辑上的分区，像是我们电脑的磁盘C:,D:,E:盘一样,Kafka为每个分区维护着一份日志Log文件。Producers（生产者）和其他消息队列一样，生产者通常都是消息的产生方。在Kafka中它决定消息发送到指定Topic的哪个分区上。Consumers（消费者）消费者就是消息的使用者，在消费者端也有几个名词需要区分一下。一般消息队列有两种模式的消费方式，分别是队列模式和订阅模式。队列模式：一对一，就是一个消息只能被一个消费者消费，不能重复
线上服务故障处理原则
墨菲定律任何事情都没有表面看起来那么简单所有事情的发展都会比你预计的时间长会出错的事情总会出错如果担心某个事情发生，那么它更有可能发生墨菲定律暗示我们，如果担心某种情况会发生，那么它更有可能发生，久而久之就一定会发生。这警示我们，在互联网公司，对生成环境发生的任何怪异现象和问题都不要轻视，对其背后的原因一定要调查清楚。同样，海恩法则也强调任何严重的事故背后都是很多次小问题的积累，当到一定量级后会导致质变，严重的问题就会浮出水面。那么，我们需要对线上服务产生任何现象，哪怕是小问题，都要刨根问底，对任何现象都要遵循下面问题为什么会发生？发生了该怎么应对？怎么恢复？怎么避免？应急目标在生成环境发生故障时快速恢复服务，避免或减少故障带来的损失，避免或减少故障对客户的影响应急原则应第一时间恢复系统，而不是彻底解决呢问题，快速止损明显资金损失时，要第时间升级，快速止损指标要围绕目标，快速启动应急过程与止损方案当前负责人不能短时间内解决问题，则必须进行升级处理处理过程在不影响用户体验的前提下，保留现场应急方法与流程线上应急一般分为6个阶
RabbitMQ 3.6.13 RC2 发布，常规维护版本
RabbitMQ3.6.13RC2已发布，是一个维护的候选版本。此版本与3.6.7到3.6.12版本没有其他已知的不兼容性。主要更新如下：CoreServerBugFixesMemoryusagemonitorusessubprocessesalotmoresparingly.Theyarestartedroughlyonceasecondornotstartedatall,dependingonthestrategy(e.g.onWindowsErlangVMallocatorinformationisusedinstead).GitHubissues:rabbitmq-server#1343,rabbitmq-common#224Verybusyqueuesarenowmoreefficientatprioritizingconsumers,avoidingconsumerdeliveryb