kafka 迈进了光荣的 1.0
首发个人公众号spark技术分享,同步个人网站coolplayer.net，未经本人同意，禁止一切转载kafka已经走了7个年头，最初就是个消息系统，现在已经演化为了一个分布式流式平台，你可以使用kafka干一系列的事情，比如发布订阅消息，数据仓库，流失处理，离线大规模数据处理，我之前也很奇怪，中国那么多大的公司都在使用kafka，那么成熟的一个大数据组件，为啥还没有发布1.0正式版本，现在终于姗姗来迟，在官方发布1.0之际，我们来看下kafka的整个roadmap。kafka一路走来，不断的给我们带来惊喜，支持存储无限的key-vlue数据，极其易用的连接apihttps://www.confluent.io/blog/announcing-kafka-connect-building-large-scale-low-latency-data-pipelines/,很方便地连接外部存储（mysql，es等），实时处理框架StreamAPIhttps://kafka.apache.org/docum
技术漫谈 | controller侧与agent侧分布式通迅实现
作者：周益一.背景在k8s分布式系统中，通迅成为重要的部分。本文分享一下如何使用通迅中间件。本文代码相关技术如下：rabbitmqredisgolangk8s集群与集群之间通讯，我们都可以使用相同的中间件rabbitmq。本文使用最简单的模式LB，单实例的RPC调用。二.分布式调用结构2.1rabbitmqlb模式调用agent1agent2agent3同时上报自己在线时，rabbitmq自动调用controller1或controller2中其中一个实例，再由controllerX写入redis中去。当controller1、controller2需要所有agent状态时，读取数据都是redis，所以都是一致的。2.agent1agent2agent3获取配置信息时，rabbitmq也自动调用controller1或controller2其中一个实例。再由controllerX读取redis或者mysql数据，再返回给agent。不论是调用到controller1还
分布式任务队列machinery的使用
说明分布式任务队列是大型系统中经常用的技术方案，是一种高效、可靠性高，能够承受海量并发的技术方案。目前有个名为machinery的开源项目，用go语言开发了一个分布式任务框架。@2017-11-0610:06:50快速体验machinerymachinery需要外部的broker和resultbackend。依赖的服务broker目前支持:amqp:amqp://[username:password@]@host[:port]redis:redis://[password@]host[port][/db_num]redis+socket://[password@]/path/to/file.sock[:/db_num]resultbackend目前支持:amqp:amqp://[username:password@]@host[:port]redis:redis://[password@]host[port][/db_num]redis+socket://[passwor
流计算及在特来电监控引擎中的实践
随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业MustHave的大杀器。作为充电生态网的领军企业，特来电在流计算方面很早便开始布局，下面笔者抛砖引玉的谈一下流计算及在特来电监控引擎中的应用实践。一、由Bit说开去作为计算机信息中的最小单位，Bit就像工蚁一样忙碌，任一时刻都只能处于以下三种状态中的一种：计算、存储、传输，要么在参与计算，要么在去计算的路上，要么等候计算。见微知著，云计算架构图中，底层IAAS必然有三个模块：计算、存储、网络，因为微观的Bit状态本质，决定了宏观的架构行为。无论微观还是宏观，不难发现计算是永恒的主题，一切都围绕着计算进行，计算的结果，便会产生数据。今天如火如荼的大数据，本质也是数据，但是又多了一些新的特征，比如老生常谈的“4V”：Volume（数据量大，至少是TB级，甚至是PB级）、Veloci
Java 消息队列任务的平滑关闭
1.问题背景对于消息队列任务的监听，我们一般使用Java写一个独立的程序，在Linux服务器上运行。当订阅者程序启动后，会通过消息队列客户端接收消息，放入线程池中并发的处理。那么问题来了，当我们修改程序后，需要重新启动时，如何保证消息都能够被处理呢？一些开源的消息队列中间件，会提供ACK机制（消息确认机制），当订阅者处理完消息后，会通知服务端删除对应消息，如果订阅者出现异常，服务端未收到确认消费，则会重试发送。那如果消息队列中间件没有提供ACK机制，或者为了高吞度量的考虑关闭了ACK功能，如何最大可能保证消息都能够被处理呢？正常来说，订阅者程序关闭后，消息会在队列中堆积，等待订阅者下次订阅消费，所以未接收的消息是不会丢失的。可能出现的问题就是在关闭的一瞬间，已经从消息队列中取出，但还没有被处理的消息。因此我们需要一套平滑关闭的机制，保证在重启的时候，已接收的消息可以得到正常处理。2.问题分析平滑关闭的思路如下：在关闭程序时，首先关闭消息订阅，保证不再接收新的消息。关闭线程池，等待线程池中的消息处理完毕。程序退出。关闭消
【Kafka源码】SocketServer启动过程
SocketServer主要用于接收外部的网络请求，并把请求添加到请求队列中。一、入口在KafkaServer.scala中的start方法中，有这样的入口：socketServer=newSocketServer(config,metrics,kafkaMetricsTime)socketServer.startup()这块就是启动了一个SocketServer，我们具体看一下。二、构造方法我们看下SocketServer里面包含的参数：privatevalendpoints=config.listenersprivatevalnumProcessorThreads=config.numNetworkThreadsprivatevalmaxQueuedRequests=config.queuedMaxRequestsprivatevaltotalProcessorThreads=numProcessorThreads*endpoints.sizprivatevalmaxConne
RabbitMQ 3.6.13 发布，常规维护版本
RabbitMQ3.6.13已正式发布，是一个常规维护版本。此版本与3.6.7到3.6.12版本没有其他已知的不兼容性。另外，官方已公布3.6.x系列的支持时间表，详情点此查看。主要更新如下：CoreServerBugFixesMemoryusagemonitorusessubprocessesalotmoresparingly.Theyarestartedroughlyonceasecondornotstartedatall,dependingonthestrategy(e.g.onWindowsErlangVMallocatorinformationisusedinstead).GitHubissues:rabbitmq-server#1343,rabbitmq-common#224Verybusyqueuesarenowmoreefficientatprioritizingconsumers
MQTT——订阅报文
我们已经把相关的连接报文搞定了。笔者想来想去还是决定先讲解一下订阅报文(SUBSCRIBE)。如果传统的通信方式是客户端和服务端之间一般就直接传输信息。但是MQTT的通信方式是通过发布/订阅的方式进行的。笔者不知道他是否跟设计模式中的发布订阅模式有没有关系。可是他们思想却有一点相似之处。客户端知道服务上有很多个主题。就好比如说有很多消息的分类一样子。有社会新闻、体育讲坛等。那么客户端只要找到自己感兴趣的进行订阅就可以了。一个客户端可以向服务器订阅多个主题。而所谓的发布就是客户端对不同的主题进行发布信息。即好比如新闻的发布者一样子。这个时候只要订阅这个主题的客户端就可以接收到来自服务端的新闻。我们的手机常常会接收到一些推送的信息。事实上有很多App应用都是用MQTT协议来进行的。所以不难看出服务端主要是负责客户端和客户端的之间信息的传输和信息管理。大至如图下注意：发布者也是客户端。订阅者也是客户端主题(Topic)如果主题只是一个字符串值的话，那么显然会比较单调。这样子功能也显得比较无力。所以在主题上面就了所谓的分隔符和通配符的
Kafka系列（一）--初识Kafka
本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家每个公司都是由数据驱动的。我们无时无刻都在产生数据，而这些数据最终会被用来分析挖掘信息。例如我们在亚马逊上面点击感兴趣的商品，这个点击的数据会被作为日后推荐系统的数据来源。从数据产生到分析，这个过程越短，得到的响应与反馈也就越快；我们花越少精力来传输数据，就可以节省更多的时间来集中在这些数据的商业价值上。发布/订阅的消息机制在讨论Kafka之前，我们需要了解什么是发布/订阅的消息机制，以及它为什么这么重要。发布/订阅是这么一种模式：消息（message）的发送者（publisher）不直接把消息发送给接收者，它只是以某种方式将消息分类，而接收者（subscriber）订阅特定类型的消息。发布/订阅系统通常有一个中间代理（broker）作为中间节点来协调这个过程。起因很多使用发布订阅系统的场景都是相同的：只是想要一个简单的消息队列或者进程间通信的通道。来看个具体的例子。假如，我们有一个应用，现在需要实时统计应用的监控数据，我们可以
【Kafka源码】ReplicaManager启动过程
在KafkaServer启动过程的入口中，会启动ReplicaManager，众所周知，这是一个副本管理器。replica在Kafka中扮演的角色很重要，是保证消息不丢失的一个重要概念。replica的个人理解概念如下：producer发送的消息给broker，broker是分为多个partition的，对于同一个partition中的broker，这些机器是有主从的概念的。producer只会向leader写入消息，consumer只会从leader读取消息，（leader负责读写，replica保证消息不丢）。为了保证消息不丢失，follower会定时从leader拉取消息，保持与leader的消息同步。当然，producer可以配置是否需要有follower同步成功，以及需要多少个replica，（即需要多少个ack）才算是消息发送成功。这块看个人的需求。下面我们看下ReplicaManager的启动过程。一、入口入口在KafkaServer的start方法中，比较简洁：replicaManager=newRepl
Kafka不只是个消息系统
作者丨JayKreps译者丨薛命灯Confluent联合创始人兼CEOJayKreps发表了一篇博文，给出了Kafka的真正定位——它不只是个消息系统，它还是个存储系统，而它的终极目标是要让流式处理成为现代企业的主流开发范式。以下内容翻译自作者的博文，查看原文It’sOkayToStoreDataInApacheKafka：https://www.confluent.io/blog/okay-store-data-apache-kafka/人们总是问是否可以把Kafka作为长期的数据存储来使用，很显然，如果把数据保留策略设置为“永久”或者启用主题的日志压缩功能，那么数据就可以被永久保存下来。但我觉得人们其实真正想知道的是，这样做是不是很疯狂。简而言之，这样做不算疯狂。实际上，人们一直都在这么做，而且Kafka的设计意图之一就是要将它作为数据存储系统。不过问题是，为什么我们要把Kafka作为数据存储呢？你可能在构建一个基于事件溯源的应用程序，需要一个数据存储来保存变更日志。理论上
构建实用的 IoT 应用程序 - 一个空气质量监视器
在我以前的文章中，我们讨论了IBMWatsonIoTPlatform，具体来讲，讨论了该平台用于收集和分析来自IoT设备的数据的MQTT服务。我们还介绍了开源的NodeMCUIoT开发平台，使用该平台可以轻松地设计原型和生成IoT设备应用程序。本文将所有这些组件整合到一个监视空气质量的实用IoT应用程序中。空气污染已成为当今世界人类健康的最大威胁之一。据估计，雾霾每年导致550万人死亡，成为了一个主要死亡原因。在像中国北京这样的地方，据估计生活在那里相当于每天抽两包香烟。此外，不仅仅是像中国和印度这样的国家存在这个问题。事实上，伦敦在2017年的头5天内均已达到了其全年的空气污染限额，巴黎现在每天都笼罩在雾霾中。应对雾霾的最有趣方式之一是自行监视空气质量。在本文中，我将展示只需不到35美元，就能构建一个基于NodeMCU的空气质量监视设备（参见图1）。因为该设备拥有自己的电源（USB电池），所以它可以放在任何有WiFi信号的地方。我通常将它放在房间里监视户内空气，或者放在打开的窗户旁
RocketMQ Apache顶级项目之路
序言2016年11月，阿里将RocketMQ捐献给Apache软件基金会，正式成为孵化项目。至此，RocketMQ开启了迈向全球顶级开源软件的新征程。通过社区半年多的努力。9月25日，Apache软件基金会官方宣布，阿里巴巴捐赠给Apache社区的开源项目RocketMQ从Apache社区正式毕业，成为Apache顶级项目（TLP）。在通向Apache顶级项目的这些时间里，团队走了很多路，也经历了很多事。第一次按照ApacheWay走通Apache软件发布流程，完成了在整个IPMC都极为罕见的Rc3发布壮举，体现了中国团队的严谨、高效，赢得了社区的赞誉。第一次吸纳外籍Committer-日本博士Roman。2个月时间里，他提交近20个PullRequest，推动RocketMQ跟Apache其它顶级社区项目合作，对社区起步做出了卓越贡献。第一次面向社区举办编程马拉松。PMC成员全程跟进，帮助参赛选手评审设计、Review代码。第一次吸纳PMC成员。在RocketMQ社区，PMC是对Committer持续
基于Kafka Streams构建广告消耗预测系统
Pinterest广告工程团队的宗旨是为我们的广告合作商提供最优质的服务体验，而广告超投，是我们极力要解决的问题之一。在Pinterest，我们使用了KafkaStreams，可以实现把广告消耗的预测数据在数秒钟的时间内发送给数千个广告投放服务。本文将会先解释什么是超投，然后分享一下我们是如何使用KafkaStreams构造预测系统来提供近实时的预测消耗数据、从而降低超投的。关于超投当广告主的预算耗尽时，如果他们的广告被继续投放，这多出来的投放部分将无法再进行收费，这种现象被称之为超投。超投会减少其他还有预算盈余的广告主的广告展现机会，从而降低了他们的产品和服务触及潜在顾客的机会。要降低超投率，应从两个方面着手：计算实时消耗：广告曝光展示的信息应在数秒内反馈给广告系统，系统才能及时关闭那些已耗尽预算的广告计划。进行消耗预测：除了让已发生的消耗数据及时传达以外，系统还应具备预测未来消耗的能力，在预计某些计划快要达到预算上限的时候，应降低它们的投放速度，从而使计划平滑地到达预算上限。因为已经投放出去的广告会停留在用户界面上，
Kafka系列（二）--搭建Kafka
本系列文章为对《Kafka：TheDefinitiveGuide》的学习整理，希望能够帮助到大家在搭建Kafka之前在使用Kafka之前，我们需要准备Kafka依赖的环境。操作系统Kafka是基于Java开发的，因此可以运行在所有的操作系统上，只要有Java运行环境即可。下面章节会以Linux系统作为背景，因为Linux是目前Kafka主要应用的操作系统。Java环境在安装Zookeeper或者Kafka之前，你需要安装并设置Java环境，建议使用Java8版本。虽然Zookeeper或Kafka只需要Java运行环境即可，但建议在开发中使用完整的Java开发环境JDK，这样更方便。下面假设Java路径为/usr/java/jdk1.8.0_51（注意，这可能和你的不同）。安装ZookeeperKafka使用Zookeeper来存储集群元数据以及消费者元数据，如下所示：在本书（译者：也就是《Kafka：TheDefinitiveGuide》）完成时，Kafka已经测试通过Zookeeper的3.4.6稳定版，推
中小型研发团队架构实践三要点
如果你正好处在中小型研发团队……中小型研发团队很多，而社区在中小型研发团队架构实践方面的探讨却很少。中小型研发团队特别是50至200人的研发团队，在早期的业务探索阶段，更多关注业务逻辑，快速迭代以验证商业模式，很少去关注技术架构。这时如果继续按照原有的架构及研发模式，会出现大量的问题，再也无法玩下去了。能不能有一套可直接落地、基于开源、成本低，可快速搭建的中间件及架构升级方案呢？我是一个有十多年经验的IT老兵，曾主导了两家公司的技术架构升级改造，现抛砖引玉，与大家一起探讨这方面的问题。在接下来的一段时间里，我会陆续推出此系列文章。根据我们以往的经验，分享者主讲一个小时左右，业务研发就可以快速地进入项目实战。对于后面新加入的团队成员，也可通过WIKI自主快速学习。这是我们之前对自己的要求，尽量降低工具对人员的要求，简单实用、降低成本。文章中部分Demo采用C#语言,但到了框架或架构层面，与语言本身没有太多直接的关系。如RabbitMQ、Job、Redis和集中式日志，它们服务端的部署是一样的，只是客
互联网业务下消息队列架构
消息队列作为一种基础的抽象数据结构，被广泛应用在各类编程与系统设计中。同步VS异步通信的一个基本问题是：发出去的消息什么时候需要被接收到？这个问题引出了两个基础概念：“同步通信”和“异步通信”。根据理论抽象模型，同步通信和异步通信最本质的差别来自于时钟机制的有无。同步通信的双方需要一个校准的时钟，异步通信的双方不需要时钟。现实的情况是，没有完全校准的时钟，所以没有绝对的同步通信。同样，绝对异步通信意味着无法控制一个发出去的消息被接收到的时间点，无期限的等待一个消息显然毫无实际意义。所以，实际编程中所有的通信既不是“同步通信”也不是“异步通信”；或者说，既是“同步通信”也是“异步通信”。特别是对于应用层的通信，其底层架构可能既包含“同步机制”也包含“异步机制”。判断“同步”和“异步”消息的标准问题太深，而不适合继续展开。这里给一些启发式的建议：发出去的消息是否需要确认，如果不需要确认，更像是异步通信，这种通信有时候也称为单向通信（One-WayCommunication）。如果需要确认，可以根据需要确认的时间长短进行判断。时间长的
Notadd Beta6 fix2 发布，增加清除 OPcache 的命令行
NotaddBeta6fix2已发布，更新内容如下：开发者名单展示优化更全面及精准的系统信息显示增加清除OPcache的命令行其他bug修复后台界面工作流支持默认Redis支持Laravel默认的文件缓存，十分局限，考虑到后续的的使用，从Beta4起，默认使用redis缓存。目前默认使用了Predis包，所以无需php_redis拓展。简单的消息队列Laravel队列为不同的后台队列服务提供统一的API，例如Beanstalk，AmazonSQS，Redis，甚至其他基于关系型数据库的队列。队列的目的是将耗时的任务延时处理，比如发送邮件，从而大幅度缩短Web请求和相应的时间。下载地址github地址：https://github.com/notadd/notaddgitee地址https://gitee.com/notadd/notadd
(二): 基于ZeroMQ的实时通讯平台
基于ZeroMQ的实时通讯平台上篇：C++分布式实时应用框架(CppDistributedReal-timeApplicationFramework)----(一):整体介绍通讯平台作为C++分布式实时应用框架(CppDistributedReal-timeApplicationFramework)的最核心模块，承担了分布式实时框架的基础通讯功能。通讯平台框架具备了基于Reactor模式的网络通讯能力，并且依赖于ZeroMQ库，因此支持非持久化的messagequeue的功能。基于配置文件来自动建立链接关系的功能，可以和状态中心一起配合，实现无需重启节点的动态扩容缩容等功能。强大的实时监控能力，可以实时上报每个通讯子节点的TPS和时延等关键性能数据。管控业务进程的能力，业务进程的心跳检测，故障时自动重启、保证系统正常运行。完善的平台工具，可以通过通讯平台向业务进程发送各种命令，如：调整日志级别，刷新业务参数，启停业务进程等等。下面将逐一介绍通讯平台的功能细节。一、根据配置文件自动建立通讯链接拓扑关系常见的分布式系统通
Spring For Apache Kafka 2.1 RC1 和 2.0.1 和 1.3.1 发布
SpringForApacheKafka2.1RC1和2.0.1和1.3.1发布的原因是最近发布的ApacheKafka1.0.0版本中没有关键功能，但是已经介绍了kafka.admin和kafka.streams中的一些重大更改。因此，这个版本大部分代表了与ApacheKafka1.0.0的兼容性：由于AdminUtils中的相应API已被删除，因此在KafkaEmbedded中弃用bounce（）和waitUntilSynced（）KStreamBuilderFactoryBean现在使用StreamsBuilder而不是KStreamBuilder@EmbeddedKafka.brokerProperties（）可以配置属性占位符现在可以简化使用@KafkaListener属性中的SpEL表达式，因为BeanFactory解析器由TemplateAwareExpressionParser提供已引入NonResponsiveConsumerEvent来跟踪Listener