标签归档：kafka

2016年热门技术方向预测

发表于 由
回复

关于2016年对技术的预测众说纷纭，我有一些在MongoDB公司的朋友和我说了他们的预测。关于Kafka和Container Orchestration的预测看来非常正确。我还想补充的一点是，微服务仍将很重要，以及Apache Spark将会如同星星之火燎原。我觉得Scala、Go、Python将急剧上升，Java将保持稳定。很多很酷的新项目和技术会以大数据，云和 devops的工作形式出现。让我们一起拭目以待吧。[......]

阅读全文

LinkedIn是如何优化Kafka的

发表于 由
回复

在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的现状和未来、如何规模化运行、如何适应LinkedIn的开源策略以及如何适应整体的技术栈等。近日，来自LinkedIn的高级工程主管Kartik Paramasivam撰文分享了他们使用和优化Kafka的经验。[......]

阅读全文

LinkedIn是如何优化Kafka的

发表于 由
回复

在LinkedIn的数据基础设施中，Kafka是核心支柱之一。来自LinkedIn的工程师曾经就Kafka写过一系列的专题文章，包括它的现状和未来、如何规模化运行、如何适应LinkedIn的开源策略以及如何适应整体的技术栈等。近日，来自LinkedIn的高级工程主管Kartik Paramasivam撰文分享了他们使用和优化Kafka的经验。[......]

阅读全文

LinkedIn架构进化简史

发表于 由
回复

LinkedIn创建于2003年，主要目标是连接你的个人人脉以得到更好的的工作机会。上线第一周只有2700个会员，之后几年，LinkedIn的产品、会员、服务器负载都增长非常快。
今天，LinkedIn全球用户已经超过3.5亿。我们每天每秒有上万个页面被访问，移动端流量已占到50%以上。所有这些接口请求都从后台获取，达到每秒上百万级。
那么，我们是怎么做到的呢？ [......]

阅读全文

RocketMQ与Kafka对比（18项差异）

发表于 由
回复

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用Mysql作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为 存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之 后，Kafka无限消息堆积，高效的持久化速度吸引了我们，但是同时发现这个消息系统主要定位于日志传输，对于使用在淘宝交易、订单、充值等场景下还有诸 多特性不满足，为此我们重新用Java语言编写了RocketMQ，定位于非日志的可靠消息传输（日志场景也OK），目前RocketMQ在阿里集团被广 泛应用在订单，交易，充值，流计算，消息推送，日志流式处理，binglog分发等场景。[......]

阅读全文