RocketMQ与Kafka对比(18项差异)

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为 存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之 后,Kafka无限消息堆积,高效的持久化速度吸引了我们,但是同时发现这个消息系统主要定位于日志传输,对于使用在淘宝交易、订单、充值等场景下还有诸 多特性不满足,为此我们重新用Java语言编写了RocketMQ,定位于非日志的可靠消息传输(日志场景也OK),目前RocketMQ在阿里集团被广 泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog分发等场景。[......]

阅读全文

mysql中间件研究(Atlas,cobar,TDDL)

mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡,读写分离,failover 等,但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品,Atlas,cobar,tddl,让我们看看它们各自有些什么优点和新特性吧。[......]

阅读全文

初识kestrel

Kestrel是一是一个scala写的twitter开源的消息中间件,特点是高性能、小巧(2K行代码)、持久存储(记录日志到journal)并且可靠(支持可靠获取)。Kestrel的前身是Ruby写的Starling项目,后来twitter的开发人员尝试用scala重新实现。它的代码非常简洁并且优雅,推荐一读。[......]

阅读全文

大型系统的JAVA中间件

概要
淘宝这几年经历了和其他大型网站类似的,从比较集中的应用到大型分布式应用的演进,在这个过程中,我们遇到并解决了一些问题,并且通过系统的演进、重构,沉淀了几个相关的中间件产品。 淘宝的Java中间件,主要由服务框架、消息中间件、分布式数据层组成,此外也有支撑这三块儿部分的其他系统,在这次的分享中,会系统地给大家分享淘宝 Java中间件的发展过程,包括我们遇到的重要的问题以及各个产品不同的特点和实现。对和这些中间件相关的支撑系统,也会做简要的介绍。 希望通过这次机会,让相关的同学能够系统地了解我们在这个领域的工作以及遇到的问题。也希望我们之前的工作可以给参会的同学提供一定的参考和帮助。[......]

阅读全文

淘宝消息中间件Metamorphosis开源

淘宝开发团队近日开源了消息中间件Metamorphosis。

Metamorphosis是一个高性能、高可用、可扩展的分布式消息中间件,思路起源于LinkedIn的Kafka,但并不是Kafka的一个Copy。具有消息存储顺序写、吞吐量大和支持本地和XA事务等特性,适用于大吞吐量、顺序消息、广播和日志数据传输等场景,目前在淘宝和支付宝有着广泛的应用。[......]

阅读全文