Oracle高并发系列2:事务日志写入引发的Redo log风波

作者介绍

 

王鹏冲,平安科技数据库技术专家,浸淫数据库行业十多年,对Oracle数据库有浓厚兴趣,也对MySQL、MongoDB、Redis等数据库有一定架构和运维经验,目前正沉迷在PostgreSQL数据库与Oracle数据库的PK之中,重点在关系型数据库的分布式架构研究。
[......]

阅读全文

日交易额百亿级交易系统的超轻量日志实现

首先来聊聊往事吧~~两年前就职于一家传统金融软件公司,为某交易所开发一套大型交易系统,交易标的的价格为流式数据,采用价格触发成交方 式,T+0交易制度(类似炒股,只是炒的不是股票而是其他标的物,但可以随时开平仓)。鉴于系统需要记录大量价格数据、交易信息及订单流水,且系统对性能 要求极高(敏感度达毫秒级),因此需要避免日志服务成为系统性能瓶颈。通过对几个通用型日志(如log4j、logback)的性能压测,以及考虑到它们 作为通用型日志相对比较臃肿,就决定自个儿写个日志工具以支撑系统功能和性能所需。当时的做法只是简单的将日志的实现作为一个 util 类写在项目中,只有几百行的代码量。[......]

阅读全文

从日志统计到大数据分析

引用
作者:桑文锋,神策数据创始人&CEO,前百度大数据部技术经理。2007年浙大研究生毕业后加入百度,从2008年开始从事数据方向, 从零构建了百度的用户日志大数据处理平台。2015年4月从百度离职,创建神策数据,帮助客户实现数据驱动。目前,面向互联网创业公司的产品神策分析的客 户包括爱鲜蜂、多盟、AcFun、秒拍等。

[......]

阅读全文

高性能智能日志实践

【编者按】本文作者是 Archanaa Panda ,从 2000 以来一直在软件开发(构架、设计和编程)团队担任 Java / JavaEE 构架师,目前立志于做一个与时俱进的独立的顾问架构师。在本篇文章中,作者通过多个方面为生产环节的日志提供建议和指导,最后还介绍了一个高性能的智能日 志技术,帮助大家构建高性能的智能日志框架。[......]

阅读全文

简单好用的日志管理工具Logrotate

前言

日志就像程序的生命记录仪,详细记录下了程序运行的点点滴滴。

  1. 慎重的选择记录哪些日志:在茫茫日志海中寻找真正记录问题的日志,你是不想经历的;
  2. 精心的定时压缩转移日志:故障发生了,日志却丢了,此时的任何辩解都是苍白无力的。

[......]

阅读全文

seci-log开源日志分析软件发布了

随着互 联网和云计算的发展,公有云服务器是人们越来越容易接受的产品,其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买,安装,操作或运维服务 器或是其他设备。在一个公有云的服务供应商提供的平台上,企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的,基于 Internet的公有云服务的特性,全世界只要能上网的人就可以访问到其云服务器,其在云主机及其云上的数据受到威胁会更多而且更复杂,数据相对于私有 云处于一个不稳定的状态。不管是传统的信息化还是未来趋势的云计算,都面临着安全的风险,从安全防护的角度来说,需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。[......]

阅读全文

使用Log4j、ActiveMQ 和 Spring实现异步日志

我的团队和我正在创建一个由一组RESTful JSON服务组成的服务平台,该平台中的每个服务在平台中的作用就是分别提供一些独特的功能和/或数据。由于平台中产生的日志四散各处,所以我们想,要是 能将这些日志集中化处理一下,并提供一个能够让我们查看、过滤、排序和搜索我们所有的日志的基本型的日志查看工具就好了。我们还想让我们的日志是异步式 的,因为我们可不想在写日志的时候(比方说,可能会将日志直接写入数据库),让我们提供的服务因为写日志而暂时被阻挡住。[......]

阅读全文

LogStash,使日志管理更简单

James Turnbull,通过对日志管理项目情境中的Logstash实施细节的介绍,给了读者信服的理由去使用Logstash进行集中化的日志管理。 《Logstash》一书通过一个双面案例(two side case)从不同方面进行介绍,其低准入门槛适合小企业使用,其扩展能力使其也能满足大企业的需求。今年二月,James在Hangops会议上谈到本书, “它主要面向那些以前没有见过LogStash的人,如系统管理员、开发人员、DevOps以及运维人员。我希望此书读者对Unix或Linux有一定了 解。”他继续说道,“另外,本书假定用户无任何关于LogStash的先验知识(Prior Knowledge)。”[......]

阅读全文

通用日志组件Darks Logs正式发布

Darks Logs 是一个适用于JAVA、Android、J2EE的开源日志组件。它采用类log4j的配置方式,但相较于log4j,它具有简单易用、更加轻量级、适配 Android端等诸多特性。内置的日志处理器可以让开发者输出日志到控制台、logcat、文件、SQLITE、网络、自定义等。它对日志控制更加灵 活,文件名格式以及数据库输出格式随意控制。它的最初设计目标是针对解决Android端日志控制的不灵活性以及很难输出到其他介质。它可以为JAVA及 J2EE软件向Android端移植提供统一有效的日志组件。[......]

阅读全文