最 近线上 MySQL 接连发生了几起数据异常，都是在凌晨爆发，由于业务场景属于典型的数据仓库型应用，白天压力较小无法复现。甚至有些异常还比较诡异，最后 root cause 分析颇费周折。那实际业务当中咱们如何能快速的定位线上 MySQL 问题，修复异常呢？下文我会根据两个实际 case，分享下相关的经验与方法。
[......]
MySQL 死锁与日志二三事
回复
标签归档：日志
Linux 日志定时轮询流程详解
Linux 下 logrotate 日志轮询操作梳理
Nginx日志分析及性能排查
[......]
Oracle高并发系列2：事务日志写入引发的Redo log风波
作者介绍
[......]
日交易额百亿级交易系统的超轻量日志实现
首先来聊聊往事吧~~两年前就职于一家传统金融软件公司，为某交易所开发一套大型交易系统，交易标的的价格为流式数据，采用价格触发成交方 式，T+0交易制度（类似炒股，只是炒的不是股票而是其他标的物，但可以随时开平仓）。鉴于系统需要记录大量价格数据、交易信息及订单流水，且系统对性能 要求极高（敏感度达毫秒级），因此需要避免日志服务成为系统性能瓶颈。通过对几个通用型日志（如log4j、logback）的性能压测，以及考虑到它们 作为通用型日志相对比较臃肿，就决定自个儿写个日志工具以支撑系统功能和性能所需。当时的做法只是简单的将日志的实现作为一个 util 类写在项目中，只有几百行的代码量。[......]
Logkafka —— 360开源的日志收集代理
从日志统计到大数据分析
引用
作者：桑文锋，神策数据创始人&CEO，前百度大数据部技术经理。2007年浙大研究生毕业后加入百度，从2008年开始从事数据方向， 从零构建了百度的用户日志大数据处理平台。2015年4月从百度离职，创建神策数据，帮助客户实现数据驱动。目前，面向互联网创业公司的产品神策分析的客 户包括爱鲜蜂、多盟、AcFun、秒拍等。
[......]
高性能智能日志实践
【编者按】本文作者是 Archanaa Panda ，从 2000 以来一直在软件开发（构架、设计和编程）团队担任 Java / JavaEE 构架师，目前立志于做一个与时俱进的独立的顾问架构师。在本篇文章中，作者通过多个方面为生产环节的日志提供建议和指导，最后还介绍了一个高性能的智能日 志技术，帮助大家构建高性能的智能日志框架。[......]
简单好用的日志管理工具Logrotate
前言
日志就像程序的生命记录仪，详细记录下了程序运行的点点滴滴。
- 慎重的选择记录哪些日志：在茫茫日志海中寻找真正记录问题的日志，你是不想经历的；
- 精心的定时压缩转移日志：故障发生了，日志却丢了，此时的任何辩解都是苍白无力的。
[......]
学习笔记：The Log（我所读过的最好的一篇分布式技术文章）
[......]
nginx日志分析——用sed彩色标记特定内容
seci-log开源日志分析软件发布了
随着互 联网和云计算的发展，公有云服务器是人们越来越容易接受的产品，其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买，安装，操作或运维服务 器或是其他设备。在一个公有云的服务供应商提供的平台上，企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的，基于 Internet的公有云服务的特性，全世界只要能上网的人就可以访问到其云服务器，其在云主机及其云上的数据受到威胁会更多而且更复杂，数据相对于私有 云处于一个不稳定的状态。不管是传统的信息化还是未来趋势的云计算，都面临着安全的风险，从安全防护的角度来说，需要一个循序渐进的方式去完善安全体系。一般建设的顺序是网络安全、主机安全、数据安全的顺序逐步完善。[......]
Java日志记录的5条规则
本文由 ImportNew - Jyy 翻译自 javacodegeeks。
日志记录是在软件开发过程中常常需要考虑的关键因素。[......]
解决Tomcat catalina.out不断成长导致档案过大的问题
Tomcat的网站上的说法http://wiki.apache.org/tomcat/FAQ/Logging#Q6：
System.out 和 System.err 都被打印到 catalina.out。
catalina.out 不会 rotate。
如果您使用了 logging 机制，就不会有任何东西被写到标准输出了，所以这应该不会是个问题。[......]
mongodb日志按天拆分。
linux：
kill -SIGUSR1 2200 //2202是mongo进程pid
windows：
use admin
db.runCommand( { logRotate : 1 } )[......]
使用批处理备份日志
客户要求JBoss日志级别是DEBUG，这个级别的日志，每天估计得有3G的日志产生，服务器的硬盘可吃不消啊，呵呵。。。就想使用备份的机制，把前一天的日志打包，然后删除原文件。这种文本日志，一压缩就很小了，3G压缩完估计也就200M吧。[......]
使用Log4j、ActiveMQ 和 Spring实现异步日志
我的团队和我正在创建一个由一组RESTful JSON服务组成的服务平台，该平台中的每个服务在平台中的作用就是分别提供一些独特的功能和/或数据。由于平台中产生的日志四散各处，所以我们想，要是 能将这些日志集中化处理一下，并提供一个能够让我们查看、过滤、排序和搜索我们所有的日志的基本型的日志查看工具就好了。我们还想让我们的日志是异步式 的，因为我们可不想在写日志的时候（比方说，可能会将日志直接写入数据库），让我们提供的服务因为写日志而暂时被阻挡住。[......]
LogStash，使日志管理更简单
James Turnbull，通过对日志管理项目情境中的Logstash实施细节的介绍，给了读者信服的理由去使用Logstash进行集中化的日志管理。 《Logstash》一书通过一个双面案例（two side case）从不同方面进行介绍，其低准入门槛适合小企业使用，其扩展能力使其也能满足大企业的需求。今年二月，James在Hangops会议上谈到本书， “它主要面向那些以前没有见过LogStash的人，如系统管理员、开发人员、DevOps以及运维人员。我希望此书读者对Unix或Linux有一定了 解。”他继续说道，“另外，本书假定用户无任何关于LogStash的先验知识（Prior Knowledge）。”[......]
