千亿级实时日志分析系统-腾讯鹰眼系统的技术演进之路

2017-11-10 15:30-16:30
嘉宾:

陈敏

腾讯科技有限公司项目Leader
¥30.00
收藏 77 人浏览 扫一扫
视频介绍
资料下载

嘉宾介绍

陈敏

腾讯科技有限公司项目Leader
陈敏,高级工程师,2007年加入腾讯,服务于腾讯网,腾讯微博,腾讯新闻客户端,腾讯视频业务,从事DevOps开发与架构设计10年, 在基于海量数据的业务监控告警,质量管理,问题定位工具,自动化运营平台方面有丰富的经验。面对高可用性业务,高实时性要求,以及腾讯海量用户每天产生的几千亿的数据量,引进业界实时大数据处理框架如spark,storm,elasticsearch, kafka,并结合自身应用特定进行优化,在长期实践中积累了丰富的经验,真正的经受了大数据的考验。 目前正致力于智能运维方面的开发研究工作。

主题介绍

长期以来,日志一直是软件开发中问题定位的重要手段,互联网业务,海量用户数据,分布式服务,多层次调用给日志定位带来了很大的挑战。本案例介绍了基于ES(elastic search) 搭建的日志实时查询集群的应用实践,通过对ES系统优化,参数优化,配置优化,源码优化,以及日常管理监控, 满足了每天上千亿行数百T的日志量级别下,即席查询(3秒左右)的要求。

 

未上传任何附件