阿里云PG黑科技解密 - 多维存储与海量透视
德哥 阿里云资深数据库专家
TBase 数据可靠性探究
赵海明 腾讯 TBase 团队成员
苏宁citus分布式数据库应用实践
陈华军 苏宁云商IT总部资深技术经理
基于Docker swarm和Rancher来快速实现PAAS私有云服务
王鹏冲 平安银行运维总监
PostgreSQL中的地理坐标基础框架与利用postgreSQL的地图全域AOI生成
石传基 菜鸟网络人工智能部算法工程师
PG与“案管机器人”
刘泉 南京泰睿麒系统架构师
如何基于posgres-SQL和相关插件进行大数据敏捷开发
湛颖 北移动网优中心规划部技术负责人
Making Postgres Central in Your Data Center
Bruce Momjian EnterpriseDB高级数据库设计师
Postgresql版本升级方案演进
石勇虎 平安科技数据库技术部高级数据库工程师
查看更多...
“PostgreSQL大象汇”是由PostgreSQL中国用户会发起,一年一度的PG技术盛会,到2017年已经是第7屇。正值PostgreSQL 10新版本发布之机,今年大会特意邀请到PostgreSQL开源社区创始人之一的Bruce Momjian到来,为中国用户讲解新版本的个中细节及后续的发展计划。
同时国内顶尖技术专家也将悉数亮相,为大家讲解一年来他们在各自企业中的PostgreSQL使用情况。今年我们还将继续邀请到包括:物联网、金融、能源、云计算、电商等多领域的PostgreSQL用户,介绍他们的实际使用案例,让参会者全方位了解PostgreSQL的功能及业务场景。
会议日程
《PostgreSQL故障恢复的技术内幕》
当数据库进程被kill掉、或操作系统崩溃、或硬件故障导致机器停机或重启之后PostgreSQL数据库如何做到不丢失数据的吗?当发生drop table等误操作之后能否恢复?你想知道这些问题的答案吗。本演讲主要介绍:1. 实例恢复与热备份的原理,WAL日志文件、控制文件、commit log文件中的秘密,通过实例让你深入了解PostgreSQL是如何处理故障恢复的。
《PG与“案管机器人”》
“案管机器人”全称为江苏检察机关办案智能辅助系统,是检察机关案件办理、对外监督、内部管理的全覆盖、全流程、全留痕和数字化、规范化、智能化软件平台。这是全国检察系统首个在全省推广使用的智能办案辅助系统。本议题主要说明我们在该系统中选择使用PG的原因,PG在该系统的具体使用,以及我们碰到的问题和解决方案等。
《苏宁citus分布式数据库应用实践》
随着业务的快速增长,苏宁一部分原先构建在单机DB2上的分析系统出现了严重的扩容危机。Hadoop,Spark等主流的大数据解决方案,难以同时满足这些系统对高速加载,实时分析,并发CURD等方面的苛刻要求。最终,我们选用了基于citus的MPP方案。本次分享主要介绍citus的技术原理以及我们在部署和维护citus过程中的实践经验。
《如何基于posgres-SQL和相关插件进行大数据敏捷开发》
一、当前大数据应用开发的问题
1.1 效率低,无法快速的分析数据。
1.2 hadoop是中国主流的大数据方案,但是还存在其他的大数据解决方案
1.3 结构化大数据尤其不适合hadoop方案进行开发。
二、结构化大数据开发最佳实践
2.1.应用问题描述: 每天处理TB级别的结构化数据,数据规模为百亿条,需要从中抽取多种中间表。
2.2 需求模型分析,以及组件模型
2.3 中间件选型 pg+ greenplum+python
2.4 运行效果
三、总结
3.1 Greenplum 应用的经验总结,以及希望GP公司提供的支撑
3.2 PG的主要插件在敏捷开发中的价值。
《基于Docker swarm和Rancher来快速实现PAAS私有云服务》
容器技术目前比较火热,在一些小型公司,在一些客观原因下,不能租用公有云服务,要想拥有自己的私有云,那么基于docker技术可以快速实现容器即服务的目的,有利于弹性计算,敏捷开发和持续交付。本议题将会通过介绍搭建基于docker的PG库,来进一步探讨小的IT团队基于docker swarm和Rancher来快速实现PAAS服务的可行性。
《平安PostgreSQL架构实践》
平安科技在PostgreSQl在私有云和公有云的高可用架构最佳实践。
《基于PG数据库插件的SQL规范审核工具介绍》
PostgreSQL数据库是世界上最强大的开源数据库,其开源和开放的特点符合当前数据库技术发展的趋势,尤其是插件机制更是极大方便了用户。它允许使用者有机会切入到数据库运行的内部获取信息,或者改变数据库的运行行为,扩充数据库的功能,以满足用户的某些个性化需求。SQL语句的规范与质量直接影响数据库的稳定运行,如何对SQL语句进行质量把关,如何阻止低效或高危SQL发布到生产数据库,这是一个摆在开发和DBA面前的现实问题。本次分享主要是介绍如何基于hook进行插件的开发,如何基于插件实现对SQL语句的规范性进行审核。
《postgreSQL中的地理坐标基础框架与利用postgreSQL的地图全域AOI生成》
1,很多人在使用postgreSQL因为不了解地理相关基础知识而导致错用一些postgreSQL函数,例如经纬距离计算,投影转换等;
2,利用PG数据库,结合高德基础路网和AOI数据,我们制作生成了分城市的地图全域AOI产品,其已作为菜鸟基础地址库的一部分,正承载多种以AOI为核心的业务。所谓全域AOI,即根据筛选的路网和AOI切割的,对应真实地理边界区块的全城无缝多边形,包括不同粒度的切分,在很多商业活动中(如O2O上门,快递配送分单等),某某小区,那么这是一个不可切割的整体,其好处显然好于方形的格网切割,和基于单纯POI的划分。下图示例为成都市全域AOI图(少量空白区为非可商业行为的河流与绿地)
《阿里云PG黑科技解密 - 多维存储与海量透视》
人类活动、机器活动产生了海量行为数据(通常可以达到万亿级别)。数据透视是让数据说话最直观的手段,涉及到任意字段组合的统计分析(俗称无建模任意透视)。构建所有字段索引使得容量成本大幅提升,同时大幅降低了数据写入的性能,在海量数据统计面前索引的收益微小。目前业界常见的做法是堆机器,成本高昂,科技含量低。
阿里云PG内核团队看到了这块的大量市场需求,研发了多维存储,在无需构建索引的情况下,解决了任意字段组合透视的高效率查询需求。
本次分享将给大家介绍阿里众多多维分析的需求、场景,以及阿里云PG黑科技多维存储的原理。
《What is new for PostgreSQL 10》
分会场一
2017-10-21 09:30 ~09:35 开场 主持人开场
2017-10-21 09:35 ~10:00 汪洋
《平安PostgreSQL架构实践》
平安科技在PostgreSQl在私有云和公有云的高可用架构最佳实践。
2017-10-21 10:00 ~10:40 唐成
《PostgreSQL故障恢复的技术内幕》
当数据库进程被kill掉、或操作系统崩溃、或硬件故障导致机器停机或重启之后PostgreSQL数据库如何做到不丢失数据的吗?当发生drop table等误操作之后能否恢复?你想知道这些问题的答案吗。本演讲主要介绍:1. 实例恢复与热备份的原理,WAL日志文件、控制文件、commit log文件中的秘密,通过实例让你深入了解PostgreSQL是如何处理故障恢复的。
2017-10-21 10:40 ~10:50 Break 休息时间
2017-10-21 10:50 ~11:30 胡森
《TBase的数据治理以及应用》
本议题主要介绍TBase是如何解决数据库系统中存在的一些通用的、令DBA头痛的一些问题,
如数据倾斜导致的性能问题、业务的成本问题等,以及TBase在实际场景中的应用和取得的效果。
2017-10-21 11:30 ~12:00 王秀敏
《数据安全演进之路--从TDE到FDE》
目前大部分政府部门、金融行业,对于数据安全是非常敏感的。如何确保数据安全性,给用户提供高性能以及高安全性方案,是本次演讲的主要内容。目前PG中的数据加密方式,推导TDE加密方式以及FDE加密方式。然后会对这之间做出对比,产出以上三种方案的优缺点。并会对FDE,我们最终的解决方案做出性能比较。
2017-10-21 12:00 ~13:40 Lunch Time 午餐时间
2017-10-21 13:40 ~14:20 朱贤文
《Best Practice for PostgreSQL on ZFS》
2017-10-21 14:20 ~15:00 赖伟
《基于Ambari的PG企业数据架构运维管理方案》
Ambari是Apache社区的Hadoop集群的运维管理方案,提供安装部署、配置管理和集中监控等功能,同时还提供了定制扩展能力。我们基于Ambari设计并实现基于Patroni高可用PG集群的运维管理方案,后续我们将实现pgxl、gpdb等运维管理方案。待该项目成熟后,将采用开源项目方式免费提供给社区。
2017-10-21 15:00 ~15:20 Break 休息时间
2017-10-21 15:20 ~16:00 高云龙
《基于pgq的PostgreSQL的大版本升级方案》
一、PostgreSQL 大版本更新快
二、当前大版本数据库升级方案及优缺点
三、什么是pgq,pgq的优缺点,限制
四、pgq如何实现数据库大版本升级
五、pgq还可以怎么玩
2017-10-21 16:00 ~16:40 陈刚
《基于PG数据库插件的SQL规范审核工具介绍》
PostgreSQL数据库是世界上最强大的开源数据库,其开源和开放的特点符合当前数据库技术发展的趋势,尤其是插件机制更是极大方便了用户。它允许使用者有机会切入到数据库运行的内部获取信息,或者改变数据库的运行行为,扩充数据库的功能,以满足用户的某些个性化需求。SQL语句的规范与质量直接影响数据库的稳定运行,如何对SQL语句进行质量把关,如何阻止低效或高危SQL发布到生产数据库,这是一个摆在开发和DBA面前的现实问题。本次分享主要是介绍如何基于hook进行插件的开发,如何基于插件实现对SQL语句的规范性进行审核。
2017-10-21 16:40 ~17:20 张志伟
《PostgreSQL在腾讯的应用》
一、PG在腾讯
二、PG在腾讯征信
三、现网问题及优化
四、未来规划
分会场二
2017-10-21 09:30 ~09:35 开场 主持人开场
2017-10-21 09:35 ~10:00 王颖泽
《天曦科技基于开源可控的国产数据库之路》
天曦科技的数据库团队拥有丰富的PG数据库实施和运维经验,特别是积累了大量的用户对于Oracle特性的使用需求。基于这些来自用户的需求,加之多年对于国内外数据库产品的研究和借鉴,凭借着近十年数据库研发的经验,天曦科技规划了一条基于PG数据库的去'O'之路,也是一条基于开源可控的国产基础软件之路。
2017-10-21 10:00 ~10:40 王青松
《PG在智能制造上的应用》
随着国家大力推进“中国制造2025”的产业升级计划,智能制造成为了当前热门的话题之一。在为大通互惠实现智能制造的产业升级过程中,PG起到了非常重要的作用,通过其与物联网、大数据以及工业云等技术的融合,提升了用户的生产效率,降低了生产成本,开拓了新型的服务模式。我们希望借PG大会分享一下PG是如何在工业智能制造方案中应用的。
2017-10-21 10:40 ~10:50 Break 休息时间
2017-10-21 10:50 ~11:30 赵振平
《基于Greenplum,postgreSQL的大型数据仓库实践》
大数据时代,传统数据仓库技术是否已经过时?我们将进行探讨,超越传统数据仓库,又基于传统数据仓库,如何设计超大型数据仓库平台。本专题将详细介绍Greenplum,postgreSQL在大型数据仓库中的地位和实践。
2017-10-21 11:30 ~12:00 杨瑜
《Greenplum 数据库架构分析及5.0新功能分享》
Greenplum 数据库是最先进的开源MPP数据库,主要用来处理大规模的OLAP分析任务。自2015年开源以来,收到了各方面的广泛关注。本次主要分享Greenplum MPP架构原理和技术以及最新发布的5.0版本的若干新功能。
2017-10-21 12:00 ~13:40 Lunch Time 午餐时间
2017-10-21 13:40 ~14:20 苑海胜
《Implementation details of recursive CTE in Greenplum》
一、Recursive CTE的概念介绍及用处
二、PostgreSQL的Recursive CTE的实现方式
三、Greenplum数据库的MPP环境下Recursive CTE的挑战以及不同的实现方式。
2017-10-21 14:20 ~15:00 邵大明
《PG集群架构演进--SDS架构详解》
PostgreSQL是最先进的开源数据库,但是在高可用方面还存在一定的问题,目前的高可用方案或多或少存在一定的问题,
因此我们提出了共享存储式集群,并将在本次大会就目前的PG架构进行分析,对比目前的高可用方案,介绍我们如何进行架构演进的,并对其中的难点做出说明。
2017-10-21 15:00 ~15:20 Break 休息时间
2017-10-21 15:20 ~16:00 姜明俊
《ADB数据库在电信运营商系统中的应用》
ADB数据库是亚信科技基于postgres-xc开发的一款分布式数据库,本议题介绍ADB数据库的体系结构与开发历程,ADB数据库的四个关键特点,包括:Oracle高度兼容(oci接口,sql语法,应用零修改迁移),oltp高性能,数据动态扩容和运维高度自动化。ADB数据库在电信运营商系统中的运用场景与效果。
2017-10-21 16:00 ~16:40 田丰
《 ABCD: 人工智能, 大数据, 云计算 (ABC) 的 深入集成 (D)》
我们介绍如何在一个基于PostgreSQL的 MPP 数据库中高效, 深入集成人工智能
和深度学习。 演讲中包括在一个云环境的部署,演示。
2017-10-21 16:40 ~17:20 范孝剑
《阿里云HybridDB for PostgreSQL列存优化》
云数据库HybridDB for PostgreSQL基于Greenplum Database开源数据库项目,支持列存储及列存压缩技术,降低存储成本。然而列存储表的查询性能相对于heap表并没有优势,常规的优化做法是在字段上添加索引,但是带来的问题有索引膨胀、数据膨胀、导入性能显著下降和结果集很大的时候不走索引等,查询效果不理想。为了解决列存查询性能问题,列存优化应运而生,不仅让用户享受高压缩率带来的成本大幅降低,也能享受到类似索引的速度提升。
Pivotal Query Execution组的Team Lead
瀚高数据库工程师
EnterpriseDB高级数据库设计师
北移动网优中心规划部技术负责人
南京泰睿麒系统架构师
16年硕士毕业于武汉大学测绘学院,测绘地理信息(GIS及卫星导航)相关专业,就职于阿里巴巴菜鸟网络--人工智能部--算法工程师,目前主要从事菜鸟末端轨迹系统算法开发与应用,及菜鸟LBS相关算法及业务.
菜鸟网络人工智能部算法工程师
Rocky1982 平安银行运维总监
苏宁云商IT总部资深技术经理
时间:10-20 09:00 - 10-21 18:00
地点:广东深圳市科兴科学园·国际会议中心