大会介绍


报告题目： 基于纠删码的分布式文件系统更新性能优化研究

报告人： 魏征 博士


时间：2019年11月29日（本周五）上午10:00

地点：环保园327会议室


简介：海量数据背景下，分布式机群中节点失效已成为常态，副本和纠删码成为主要的冗余机制，但纠删码的存储开销仅有副本机制的一半左右。基于存储成本的考虑，纠删码逐渐被各种开源和商用存储系统采用。低效的更新性能限制了纠删码的使用场景，纠删码当前主要应用于多媒体、文档备份、冷数据等无需更新的场景，暂时无法应对虚拟桌面、数据仓库等需要频繁更新的场景。更新性能成为推进纠删码实际应用范围的一个重要指标，近年来一直被反复研究。许多基于日志的更新方法相继被提出，但依然存在更新时延大、更新吞吐量低的问题，主要是因为更新关键路径上的随机问题，日志回收过程中的随机开销和更新过程中局部性利用不足导致。本研究基于这些原因，提出了基于副本数据日志和校验日志的纠删码更新方法REDPL。REDPL避免了更新关键路径上的随机开销，降低了更新时延；基于数据日志挖掘更新请求的时空局部性，通过对重复请求和相邻位置请求的聚合，大量降低了更新过程中的磁盘访问开销、网络开销和计算开销，提高了吞吐量。通过局部性挖掘和队列日志结构，提高了日志回收的并发性，降低了日志回收过程中的随机开销，实现了日志追加和回收的高并发。REDPL采用日志实时回收的策略，降低了日志结构对数据读和日志回收的影响，提高了系统的可靠性。基于模拟负载和实际负载，REDPL相对其他机制获得了更好了性能，并与副本机制具有可比性，极大推进了纠删码的实际应用场景。


时间：11-29 10:00 - 11:30
地点：文松路1号龙芯产业园1号楼327会议室

报名购票

主办方

大会网站 - 报名售票 - 签到互动 - 数据统计
本会议活动由 IT大咖说提供技术支持