软硬结合:快手引荐体系国内首先根据耐久内存
栏目:利来娱乐在线开户 发布时间:2019-08-10 11:55
原标题:软硬结合:快手引荐体系国内首先根据耐久内存运用异构存储

  作为2亿日活、日均千万级短视频上传、着重社区普惠的短视频APP,快手引荐体系所需处理的技能应战是世界级的。近来,快手在国内首先运用耐久内存从头规划了根据异构存储结构的引荐体系,首先选用英特尔(R)傲腾TM数据中心级耐久内存。在快手引荐体系高吞吐量大数据量恳求的场景下,运用耐久内存可以下降存储本钱,削减毛病康复时间,进步体系可靠性。毛病康复时间从小时等级下降到分钟级,也为改善大规划深度机器学习体系在改善千亿等级数据量的处理才能上拓荒了新的探究方向。

  业界超大规划实时在线短视频引荐体系

  如安在承载高峰期每秒数十万并发调用量的一起,从上百亿等级的短视频库中,经过千亿参数等级的深度模型将内容展示给用户?快手引荐团队规划了根据异构设备的先进引荐体系,其间遇到问题的杂乱程度极富应战。

  现在快手引荐体系选用的是核算与存储别离的架构形式(如下图所示)。引荐体系中的存储型服务首要是用来存储和实时更新上亿规划的用户画像、数十亿规划的短视频特征、以及千亿规划的排序模型参数。核算型服务首要进行的是视频召回检索、引荐模型预估和引荐战略核算。

快手引荐体系选用核算和存储别离的架构

  2018年到2019年上半年,快手引荐架构团队的首要作业会集在运用异构混合核算的方法,进步引荐体系中模型预估和召回检索等核算密集型事务的功能。经过运用异构核算的改造,产生了数倍的功能进步,鼓动了快手引荐架构团队向异构体系规划中更难的存储问题进发。

  一直以来,快手引荐团队致力于引荐体系架构调整,力求在日益增长的用户量冲击下,使引荐体系高可用的前提下,实时、高效、精准地向用户引荐优质内容。

  新机会:软硬结合极致优化,探究异构存储

  耐久内存是介于DRAM和SSD间的新存储层级,不仅能供给挨近DRAM的推迟,一起还供给耐久化和更大容量的存储空间,这为引荐体系中不同场景的可行性剖析和架构规划供给了思路。

  比较于传统的内存加硬盘的两级存储,新存储设备的推出,现代服务器可以运用的存储层级越来越多,运用多层级存储的软件体系规划也变得越来越杂乱。每种存储设备有不同的功能特性和容量巨细约束,越快的设备的单位容量本钱越高。例如运用内存插槽的英特尔(R)傲腾TM数据中心级耐久内存,根据读写粒度的不同,读写带宽虽小于传统内存,但写入数据具有耐久性,且容量远大于传统内存。怎么结合不同层级的存储规划在大规划引荐场景下性价比最优的存储体系成为一个巨大机会和应战。

上一篇:彩云长在有新天
下一篇:没有了

服务热线