腾讯服务器实验室如何备份、存储冷数据？

本文作者：赖守锋，2001年结业于湖北工业大学，处置多年智能节制器和存储办事器的硬件和驱动开辟。在腾讯次要担任存储机型及存储部件的规划，使用征询及毛病处置相关工作。

2016中国大数据财产峰会上，pony以腾讯的天津数据核心的事例，讲述了数据核心的存储和平安，考虑备灾核心的扶植问题。公司从计谋高度关心数据核心的数据平安性。

数据核心的数据平安性是一个多方面的问题，从IDC的风，火，水，电的扶植，再到从小到一个存储bit，再到一个sector，一个硬盘，一台存储办事器，一个存储办事器集群再到一个数据核心。在此我们会商的是备灾核心的存储介质选择的问题，从平安性，靠得住性，介质成本以及相关的IDC扶植成本上来阐发将来可能采用的存储介质手艺。

3、数据需要保留的时间长，所以需要长时间靠得住的存储介质，运营维护简单靠得住；

4、能快速恢复数据，备份的数据大，同时异地的收集传输带宽小的矛盾，所以需要备份的数据能快速运输，以便利数据搬运。

谈到存储消息的媒体介质，从古来的龟壳，竹简，纸张到现代计较机系统利用的硬盘、内存等多种多样。这里我们只谈现代计较机系统的存储介质。

磁存储，凡是的表示体例有磁盘和磁带。在磁存储中消息的记实与读出道理是磁致电阻效应。磁致电阻磁头的焦点是一片金属材料，其电阻随磁场变化而变化。磁头采用分手式设想，由感应磁头写，磁致电阻磁头读。道理如下图：

光存储，表示形式就是光盘，CD 、DVD、BLU-RAY等等。根基道理就是采用激光束经光路系统、物镜聚焦后映照到介质上（核心处记实斑直径反比于波长λ，反比于聚焦系统的数值孔径NA），介质被激光烧蚀出小凹坑。介质上被烧蚀和未烧蚀的两种形态对应着两种分歧的二进制数据。识别存储单位这些性量变化，即读出被存储的数据。道理如下图：

电存储，即电荷存储手艺，表示形式有各类接口的SSD硬盘，SD卡等多种电子存储设备。

根基道理常采用浮空栅雪崩注入式MOS电路，简称为FAMOS。它与MOS电路类似，是在N型基片上发展出两个高浓度的P型区，通过欧姆接触别离引出源极S和漏极D。在源极和漏极之间有一个多晶硅栅极浮空在 绝缘层中，与四周无间接电气连接。这种电路以浮空栅极能否带电来暗示存1或者0，浮空栅极带电后（例如负电荷），就在其下面，源极和漏极之间感应出正的导电沟道，使MOS管导通，即暗示存入0。若浮空栅极不带电，则不克不及构成导电沟道，MOS管不导通，即存入1。布局图如下：

因为电子存储设备的高成本特征决定了其不成能在备份数据核心作为次要的存储介质。所以鄙人面的对比中不考虑，把次要的对比放在磁存储即大容量的磁盘、磁带和大容量的光存储—蓝光存储介质的对比上。

蓝光存储系统是以蓝光光盘作为存储介质，集成机械手，蓝光驱动器等构成的能够供给文件级存储办事的存储系统。下图是蓝光到手艺路线图：

此刻市场上蓝光存储每张碟的最大容量是300G。跟着手艺的房展，到2017年能够到500GB每张，2019年能够到1TB每张。单元成本将不竭的下降。以松下蓝光存储系统为例，曾经成长到第3代。下图是单机部件布局图：

每个6U高度的存储单位摆布两排各45个光盘匣，一台机械90个光盘匣，支撑6~12个光驱，也能够在一个机柜内与其它存储单位共用光驱。每个光盘匣有12个光盘，一个存储单位可容纳45 X 2 X 12= 1080张光盘。一个44U的机柜能够摆设6个如许的存储单位，共6480张光盘，每张300G，总容量就是1。944PB的存储容量。

蓝光的系统使用道理，能够通过以太网毗连主存储办事器，通过备份软件备份到蓝光存储的文件办事的windows/Linux办事器上，通过文件办事器再把数据写到蓝光存储的设备上。服务器数据备份

从数据完整性来评估，支撑盘匣级此外RAID 0，RAID 1，RAID 5，RAID 6这些RAID组，即由一个盘匣内的12个光盘构成上述RAID组，相当于是12个磁盘做RAID。具有盘匣级此外RAID 组，现实上曾经能够做到单机上的冗余备份。磁带存储系统的架构与蓝光存储系统的架构根基是雷同的。

蓝光光盘的价钱比拟机械硬盘并不算很廉价。但冷储存数据需要均衡冗余和寿命两个要素。蓝光的寿命要长于通俗硬盘（云盘、监控盘）。对于『论持久战』的备份场景，蓝光存储的寿命劣势较着。蓝光光盘比拟机械硬盘，还有很多劣势。蓝光盘更耐用，防水防尘，更好的承受温度的波动。蓝光盘库系统对数据核心几乎没有情况温湿度要求。数据能更快的恢复（对比于磁盘损坏的环境）。也因为分量轻的来由而更容易运输。蓝光存储的另一个长处是省电。蓝光介质比机械硬盘省80%的电能。因而从能耗成本上能够完胜机械硬盘。

基于以上提到的收益以及更多其他要素，Facebook 结合 Panasonic 研发了蓝光存储系统，而且曾经起头在出产情况商用。服务器数据备份

距2015年8月12号，天津口岸爆炸核心曾经快一周年了，你们可能不晓得，腾讯的天津数据备份核心距离里爆炸点直线公里，我们在本地的建筑遭到了强烈的冲击波及，万幸对营业运营没有影响。

在介质的采购成本上，以8T的磁盘和6T的磁带以及300G的蓝光单元成本对比，磁带最廉价，磁盘最贵。可是因为磁带对情况的要求比力高，湿度，温度要求苛刻，导致额外的IDC配套的冷却系统扶植成本高，同时磁带需要经常性的倒带，防止磁带粘连从而使数据丢失，维护麻烦，从而总体TCO来当作本并不比蓝光低。同时磁带驱动器只兼容相邻的2代LTO的手艺，不克不及像蓝光驱动器那样兼容所有的代数蓝光存储手艺。因而比拟磁带，蓝光存储寿命长，数据可达50年，对情况要求低，维护简单，是一个更好的备份存储手艺选择。

按2PB存储容量为例，我们分析IDC扶植，功耗，维护各方面来阐发磁盘存储系统和蓝光层出系统的TCO环境，如下表所示：

能够看到5年这个时间点上，磁盘因为毛病率高企而需要更新换代，所付出的成本已远远跨越蓝光。服务器数据备份而且蓝光存储的成本劣势，会跟着时间的推移而愈发较着。（这此中考虑了空调系统扶植的会用，电力系统扶植的费用等问题）

为便于备份数据在数据核心间迁徙，快速转移备份数据，蓝光存储曾经集装箱化。一个集装箱就是一个小的蓝光存储核心。一个集装箱内别离安插光盘存储、配电和空调、备件、室外空调设置，是一个微型化的能够快速挪动的小型数据模块。在任何处所只需接上电力和收集通信，就能够投入工作。当数据需要恢复时，间接把集装箱运到本地的数据核心，远比通过互联网带宽进行收集恢复要快速。下图是集装箱式的蓝光存储系统示企图：

备份数据核心是一个对成本敏感，但又很是主要的系统。通过对数据备份介质成本和运营成本的阐发，我们认为蓝光存储将是一个较优选择。我们已在腾讯办事器尝试室搭建一套蓝光存储系统，协助具有大量冷备数据需求的用户评估合用性。