技术解析

请问那位朋友接触过组建 200T+的存储呢?请多给些经验、建议。谢谢。
0
2021-05-13 23:04:48
idczone

有需要提供 200T+存储的需求。

但是没接触过, 搜了半天, 大概了解了 磁盘阵列。 但是 hp dell 等价格特别贵。 然后看到了一个淘宝上的,但是北京的某个商家。

个人感觉,具体实现肯定不像 服务器组个 rai大带宽服务器d5 那么简单。

但是又担心有坑。 所以来请教大家, 请多给些经验、建议。谢谢。

我的场景。

大概 5 年为一个期限,宽松预估需要 200T 的存储能力, 需要备份。(最好热备,不行就隔天也可以)

200T 中基本上 95%的数据 第一次写入后 就不会再有访问的需求了, 但是有 5% 是完全随机的。 所以整个存储偏向冷数据备份。

数据基本上都是每晚 12 点开始。 第二天早晨结束。

存储的内容 目前预估为 json , word ,图片, 5 分钟左右的视频。几个类型的。以后有可能扩充,但这些预估为主要存储对象。

还请大家多多分享,多多指导,谢谢。


这种需求就别淘宝了。
这个是存档的需求,分布式存储方向产品

400T 阵列柜管理员表示,这个涉及到的专业性质略高,还是建议请专业团队做。
包括阵列的配置计划,硬盘生命周期计划,后续的 iSCSI 存储配置等一系列操作。

我的阵列柜是, 100T 是固态,常用数据放在在里面,做高速读写;100T 是 raid0 ,当二级缓存放热备数据,最后 200T 做数据沉积,存放一些一年都不动一下的记录数据。

磁带机 冷库

这个数量级不是单纯堆量的问题
可能需要分布式文件系统
你先把需求理请:
可用性
数据存活率
要不要异地容灾
热数据 /冷数据访问延迟
是否可以预先请求(很多冷备份系统是要提前几小时请求的)
怎么索引
数据生命周期
设备生命周期
我也不是专业的,但是这些基本上任何储存系统都应该有所考虑

200T 不大,但是你需要考虑的问题很多
存储接口?
平时用 ceph 比较多,感觉这个用对象存储(s3/swift)比较合适,不过需要开发对接,并且对 ceph 运维也有一定要求,建议找 ceph 服务厂商。
架构还需要专业人员
还有热数据可以用 cache 层,效果先不说
ceph 本身有副本跟纠删码的冗余机制,真正麻烦的是你要的备份功能, ceph 的对象存储多区域社区方案稳定性如何还是未知,倒是有几家专业点的有能力自己魔改代码然后上生产。

不过算下来 ceph 跟专业的传统存储还有多少价格优势我就不清楚了。不太了解传统存储的价格, ceph 的报价倒是了解一点……

如果预算充足,可以考虑一下现有的商用解决方案,比如 dell( http://china.dell.com/p/enterprise-products.aspx?c=cn&l=zh&s=bsd&~ck=mn),联想( http://support.lenovo.com.cn/lenovo/wsi/es/es.html ),惠普(没找到服务器的链接);

ceph 或 glusterfs ,网络版的 raid
机器自身存储可以用 lvm 挂多块硬盘

HP 3PAR
EMC 也有(名字忘了)
要省事建议还是用成熟方案。
非要自己攒,可以参考 backblaze,这家备份商,他们是用了自己设计的机器,我记得他们网站上之前有介绍过自己的系统。

scaleIO

感谢大家的回复。
请问你们的是什么牌子的硬件? 不知道我这里有没有他们的技术支持, 有团队联系方式吗
方便发一下报价吗? xjdata(AT)gmail.com

只是了解一点点,而且我司在我看来也不算很专业就不误导人了。

linus tech tips 做过一个数百 T 的存储阵列,中间经历过数据恢复,后来升级成了 1PB

现在 200TB 不算啥了吧,主要看你需求,可能并没有别人说得那么困难。原始容量 200T 的话也就 20 块 10TB 的硬盘。

40 块 10t 硬盘 全部 raid1 , 2 片 hba 卡加扩展卡。 solaris 装一个 热备盘设定好。启动

请搜索磁带库……



先考虑下 200T 数据丢失是什么后果。
然后就是:
1、服务器两块 HBA 备份,分别连接盘柜,如果要求再高,就两台做 HA 丛集,配置视需求定。
2、双电源,双主控的盘柜
3、盘柜的阵列部分,分卷,每个卷 20-30 块硬盘配置一个 RAID6。不要用 RIAD5 因为 RAID5 有效检文件损坏的几率。
4、硬盘,不要买 WD 的盘,有阴影,希捷的 SAS 盘。硬盘买容量最大的,目前是 12T,这样可以少插两块硬盘省点电费。
这样算下来,除了硬盘是 RAID 6 以外,所有部件都是 2 倍冗余。
未来扩充,只要插硬盘,添置盘柜就行了,1PB 以下的需求应该都没啥问题。
UPS 是必须,若服务不能停的话要加发电机,发电机的功率要为 UPS 的 3 倍以上,具体参见 APC 的白皮书。
SSD Cache 视需求添加。
以上是标准的高可用存储服务器配置。大部分是 2 倍冗余,记得浪潮之前做了个 1.3 倍硬件做出 6 个 9 可用的机器,不知道是怎么设计的。。
重要数据加密上云,死也不能丢的又不能上云的数据那就移动硬盘 /磁带存银行。

数据地带为您的网站提供全球顶级IDC资源