为什么要使用分布式存储服务器存储及计算其有哪些优点
【温馨提醒】本文部分内容源于网络收集整理,仅供参考!如需了解“为什么要使用分布式存储服务器存储及计算其有哪些优点”等有关服务器、云主机租用、托管、配置、价格问题,请在线咨询YINGSOO客服,获取最新优惠!
【国外主机】台湾400M服务器 | 美国高防服务器 | 美国CN2服务器
【推荐文章】美国VPS服务器好用吗?与云主机相比该如何选择
在这个数据爆炸的时代,产生的数据量不断增加。从GB、TB、PB和ZB中挖掘数据的价值也是企业追求的最终目标。但是,如果你想挖掘海量数据,首先要考虑的是海量数据的存储及计算,那么很多企业都是选择用分布式存储服务器来进行的。
说到数据存储,磁盘上读写数据的速度是个问题,早在20世纪90年代初,硬盘的平均存储容量约为1克,读取速度约为4.4 MB/s。
读取一个硬盘大约需要5分钟,但现在磁盘的容量约为1 TB,这比这个还要多,差不多大一千倍。
分布式存储服务器
但是硬盘的读取速度是每秒100兆字节,读硬盘需要2.5小时。因此,如果它基于太字节的数据分析,从磁盘读取数据需要几天时间,更不用说计算和分析了。
那么如何处理大数据的存储、计算和分析呢?减少数据读写时间的一个非常简单的方法是同时从多个硬盘上读写数据。
例如,如果我们有100个硬盘,每个硬盘都能容纳1%的数据并并行读取,我们可以在不到2分钟的时间内完成2.5小时的数据读写,这是大数据的分布式存储模型。
当然,分布式存储服务器的实现还有很多问题需要解决,比如硬件故障。当多个主机用于分布式存储时,如果主机发生故障,则会发生数据丢失。
分布式存储服务器
因此,有一种复制机制:数据的副本存储在系统中。在系统发生故障时,可以用另一个副本替换它(著名的团队冗余磁盘阵列就是基于此原理)。
其次,如何分割文件是未来需要考虑的一个大问题。例如,我们在Hadoop中使用HDFS时遇到了这个问题,但是框架为我们提供了解决这些问题的方法。
开发人员在开发过程中不需要考虑这些问题。类似地,如果我们有一个10tb的文件,我们需要计算一个关键字的出现次数。
遍历整个文件并计算关键字出现次数的传统方法效率特别低。将来,我们将能够在不同的地图服务器上使用分布式存储。
换句话说,如果数据分布在100台服务器上,关键字统计的效率可以提高几十倍,这时选择分布式存储服务器就再好不过了
热门产品:美国服务器租用去首页参与活动!YINGSOO最新推出Bzz蜂群挖矿服务器、Bzz蜂群母鸡服务器、Swarm Bzz挖矿教程【图文教程】、Swarm Bzz挖矿教程【视频教程】,《swarm bzz挖矿资料大全》,Bzz节点租用请咨询YINGSOO客服!
版权声明:本站文章来源标注为YINGSOO的内容版权均为本站所有,欢迎引用、转载,请保持原文完整并注明来源及原文链接。禁止复制或仿造本网站,禁止在非www.yingsoo.com所属的服务器上建立镜像,否则将依法追究法律责任。本站部分内容来源于网友推荐、互联网收集整理而来,仅供学习参考,不代表本站立场,如有内容涉嫌侵权,请联系alex-e#qq.com处理。