一、服务器和存储技术总结
【重点内容】
服务器概念、磁盘、RAID、DAS、NAS、SAN、数据备份、机房建设、容灾、数据中心概念
【内容详解】
一、服务器概念
RISC架构服务器、CISC架构服务器
在计算机系统中,指令系统的优化设计有两个截然不同的方向。一个方向是复杂指令集计算机系统CISC,通过增加新的指令达到增强指令的功能,但是会导致指令越来越多,指令系统变得复杂。CISC的特点就是指令系统齐全,但很多指令利用率,硬件浪费严重。
另一个方向是尽量简化指令功能,只保留功能简单,能在一个节拍内执行完成的指令,这种计算机系统是精简指令集计算机RISC,特点是指令系统比较简单,指令执行周期短,指令利用率高、硬件成本比较低,是一种相对比较先进的指令系统。
VLIW指令集字采用了先进的清晰并行指令计算EPIC设计,VLIW要比CISC和RISC强大得多。VLIW的结构简单,也能够使其芯片制造成本降低,价格低廉,能耗少,并且性能好。
机架式服务器的外形看来不像计算机,而像交换机,高度用U来衡量,有1U(1U=1.75英寸=4.445CM)、2U、4U等规格。机架式服务器安装在标准的19英寸机柜里面。这种结构的多为功能型服务器。
服务器要求性能要稳定、以够用为准则、应考虑扩展性、要便于操作管理、配件搭配合理、售后服务要好。
了解各类服务器对性能的要求差别,详情见讲义部分。
二、服务器相关技术
ECC是一种能够实现"错误检查和纠正"的技术,数据位每增加一倍,ECC位只增加一位。ECC具有比奇偶校验更强大的能力,可以将奇偶校验技术无法检查出来的错误位查出并将错误修正。
服务器集群的功能:冗余功能,负载均衡、协同处理。
ISC是一种网络监控技术,只适用于使用Intel架构的带有集成管理功能主板的服务器。监控和判断服务器是否"健康"
EMP更加通用的方案,智能平台管理接口IPMI是一种开放标准的硬件管理接口规格,用户可以利用IPMI监视服务器的物理健康特征,如温度、电压、风扇工作状态、电源状态等。
三、磁盘
固态硬盘SSD,也称作电子硬盘或者固态电子盘,是由控制单元和固态存储单元(动态随机存储器DRAM或闪存FLASH芯片)组成的硬盘,闪存完全擦写一次叫做1次P/E,因此闪存的寿命就以P/E作单位。
由于固态硬盘没有普通硬盘的旋转介质,因而抗震性极佳。其芯片的工作温度范围很宽(-40~85摄氏度)。固态硬盘相比于传统的机械硬盘在速度方面、噪声、体积重量更具优势。但目前由于成本较高,目前长时间内固态硬盘和机械硬盘将会共存。
目前,服务器市场上采用的硬盘主要有三种,SATA硬盘、SCSI硬盘以及SAS硬盘,其中SATA硬盘主要应用在低端服务器领域,而SCSI和SAS硬盘则面向中高端服务器。而SSD由于价格和寿命问题,在服务器市场还没有占据主流.
四、RAID
RAID的三项技术:条带化技术、校验技术、镜像技术。
条带化技术就是将一块连续的数据分成很多小部分并把他们分别存储到不同磁盘上去。
条带大小:一个条带数据的大小。减小条带大小:由于条带大小减小了,则文件被分成了更多数量,更小的数据块。这些数据块会被分散到更多的硬盘上存储,因此提高了传输的性能,但是由于要多次寻找不同的数据块,磁盘定位的性能就下降了。
增加条带大小:与减小条带大小相反,会降低传输性能,提高定位性能。
条带宽度:是RAID中的物理硬盘数量。例如一个经过条带化的,具有4块物理硬盘的阵列的条带宽度就是 4。增加条带宽度,可以增加磁盘阵列的读写性能。
条带深度指的是单个磁盘上条带的大小。
关系就是条带大小=条带宽度*条带深度
(1)RAID 0:RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,磁盘利用率是100%。
(2)RAID 3:数据以位存储于不同的硬盘,只是RAID3使用单块磁盘存储简单的奇偶校验信息,校验盘的负载将会很大,,所以最终磁盘数量为N。当这N个硬盘中的其中一个硬盘出现故障时,从其它N-1个硬盘中的数据也可以恢复原始数据,当更换一个新硬盘后,系统可以重新恢复完整的校验容错信息。磁盘利用率是(N-1)/N。
(3)RAID 5不单独指定的奇偶盘,而是在所有磁盘上交叉地存取数据及奇偶校验信息。RAID5磁盘利用率是(N-1)/N。
(4)RAID 6与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。即使两块磁盘同时失效也不会影响数据的使用。因此,RAID 6 要求至少4块硬盘。RAID 6磁盘利用率是(N-2)/N。
(5)RAID10结合RAID1和RAID0,先镜像,再条带化,磁盘利用率50%,可以允许两个RAID1中各坏一个磁盘。
(6)RAID50:它具有RAID 5和RAID 0的共同特性。它由两组RAID 5磁盘组成(每组最少3个),每一组都使用了分布式奇偶位,而两组硬盘再组建成RAID 0,重构速度相比于RAID5有很大提升。
RAID级别的选择有三个主要因素:可用性(数据冗余)、性能和成本。服务器目前常用的RAID级别是RAID0、RAID1、RAID5和RAID 10。
IO性能、数据可靠性、数据重构都是RAID10好于RAID5,成本是RAID5好于RAID10,RAID10适合企业关键存储应用,RAID5适合企业非关键性的存储应用。
热备是指当RAID组中某块磁盘失效后,在不干扰当前RAID系统正常工作情况下,用一个正常的备用磁盘顶替失效磁盘。
预拷贝是指系统通过监控发现RAID组中某磁盘即将发生故障时,将即将故障盘里的数据提前拷贝到热备盘中,能有效降低数据丢失的风险,提高系统可靠性。
RAID 2.0技术的存储系统具备以下优势:
快速重构:存储池内所有硬盘参与重构,相对于传统RAID重构速度大幅提升;
自动负载均衡:RAID 2.0中各硬盘均衡分担负载,不再有热点硬盘,提升了系统的性能和硬盘可靠性;
系统性能提升:LUN基于分块组创建,可以不受传统RAID硬盘数量的限制分布在更多的物理硬盘上,因而系统性能随硬盘I/O带宽增加得以有效提升;
自愈合:当出现硬盘预警时,无需热备盘,无需立即更换故障盘,系统可快速重构,实现自愈合。
华为公司在传统RAID技术基础之上,设计研发了一种底层虚拟化和上层LUN虚拟化的双层虚拟化技术RAID2.0+,用于满足存储技术虚拟化架构发展的趋势,
使用 RAID2.0+技术的系列存储系统,采用了虚拟化技术,对存储资源进行池化,管理员只需要维护少量的存储资源池,所有的 RAID 配置在创建存储池时自动配置完成,同时,系统会自动根据制定的策略来智能管理和调度系统资源,大大降低了规划和管理的难度。能自动根据业务所需的性能、容量、冷热数据等因素在后台进行智能调配,灵活地适应企业业务的快速变化。
五、DAS、NAS、SAN
DAS依赖于服务器,本身是存储设备硬件的堆叠,不带有任何存储操作系统。但是DAS也存在诸多问题:服务器本身容易成为系统瓶颈,数据存储的任务由服务器担当,使得服务器的性能会受到很大的影响;服务器发生故障,数据不可访问;
网络附加存储NAS方式全面改进了以前低效的DAS存储方式。它采用独立于服务器,单独为网络数据存储而开发的一种文件服务器来连接所存储设备。从位置来看,NSA设备连接在局域网上,而不像DAS一样直接连接在服务器上,这样数据存储就不再是服务器的附属,而是作为独立网络节点而存在于网络之中,可由所有的网络用户共享。
NAS虽然有优点,但是在使用过程中也有难以避免的缺点。
(1)NAS设备与客户机通过企业网进行连接,因此数据备份或存储过程中是需要占用网络的带宽,影响到企业内部网络上其他的网络应用,共用网络带宽的问题会成为限制NAS性能的主要问题。
(2)NAS的可扩展性受到设备大小的限制。
(3)NAS访问需要经过文件系统格式转换,所以NAS还是以文件一级来访问,不适合数据块级的应用
SAN(存储区域网络)和NAS不同,它不是把所有的存储设备集中安装在一个专门的NAS服务器中,而是通过网络方式连接存储设备和应用服务器的存储架构。
其中FC SAN需要部署光纤网络,还需要购买光纤交换机,因此组网部署稍显复杂,存储服务器上通常配置两个网络接口适配器:一个用来连接IP网络的普通网卡NIC、服务器通过此网卡和客户端交互;另一个网络适配器是和FC-SAN连接的主机总线适配器HBA,服务器通过HBA和FC-SAN中的存储设备通信。
新一代的FC协议可以和以太网直接连接,这就是FCOE技术。
FCoE具有以下功能:
第一,把FC-SAN通信和以太网通信整合到一个公用以太网基础架构上;
第二,减少适配器、交换机端口和线缆的数目;
第三,降低成本和简化数据中心管理;
第四,降低能耗和冷却成本并且减少占用空间。将部件总数减少一半能够实现能耗降低。
FCoE主要组件包括FCOE卡(聚合网络适配器CNA)、线缆、FCoE交换机。
FCOE当前存在的缺陷:
1. 由于标准产生较晚,且FC网络的已经大量部署,FCOE当前尚处于新的技术应用,产品及应用都还处于起步阶段,还需时间成熟。
2. 服务器需支持聚合网络适配器CNA网卡,需要支持FCOE的存储设备,支持FCOE交换机和传统交换机的芯片也存在差异,新产品新技术带来成本的提升,但比起建设FC SAN,FCOE的成本还是有所降低。
3. 维护方面,FCOE继承了FC协议的特点,仍然需要专业的FC知识,其对维护人员的技能要求依然比IP SAN的要高。
IP SAN存储技术,意思是在传统IP以太网上架构一个SAN存储网络把服务器与存储设备连接起来的存储技术。
采用IP SAN可以将SAN的共享特性以及IP网络的通用性很好结合在一起。采用iSCSI技术组成的IP SAN可以提供和传统FC SAN相媲美的存储解决方案,而且普通服务器或PC机只需要具备网卡,就可以使用大容量的存储空间。
总结一下:IP SAN优点就是接入标准化、传输距离远、可维护性好、后续带宽扩展方便。
基于对象存储技术的设备就是对象存储设备OSD。总体上来讲,对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。
六、存储高级技术
(1)自动精简技术
自动精简技术目的是提高磁盘空间的利用率。自动精简配置是一项新的容量分配的技术,不会一次性的划分过大的空间给某项应用,而是根据该项应用实际所需要的容量,多次的少量的分配给应用程序,当该项应用所产生的数据增长,分配的容量空间已不够的时候,系统会再次从后端存储池中补充分配一部分存储空间。
(2)分层存储技术
在线存储是指存储设备和所存储的数据时刻保持"在线"状态,可供用户随意读取,满足计算平台对数据访问的速度要求。一般在线存储设备为SAS磁盘、磁盘阵列、SSD、光钎通道磁盘等存储设备,价格相对昂贵,但性能较好,满足高效的数据访问需求。
离线存储是对在线存储数据或近线存储的数据的备份,以防范可能发生的数据灾难。一般采用磁带或者磁带库等存储介质。
近线存储的特点是性能接近在线存储,而成本接近离线存储。所以在线存储技术出现了一些采用SATA、光盘塔和光盘库作为近线存储设备的产品。
七、数据备份技术
(1)完全备份:备份系统中所有数据。
(2)增量备份:只备份上次备份后有变化的数据。
(3)差分备份(也称为累计备份):是指备份上次完全备份以后有变化的数据。
目前,常见的数据备份系统主要有Host-Base、LAN-Base和基于SAN结构的LAN-Free、Server-Free等多种结构。
Host-Based是一种传统的数据备份结构,在该结构中,是基于DAS的存储备份系统,数据存储设备直接连接在服务器上,而且只为该服务器提供数据备份服务。
在LAN-Base结构的备份系统中数据的传输是以网络为基础的。其中配置一台服务器作为备份服务器,由它负责整个系统的备份操作。备份存储设备则接在某台服务器上,在数据备份时备份对象把数据通过网络传输到存储设备中实现备份。
LAN-Free备份主要指快速随机存储设备(磁盘阵列或服务器硬盘)向备份存储设备(磁带库或磁带机)复制数据。LAN-Free也叫做无局域网备份,控制流经过LAN传输,而数据流不经过LAN。LAN-Free的优点是数据备份统一管理、备份速度快、网络传输压力小、磁带库资源共享;缺点是投资高。
Server-Free结构的备份系统也是建立在SAN的基础上的,它是以全面的释放网络和服务器资源为目的的。它的核心部分是在SAN的交换层去实现数据的复制工作,这样备份数据不仅无需经过网络,而且也不必经过应用服务器的总线,完全的保证了网络和应用服务器的高效运行。
优点就是服务器的瓶颈解决,备份会更快,在任何时间进行备份并不会对用户网络造成影响,真正实现7*24小时的全天候备份,恢复数据也更快。但缺点就是成本高、实施难度大,目前还没有统一的标准,支持的平台有限,目前虽然有很多厂家推出了自己在这方面的产品和技术,但都还不成熟,没有大规模的应用。
八、机房建设
我们国家的机房等级分为A、B、C三级,依据的是我们国家《电子信息系统机房设计规范》(GB 50174-2008)。具体参看讲义即可。
九、大二层网络技术
大二层网络是针对当前最火热的虚拟化数据中心的虚拟机动态迁移这一特定需求而提出的概念,对于其他类型的网络并无特殊的价值和意义。
大二层网络技术实现技术有网络设备虚拟化技术和传统厂商技术以及IT厂商技术。
其中传统厂商技术有多链路透明互联TRILL、最短路径桥接SPB,TRILL技术将IP报文转发思路应用于以太帧转发,通过TRILL构建的大二层网络规模更大,而且是标准的IETE协议,支持多厂商,但TRILL是新技术,传统交换机不仅需要软件升级,还需要硬件支持。
IT厂商技术,典型代表就是VXLAN、NVGRE等这种overlay技术。
十、数据灾备
从技术上看,衡量灾备系统有两个主要指标:恢复点目标RPO和恢复时间目标RTO,其中RPO代表了当灾难发生时允许丢失的数据量;而RTO则代表了系统恢复的时间。
按照行业的说法,灾难备份从保障的程度上一般分为数据级、应用级。其中数据级、应用级都是在IT系统的范畴之内而言,业务级则考虑到IT系统之外的业务因素,包括备用办公场所、办公人员等。
灾难恢复等级的确定是信息系统灾难备份建设的重要考虑因素,《信息系统灾难恢复规范》把灾难恢复能力划分为6级。
(1)基本支持
要求数据备份系统能够保证每周至少进行一次数据备份,备份介质能够提供场外存放。对于备用数据处理系统和备用网络系统,没有具体要求。
(2)备用场地支持
在满足等级一的条件基础上,要求配备灾难恢复所需的部分数据处理设备,或灾难发生后能在预定时间内调配所需的数据处理设备到备用场地;要求配备部分通信线路和相应的网络设备,或灾难发生后能在预定时间内调配所需的通信线路和网络设备到备用场地。
(3)电子传输和设备支持
要求每天至少进行一次完全数据备份,备份介质场外存放,同时每天多次利用通信网络将关键数据定时批量传送至备用场地。配备灾难恢复所需的部分数据处理设备、通信线路和相应的网络设备。
(4)电子传输及完整设备支持
在等级三的基础上,要求配置灾难恢复所需的所有数据处理设备、通行线路和相应的网络设备,并且处于就绪或运行状态。
(5)实时数据传输及完整设备支持。
除要求每天至少进行一次完全数据备份,备份介质场外存放外,还要求采用远程数据复制技术,利用通信网络将关键数据实时复制到备用场地。
(6)数据零丢失和远程集群支持。
要求实现远程实时备份,数据零丢失;备用数据处理系统具备与生产数据处理系统一致的处理能力,应用软件是"集群的",可实时无缝切换。
十一、两地三中心
两地三中心,两地是指同城、异地,三中心是指生产中心、同城容灾中心、异地容灾中心。通常在离生产中心几百或者上千公里的地方建立异地灾备中心,应对区域性重大灾难,一般是通过IP网络连接,实现定时异步复制灾备,是两地三中心容灾解决方案的第二级容灾保护。同城灾备中心与异地灾备中心之间采用异步复制方式,定期将数据进行复制备份,异步复制支持增量复制方式,可以节省数据备份的带宽占用,缩短数据的备份时间。
十二、数据中心
国外TIA942则按照数据中心支持的正常运行时间,将数据中心分为4个等级。不同的等级,数据中心内的设施要求也不同,级别越高要求越严格。
第一级:基本级:IT设备容易受计划和非计划的活动中断,基本级机房具有单路电源和冷却系统,无冗余化部件,有较多的单一故障点,设施部件故障会导致机房服务中断,每年运行时间百分比为99.671%。年最长总停机时间 = 1729.2分钟或28.817小时每年 。
第二级:部件冗余级:IT设备受计划和非计划的活动中断可能性较小,提供一定程度电源和制冷额外保障避免处理中断。有冗余部件,在对关键供电分配系统和基础设施进行维护时需要关闭设备,可用性达到99.741%,每年中断时间低于22小时。
第三级:并行维护级:可以在不关闭计算机硬件设备的情况下进行计划性的维护,但对于非计划性故障依然会造成数据中心的业务中断。可用性99.982%。每年中断时间低于105分钟。
第四级:容错级:考虑所有计划性的维护和可能存在的非计划性的维护,所有设备具有容错性、采用2N完全冗余配置,可用性达到99.995%以上,每年中断时间不超过10分钟。
数据中心机房有一个技术指标PUE。PUE=数据中心总用电量/IT系统用电量
其中数据中心总用电量=IT系统用电量+空调耗电+供配电耗电+照明耗电+其他耗电,现在PUE的值一般是1-2,作为衡量数据机房的技术指标,值越小越好。
版权申明:本站文章均来自网络,如有侵权,请联系01056159998 邮箱:itboby@foxmail.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有