医院数据集中存储与备份一体化解决方案

一、背景

　　我院是一所集医疗、教学、科研、预防、保健和康复功能于一体大型的综合性医院。1994年、1995年分别通过评审，跨入了国家“三级甲等”医院及“爱婴医院”的行列，1996年、1998年分别被省卫生厅评为“广东省高等医学院校教学医院”、省“百家文明医院”。

　　我院现有编职人员1620人，医疗技术力量雄厚，全院共有高级职称人员230人，中级271人，初级技术人员640人，研究生9人。科室设置齐备，设有职能科室26个，临床一级科室16个，医技科室36个。现有编制床位953张。年门、急诊量约53.3万人次，住院病人数约1.7万人次。除普通门诊、基础医疗服务外，每周还开设专家、专科门诊44单元和家庭病床以及社区保健服务，并设有港、澳、台、华侨病区和老干病区，为社会群众提供优质高效的医疗服务。

　　随着医院信息管理的进一步科学化、规范化，我院建立了“以病人为中心，以医生为主体，以临床信息为重点”，该系统实施后，对业务管理、教学和经济核算起到了越来越重要的作用，提高了医院管理水平和工作效率等。

　　随着业务的不断发展，我院已经建立包括医生工作站，PACS系统，Lis系统，医技系统等信息管理模块，已经实现医院数字化管理以及电子病例的管理。随着我院信息化系统的数据库的数据量越来越大，系统的保护和对数据的防灾越来越显得重要。计算机处理系统的稳定与否，其数据的安全与否，直接影响到我院正常的工作，从另一个角度来讲，还影响到我院的医疗服务水平和管理工作。信息管理系统属于24X 7小时的关键性不间断业务系统，如果发生信息系统业务中断，会给医院带来不可估价的损失。因此，医院信息系统的可用性和数据的安全、可靠性尤为重要，必须通过多种技术措施，提供较强地管理机制和控制手段，保证系统运行和业务数据的安全和一致性，以保证系统的正常运行。

　　在这种情况下，如何保证我院信息化系统的正常稳定运行，如何预防数据因错误或灾难而丢失，成为我院信息系统亟待解决的问题。

 

二、需求分析

　　1、 医院HIS服务器现状

　　

 

　　我院信息系统建立在Windows 2000操作平台上，现有多台服务器在运行，HIS、备份、迁移、检验服务器、PACS等系统在运行。这些服务器只作了单一的本地数据存储，并在指定的时间通过数据命令将数据备份在另一台备份服务器中。数据库系统是Oracle9i，客户端用户有300多个。比如医院HIS服务器每天晚上10：00通过ORACLE EXPORT将HIS数据导出成一个DMP文件。如果本地服务器出现硬件故障(CPU、LAN、POWER、FAN等)，都将导致医院部分日常业务中断，对于依赖计算机管理水平高的医院来说，很多的业务将无法开展。当ORACLE数据库出现故障时，对于时间要求严格、病人数据大的医院出现短暂的停顿都无法忍受。如果采用上面所说将DMP文件也入回数据库中，至少需要5个小时才能恢复，并且要丢失好几个小时的数据。

　　2、数据的可用性与安全性的分析

　　目前HIS、PACS、检验，B超服务器等系统在运行中面临着用户数量多而且增长快，并发访问量大，因此要求应用响应快、对于应用的连续稳定要求高;同时，由于是企业的核心业务数据，因此对于数据的安全性要求非常高，绝对不能损坏和丢失。

　　目前的存储架构，PACS服务器做双机热备并连接一个磁盘阵列，HIS服务器连接一个磁盘阵列，这两种存储架构，都属于典型的单机分散存储，整个系统存在运行效率低、应用缺乏高可用保护、核心数据库数据缺乏在线冗余保护、应用系统出现故障时恢复时间过长等问题。

　　根据对医院环境和应用特点的分析，我院通过整合存储架构、采用群集高可用系统、核心数据的集中备份和异地备份、系统容灾快速恢复等多种数据安全保护方式，完全消除上述隐患，并可做到系统平滑升级和在线扩容。

　　具体而言，我院的信息系统的主要需求在以下几个方面：

　　1、 高性能和高可靠的集中存储系统：由于有大量的并发访问，需要对目前的单机分散存储架构进行改造，构建一个高效安全的专用存储网络，可以把我院的信息系统整合为FC SAN存储架构。存储设备采用具备高性能和高可靠性的光纤接口的磁盘阵列，实现数据的集中存储。磁盘采用高可靠的SAS磁盘或FC磁盘。

　　2、 存储和备份空间容量要求: 针对上述所有应用系统的服务器实现集中存储管理，考虑到3-5年的数据增长，集中存储设备的容量要求达到：医院需要3TB的存储容量;集中备份需要至少5TB的可用空间。

　　3、 数据的高安全性：由于HIS、PACS等数据是绝对不能丢失的核心业务数据，因此需要对核心业务数据做冗余的在线和离线数据保护，构建一个完整的数据统一备份系统，将整个网络中的所有关键数据库数据进行集中备份，建立统一的备份策略，自动备份数据。针对上述的数据库服务器的数据实现在线备份(包括对SQL、Oracle等主流数据库的在线备份)，数据集中备份到虚拟磁带库中，这样在主存储设备中的数据出现损坏或丢失的情况下都能够迅速从虚拟带库中得以恢复;另外，对于需要长期保存的数据，可以通过备份到与虚拟磁带库直接连接的一台物理磁带库中，实现离线的归档。整个数据的备份和恢复，以至于将来可能的数据迁移、数据复制等一系列数据管理操作，都是通过备份软件来统一管理。因此需要采用技术领先，具备图形化操作、全中文管理界面，以及支持断点续传(尤其是数据库的断点续传)和真正合成全备份的备份软件。

 

三、系统设计目标

　　为上述应用系统建设集中存储和备份网络，以及异地的数据容灾中心，实现数据的统一安全管理，针对不同应用类型和数据类型提供多重的数据安全保护手段，在此基础上确保核心应用的7*24小时连续运行。

　　存储系统建设目标：使用高性能、高可靠性的大容量存储设备，进行存储整合，通过建立FC SAN存储基础架构,使数据集中存储，建立一个高效、稳定、可靠的存储网络、数据存储中心和安全的管理平台。

　　备份系统建设目标：构建一个完整的企业级数据备份平台。将整个存储网络中的重要数据进行集中备份，建立统一的备份策略，备份作业自动化，实现数据的在线备份和离线归档。在备份设备中使用高速的备份介质，减少日常备份/恢复作业对系统可用性及性能的影响，实现快速的备份/恢复机制。

 

四、系统设计原则

　　1、存储系统的设计原则

　　● 提高存储空间利用率，节省总体数据存储成本，有效提高投入产出比。

　　● 数据整合，进行统一的管理与应用，降低管理员的工作量以及人力开支成本。

　　● 磁盘阵列的读写速度与稳定性要高。

　　● 支持灵活安全的在线扩容。

　　● 采用多种RAID模式使设备更加可靠，保证有磁盘损坏时不影响数据。

　　● 专用的外置存储设备支持控制器、电源、锂电池、风扇等关键部件的热插拔，故障部件可以在线更换;

　　● 可以实现分级存储功能;

　　2、备份系统的设计原则

　　● 可以采用专用的备份网络，避免业务系统网络和备份网络的互相干扰。

　　● 针对特别的应用，可以提供零窗口和LAN-Free的备份方式。

　　● 支持介质复制的断点续传，减少网络带宽，提高网络带宽的利用率。

　　● 数据的备份采用D2D2T策略，通过在线的磁盘阵列，近线的虚拟磁带库，离线的物理磁带库，共同完成信息生命周期的数据安全基础架构。

 

五、系统方案设计

　　1、集中存储系统拓扑图

　　

 

　　2、集中存储系统具体描述

　　对于医院的数据中心，本方案将构建一套FC SAN的存储架构，将用户的关键应用系统数据(如：检验、B超服务器，迁移服务器，HIS服务器，PACS服务器)集中存储在一台光纤磁盘阵列(作为一级存储设备)中，该磁盘阵列配置双机头，确保了存储设备的高可靠性。磁盘阵列可以实现FC磁盘和SATA磁盘的混插，数据可以保存在高稳定性的FC磁盘中，将来可以考虑上SATA磁盘，实现数据在一套设备内的分级存储。

　　在主机与存储的连接链路上，接入SAN的所有主机，可以配置2块HBA光纤适配卡，同时连接两台光纤交换机，确保任何一条光纤链路中断均不会影响用户的正常业务使用，完全消除了单点故障。

　　2.1统一的集中化存储

　　在本次方案中，根据我院目前的存储空间规划，以及我院未来三至五年内的需求，给我院配置3TB的存储可用空间用于SAN的数据集中存储，配置质量和性能都比较好的FC硬盘来存放数据。同时，为防止磁盘阵列自身出现严重的物理故障导致数据丢失，还可以另外选配两台磁盘阵列，两台磁盘阵列之间通过卷复制功能来实现两台存储设备之间的数据同步。

　　对于以后需要增加的其他应用服务器，将来可以通过增加光纤HBA卡的方式，接入FC SAN。

　　2.2 SAN存储架构

　　SAN存储架构具备良好的扩容性，未来可以方便地升级与维护。当信息系统需要扩建时，只要把新的设备，接入到SAN架构中，便可以使用集中存储提供资源，所以，SAN架构，可以作为一个基础的设施来建设，它可以充分地保护投入的成本，为日后系统的扩容，升级打下了良好的基础。

　　SAN存储架构的特性：

　　1. 可实现大容量存储设备数据的共享。

　　2. 可实现高速计算机与高速存储设备的高速互联。

　　3. 可实现灵活的存储设备配置要求。

　　4. 可兼容以前的存储设备。

　　5. 提高了数据的可靠性和安全性。

　　6. 避免了数据的“信息孤岛”效应。

　　SAN存储架构的组成：

　　搭建的SAN存储系统由以下四部分构成：

　　(1)光纤交换机

　　光纤交换机是组成SAN存储架构的重要组成部分，作为磁盘阵列与服务器之间的交互枢纽，光纤交换机承担着重要的任务，故其设备的可靠性须达到一个信任的程度，为此，在本方案中，配置两台光纤交换机，对保障整个存储架构，起来了非常重要的作用，避免了数据链的单点故障，同时，多链路的存在，也起到了链路的负载均衡的作用，增加了传输的带宽，保证了数据与服务器之间的高速传输。

　　(2)存储设备

　　作为整个集中存储架构的核心部位，方案中的磁盘阵列通过FC光纤接口连接在交换机上，给接入SAN网络的数据库服务器提供存储服务。磁盘阵列采用最先进的FC光盘，在提高了安全性的同时，又保证了传输的高速性。同时，可以选用两台磁盘阵列，这样它们之间可以通过复制的技术，实现了两个磁盘阵列中的数据的同步，实现了数据的冗余，保证了医院数据的安全。

　　(3)存储光纤通道卡(HBA卡)

　　在每台接入SAN架构的数据库服务器上均安插1～2块HBA卡，用于连接光纤交换机来访问SAN磁盘阵列中的数据，每条光纤链路的数据传输速度可以达到200MB/s(2Gbps的HBA卡理论值)或400MB/s(4Gbps的HBA卡理论值)。

　　(4)磁盘多路径管理软件

　　如果采用两块HBA卡和两台光纤交换机，甚至是双磁盘阵列的双冗余架构，系统由于存在多条路径同时访问磁盘阵列，所以还需要配置多路径管理软件。 路径管理软件，可以实现自动的故障切换和回切，动态调整I/O负载，实现负载均衡功能。

　　2.3存储架构灵活的扩展性

　　整体存储架构的扩展性包括以下几个方面：

　　1) 存储设备自身的扩展性

　　我院的业务数据的增长是非常迅速的，因此如何保持存储系统能够有效并且方便地扩展是非常关键的。

　　专业的磁盘阵列，都提供了非常方便及有效的方式对存储系统进行扩展。

　　一般的磁盘阵列，所支持的系统最大容量往往可达几十TB，甚至一百TB的数量级，甚至可以通过级联来实现几百TB的容量，完全能够满足我院长期发展的业务数据的增长量。

　　2) SAN光纤存储交换机的扩展性

　　一般SAN存储架构中使用的光纤交换机，每台有8个到24个端口，每4个端口一组进行扩展，这是通过激活端口来实现的，这个扩展过程对现有SAN网络无任何影响。

　　3) 主机连接的扩展性

　　对SAN存储网络来说，只要交换机上有足够的端口，如果有新的服务器需要使用后端存储设备上的磁盘空间的话，只要在主机上添加一块或两块HBA卡，然后直接通过光纤线接入SAN交换机就行了。

　　3、备份系统拓扑图

　　

 

　　4、备份系统具体描述

　　备份系统需要采用一台独立的专用备份服务器，上面安装备份软件服务端模块即可，统一控制整个LAN网络中的服务器将数据直接写入虚拟磁带库中，继而按照要求策略把需要归档的数据归档到物理带库，以便做数据的长期保存。

　　医院的数据多种多样，如有HIS系统中诊疗数据，PACS系统中的图像数据，财务管理软件中的财务数据等，各类数据的重要性与保存周期各不相同，为了更好地利用磁盘阵列的空间，并减少业务增长所带来的成本，所以增加了近线的虚拟磁带库及离线的物理磁带库做备份作用。

　　对于需要长期保存的数据，可以通过物理磁带库进行归档保存。物理带库直接连接到虚拟带库后端，通过虚拟带库的导出Export操作，数据可以导出到磁带中保存。当然，物理带库也可以选择FC接口的，直接远程接入SAN网络，那么还可以通过备份软件做统一的归档管理。

　　4.1 LAN Free备份的具体实现

　　1) 在接入SAN的服务器上安装备份软件，则服务器成为可以通过SAN网络直接向备份设备-虚拟带库直接写入数据的介质代理服务器。因此这样的备份方式是一种LAN-Free备份的方式。

　　2) 在需要做数据备份的各服务器上安装备份软件客户端。

　　3) 由备份服务器控制备份作业发起时，各服务器接受备份主服务器的备份指令，从磁盘阵列中提取需要备份的数据，并直接通过SAN网络将数据写入VTL设备中。

　　4) 备份作业结束后，返回一个成功备份的信息给备份服务器;

　　5) 发起数据恢复操作也是一样，备份服务器接受数据恢复指令后，将备份记录读取任务分配给相应的介质服务器，然后由介质服务器从备份设备中提取出来，恢复到指定的主机上;

　　6) 恢复作业结束后，也会返回一个成功恢复的信息给备份主服务器。

　　4.2分级存储策略

　　通过D2D2T(磁盘--磁盘--磁带库)的备份方式，可实现多层存储架构，并在每层存储介质上都有独立的保留期限，能满足数据生命周期管理的需求。

　　针对医院备份数据的存放策略，一般有3种方式：

　　1. D2T：直接将核心业务数据备份到物理磁带库上。

　　2. D2D：直接将核心业务数据备份到虚拟磁带库/作为备份设备的磁盘阵列上。

　　3. D2D2T：先将主存储数据从磁盘阵列备份到虚拟带库/磁盘阵列上，再从磁盘介质的备份设备复制到物理磁带库中的磁带上。(虚拟带库/磁盘阵列作为近线缓存设备)

　　针对医院不同的应用，可以选择不同的存储策略来确保备份和恢复性能。如果所备份的应用对备份和恢复时间都不敏感，可以采用第一种存储策略，将数据直接备份到磁带上。而如果需要备份和恢复的速度快，恢复时间敏感的话，可以采用第二种存储策略。如果备份和恢复都需要比较快，而且有离线归档的要求，可采用第三种存储策略，所以本次方案中采用的是第三种方式：D2D2T方式。

　　4.3数据备份与恢复的跨平台性和可靠性

　　现在的备份软件已经比较成熟，如CommVault,Symantec,NetStor Backup Express等等

　　数据备份恢复软件的跨平台性表现在：

　　● 能把备份UNIX文件恢复到不同版本的UNIX系统;

　　● 能把UNIX的备份文件恢复到Windows、FreeBSD、HP-UX、IRIX、Linux、Solaris、Tru64操作系统上。

　　● 能把备份文件恢复到不同版本的Windows系统，即在NT、2000、XP、2003之间实现跨版本恢复。

　　● 能把Windows的备份文件恢复到SOLARIS、FreeBSD、HP-UX、IRIX、Linux、Solaris、Tru64异构平台的操作系统上。

　　数据备份恢复软件的可靠性表现在：

　　● 能实现备份、恢复及备份数据转存的中断再继续(断点续传功能)。

　　● 能对Oracle进行断点续传备份，确保备份成功率。

　　● 支持并发数据流，加速备份过程，充分利用多磁带驱动器的磁带库设备。

　　● 能对增量备份、差量备份实现智能的、快速的“一次过”恢复，确保一次性读入要恢复数据的最新版本，极大提高恢复效率。

　　4.4虚拟磁带库的优势

　　1. 与传统的物理带库相比，虚拟磁带库有以下优势：

　　(1) 可靠性更好：这是因为虚拟带库没有机械部件，不会出现机械故障;此外，虚拟磁带库采用RAID技术对磁盘介质进行保护，可靠性更高;

　　(2) 备份和恢复的速度快：因为虚拟带库采用磁盘作为介质，磁盘的随机读写速度比磁带的顺序读写速度快;此外，磁带机和磁带库的磁带加载和卸载也会消耗大量时间;

　　(3) 备份介质利用率更高：物理磁带经常不能充分利用完所有的空间，造成较大浪费。而虚拟磁带可以灵活分配备份空间，空间不会还有浪费;

　　(4) 在备份介质的管理方面：虚拟带库可以实现集中管理，而物理磁带的管理需要非常小心，物理磁带的管理比较分散，占用空间较多，而且存放地点要注意防潮、防磁等环境要求;

　　(5) 从恢复成功率来看，物理磁带由于存在容易受潮、磁粉脱落、失磁等原因，恢复成功率较低，而虚拟磁带库的磁盘介质在这方面比物理磁带要好很多;

　　2. 与传统的磁盘阵列做备份相比，虚拟磁带库有以下的优势：

　　(1) 读写速度快：这是因为虚拟带库基于裸设备进行读写操作，数据是快结构，因此比同类的磁盘阵列基于文件系统的读写有根本上的不同，文件系统的读写速度较慢。

　　(2) 避免了人为误操作，尤其是误删除操作的影响：由于虚拟磁带库是裸设备写，因此无法直接对数据块进行删除和修改操作。相比之下，我们熟悉的文件系统，尤其是Windows文件系统，误删除和误修改的问题是非常严重的，就算是Linux系统，一个rm –r *操作甚至可能导致整个操作系统的崩溃!

　　(3) 避免了病毒的破坏：病毒通常都基于文件系统，例如宏病毒、木马病毒等，这些基于文件系统的病毒无法在虚拟磁带库中起到任何破坏作用;

　　(4) 空间回收快、无碎片整理问题：磁盘阵列的空间回收慢，需要操作系统的删除命令，还有碎片整理的问题。而虚拟带库的空闲空间能自动回收、没有碎片问题;

　　(5) 数据压缩能力：普通的磁盘阵列没有数据压缩功能，而虚拟磁带库能进行压缩备份，提高了可用空间，备份空间比正常情况下提高一倍，节省了硬盘开支;

　　(6) 与物理磁带的交互性：虚拟磁带库保存的都是虚拟磁带，格式与物理带库一样，当需要做离线归档时，虚拟磁带库可以把数据导出到物理带库;而磁盘阵列无法做到这点。

　　总之，在分级存储架构中，我们选用虚拟磁带库这种专用的备份设备来实现近线存储，而由于物理带库本身的离线归档功能是作为近线设备的虚拟磁带库无法做到的，因此在D-D-T分级存储架构中，物理带库本身仍然是一个有机的组成部分。而磁盘阵列主要是作为主存储设备，是一种保存生产数据的在线设备。

 

六、方案实施后的效果

　　本方案中增加一台新的磁盘阵列，两台光纤交换机实现冗余，一台近线的虚拟磁带库，一台离线的物理磁带库，从数据的生产，备份，归档，完成了信息的一个生命周期。同时，可以把旧的HIS服务的磁盘阵列，PACS服务的磁盘阵列，重新使用，只需要增加一台性能一般的服务器做查询服务器，旧的磁盘阵列与新的磁盘阵列之间做数据同步。数据生产与数据查询的分开，可以提高数据生产与查询服务的效率，减少生产服务器的负担。

　　1、先进的存储架构、读写的高性能

　　现代医院对于存储系统高可靠性、高可用性、高性能、动态可扩展性、易维护性和开放性等众多方面的需求，对现有的存储技术提出了挑战，存储器件和设备这一级无论做得多好，都难以满足网络和医院存储的多种需求，这就需要在存储系统结构这一级来解决问题。

　　采用可伸缩的光纤交换机网络拓扑结构，通过高速光纤通道连接，提供SAN内部任意节点之间的多路可选择的数据交换，设备访问的网络拥塞处理也交由高速交换机处理，使得连接设备的增多几乎不影响各个设备的访问速度。

　　由于医院的前端服务器的不断增加对于后端存储系统无疑会造成巨大的性能压力，绝大多数系统在这种情况下均会很快出现性能瓶颈，响应时间迅速变大，从而导致系统不可用。通过SAN架构构建了数据的集中存储，实现了高速计算机与高速存储设备的高速互联。

　　专业的磁盘阵列提供双控制器，以及2～4个4Gbps的FC主机端口，每个主机通道具备400MB/s带宽，完全能够满足大量并发读写对高性能的要求。

　　2、Lan-Free的备份方式

　　在医院的网络中配置一台服务器作为备份主服务器，在备份主服务器上安装备份软件的控制端软件，负责统一制定各个应用系统的备份策略、统一设置各应用的备份数据保存策略、统一对备份设备以及备份介质进行管理。

　　在每台需要备份的数据库服务器上，还需要安装备份软件的客户端软件以及数据库代理程序软件，来实现文件系统以及数据库系统的在线备份。

　　具体实现过程：

　　1) 由备份服务器发起备份作业时，各介质服务器接受备份服务器的备份指令，然后从磁盘阵列中提取需要备份的数据，并直接通过SAN的网络将数据写入虚拟磁带库中;当需要做离线归档作业时，如果物理带库也连接到FC SAN，那么可以使用备份软件的辅助拷贝功能，把备份数据从虚拟带库写入到物理带库中。如果物理带库连接到虚拟带库后端，则可以通过虚拟带库的Export导出操作，把数据从虚拟带库导入物理带库的磁带中。

　　2) 备份作业结束后，返回一个成功备份的信息给备份主服务器;

　　3) 发起数据恢复操作也是一样，备份服务器发起数据恢复指令后，将备份记录读取任务分配给相应的介质服务器，然后由介质服务器直接通过SAN的网络将需要的数据从虚拟磁带库或物理磁带库中提取出来，恢复到指定的主机上;

　　4) 恢复作业结束后，也会返回一个成功恢复的信息给备份主服务器。

　　3、完整的信息生命周期

　　在分级存储架构中，方案选用虚拟磁带库这种专用的备份设备来实现近线存储，而由于物理带库本身的离线归档功能是作为近线设备的虚拟磁带库无法做到的，因此在D2D2T分级存储架构中，物理带库本身仍然是一个有机的组成部分。而磁盘阵列主要是作为主存储设备，是一种保存生产数据的在线设备。

 

七、总结语

　　在现代医院越来越依赖计算机来对医院的业务的开展和管理的今天，数据的安全无疑是重中之重，而数据的安全又是建立在存储系统的基础上，所以，一个架构完整、合理、科学的存储系统，是实现现代医院信息化过程中必须走的重要的一步。

　　本方案采用现在最先进的FC-SAN架构，实现了高速计算机与高速存储设备的高速互联，实现了信息的集中存储，避免了信息孤岛的形成，同时，为以后医院信息化的建设打下了基础。

　　完整的备份系统，可以保证数据的最大安全性，从数据的产生，数据的备份，到长久数据的归档，D2D2T分级存储架构完成了一个信息的生命周期。同时，数据实现自动备份，减少人工参与，降低医院的管理成本，有效地保障了医院数据的安全，而且只要把备份设备移到其他机房中去，即可以实现异地容灾。

 

参考文献

　　1、金新政 主编 现代医院信息系统 人民卫生出版社 【书 号】 9787117115964

　　2、马宁, 夏杰峰 构建医院信息系统的快速备份和恢复 <<科技信息>>2009年 第01期

　　3、薛 雁 医院SAN数据存储和远程容灾方案 <<现代计算机>>2007年 第02期

　　4、何小菁 李洪兵 胡 杰 数字化医院信息存储策略研究 <<现代计算机>>2007年 第02期

　　5、潘穗萍 医院信息维护的几点经验 <<现代计算机>>2007年 第11期

　　6、黄晓亮 构建医院信息系统信息安全计划的几个基本要素 <<现代计算机>>2008年第5期