数据迁移的重要性和挑战性不言而喻。它涉及在服务器的升级、合并、以及维护的过程中,将数据重新放置到另一个数据中心;或是向某个重要的流程中添加数据湖(data lakes)与数据仓库(warehouses,请参见--https://developers.paragon-software.com/blog/data-warehouse-vs-data-lake/?utm_source=dzone.com&utm_medium=guest_articles&utm_campaign=concise_guide_to_data_migration)。
数据迁移本身具有一定的复杂性。由之产生的停机时间,以及数据被损坏、甚至是丢失等风险,迫使我们需要在了解其流程的基础上,制定出可靠的数据迁移与实施方案。
下面,我将为您准备一份简明的数据迁移指南,您可以从中了解到如下方面内容:
数据迁移的定义以及原因;
数据迁移的不同阶段、类别和策略;
数据迁移的关键实施步骤;
数据迁移的三种常用工具。
什么是数据迁移?
顾名思义,数据迁移就是将数据从一个计算环境转移到另一个计算环境中。而在实际传输数据之前,我们需要对数据依次进行选择,准备,提取和转换。此外,数据的迁移过程还包括验证已迁移的数据质量,以及关闭旧的数据系统等方面。
迁移数据的原因
如开头所述,数据迁移的原因五花八门。总的说来,我们可归纳为如下原因:
服务器例行维护;
服务器或存储设备的更换、升级、以及合并;
应用程序的迁移;
灾难恢复操作;
迁移到新的数据中心。
迁移数据的好处
数据迁移可以帮助公司在提高或维持系统性能的同时,保持在业内的竞争优势。数据存储运能、以及存储数据本身的质量,会随着时间的推移而逐渐变得低下,因此我们应当采取相应的步骤,通过将数据升级或迁移到另一个数据存储系统中,来提高自身的价值。此外,数据迁移对于识别和消除系统中的无用数据,以及协调各个数据库之间的关系,也是非常实用的。
数据迁移、转换与集成
数据转换只是整个数据迁移过程中的一个步骤,该过程主要是将数据从一种格式转换为另一种格式。而数据集成则是合并来自不同源头的数据,并为用户提供该统一的数据视图。
数据迁移阶段
数据的整个迁移过程大致可分为三个主要阶段:计划、迁移和迁移后。下面我们来详细讨论每个阶段中的具体行动步骤。
规划
确定需要迁移的数据,包括:数据的格式、所在的位置、及其敏感性。
定义数据迁移的范围,包括:需要分配的资源和实际可用的预算。
对源系统和目标系统,分别进行深入分析。
确定数据迁移的过程是否会影响到正常的业务运营,进而通过对其进行调整,以避免业务的中断。
迁移
验证对于硬、软件的需求。
确保迁移的过程可以被定制,并能够按预期运行。
从旧系统中读取并提取数据。
将数据加载到新的系统中。
验证迁移过程是否已完成。
迁移后
验证转换后数据的准确性和完整性。
通过并行运行两套系统,以发现存在的差异或数据是否有丢失。
记录与报告。
最终淘汰旧的系统。
数据迁移的类别
存储迁移(Storage migration)是一个将大量数据从旧的存储系统,移动到新的存储系统的过程。数据既可以位于磁盘上,也可以位于云端。而存储迁移的主要因素包括如下三个方面:
技术上的更新。
通过数据的验证和优化,以发现过时或被损坏的数据。
针对存储效率低下的问题实施整改。
数据库迁移(Database migration)是将数据从一个数据库移动到另一个数据库的过程。如下三大因素往往会触发数据库的迁移:
需要升级到最新版本的数据库。
通过将数据迁移到另一个数据库,以降低成本并提高性能。
将多个数据库中的数据合并到一个数据库中。
应用迁移(Application migration)是指在应用的内部、应用之间、不同应用提供商之间、以及不同的平台之间移动数据的过程。应用迁移是一个复杂的过程,源环境与目标环境之间可能存在着巨大的差异。由于某些应用程序依赖于特定的平台与设计,因此为了保证在迁移后能够平稳地运行,它们往往需要某些中间件来弥合技术之间的鸿沟,以及切换过程中的复杂性。
云迁移(Cloud migration)是将数据、应用程序和其他业务元素,迁移到云计算环境中的过程。云迁移有多种形式,例如:我们既可以从本地数据中心转移到公有云上,也可以将数据从一个云平台移到另一个云平台,甚至可以将数据移出云端环境(即:云退还,cloud repatriation)。
数据迁移策略
我们可以在实践中用来实现数据迁移的方法可谓不胜枚举。总的说来主要有两种策略,它们分别是:Big Bang迁移和Trickle迁移。其中Big Bang迁移倡导的是将数据的迁移操作作为一项一站式的活动。也就是说:所有实时系统都会在数据经历ETL(Extract-Transform-Load)流程,以及过渡到新系统时,会出现宕机时间。而Trickle迁移则提倡采用增量的方法,分阶段进行数据迁移,从而保证新旧系统能够处于并行运行的状态。
数据迁移的关键实施步骤
尽管具体实施的方法因行业而异,但是我在此为您总结了如下通用的数据迁移步骤:
检索和评估源系统;
定义和设计迁移步骤;
建立迁移的实施方案;
执行现场测试;
在迁移前备份源数据;
采用变更管理并执行数据迁移;
执行实施后的数据质量审核。
数据迁移的三大工具
Paragon Drive Copy Professional(https://www.paragon-software.com/home/drive-copy/?utm_source=dzone.com&utm_medium=guest_articles&utm_campaign=concise_guide_to_data_migration)
Paragon Drive Copy是Hard Disk Manager(硬盘管理器)的一部分。作为一款既易用又实用的软件,它可以让您将任何源数据迁移至任何目标位置。Drive Copy的主要功能包括如下几个方面:
能够创建不同的备份,并管理各种分区;
可实现数据迁移(例如:将旧的操作系统迁移到新的PC上);
将操作系统克隆到USB闪存驱动器上;
将硬盘克隆到更大的HDD上;
将数据复制、或恢复到具有不同扇区大小的HDD、或其他存储设备上。
家用版:$ 79.95
商业版:从$ 99到$ 899不等,可被订阅使用。
Acronis True Image(https://www.acronis.com/en-eu/personal/computer-backup/)
Acronis能够将可靠的备份方案,与复杂的反恶意软件技术相结合,以提供增值的安全功能。在数据迁移方面,Acronis Disk Cloning(磁盘克隆)工具提供了如下功能:
可实现可靠的备份和恢复;
可将存储介质从HDD轻松地转变为SSD;
可对HDD的镜像采取复制、格式化、以及分区等操作。
软件费用每年从€ 49.99至€ 99.99不等。
Zinstall(https://www.zinstall.com/)
作为一个完整而直观的数据迁移软件包,Zinstall Migration Kit Pro可用于如下场景:
将数据从外部HDD传输到SSD上;
无需网络连接即可传输数据;
选择性地传输虚拟化的数据;
迁移到那些基于Apple Mac的Windows环境中。
专业版售价:169美元
【原标题】Concise Guide to Data Migration (作者: Dmitry Rogov)
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】