上云迁移-海量数据迁移解决方案
发布时间：2018-05-09 15:16

　　存储和数据迁移的挑战

　　在传统企业服务中，大多数企业都是自建IDC，因此经常会遇到各种各样的问题，第一是成本高，机器成本、网络成本、人工成本，软件授权费用，公网内网费用，IDC租用费用等等。第二是运维很难，经常随着数据的积累，硬盘故障，服务器故障，网络故障，软件故障，IDC故障，用户投诉，整个运维难度成指数增加，体验非常差。第三是性能难保障，数据可靠性，服务可用性，功能先进性，安全性。随着业务的发展，以前的存储系统很难满足业务的发展、功能和性能的发展。因此向云迁移是数据存储的未来趋势。


　　阿里云存储有很全的产品家族，包含块存储、文件存储、对象存储、归档存储、表格存储等等。每一项都可以分很多子项。因此运维也不像以前那么难，可以做到代码改动上云、安全免运维（不用关注细节）、三步开通（开通-使用-付费）、一键备份等等，非常简洁方便。阿里云存储在全球有19个节点，可以做到全球写、全球读，目前在国内是最强的。

　　阿里云存储海量数据迁移解决方案

　　对于数据迁移来说，一般分为以下五个步骤：

　　1、评估现有的业务情况。做迁移之前，一定要把业务的情况了解清楚，比如：现有存储的总体IO、总吞吐、网络总带宽、已用带宽。

　　2、评估可用资源。存储集群可用吞吐、IO、可用稳定网络带宽、预留安全水位。

　　3、迁移前准备。根据评估状况制定迁移方案，计算需要的部署闪电立方Agent的集群数量和NASImport集群数量。

　　4、开始迁移。部署迁移集群，监测迁移状态，失败文件重试。

　　5、迁移结束。检查迁移文件数、校验迁移文件正确性。

　　在向云迁移海量数据的过程中，因为非结构化的存储比结构化的存储有更多的数据格式类型。对于非结构化的存储，没有办法知道有多少数据类型和文件系统，也有一些本地的大数据相关的对象存储，这样的对象存储，接口不一样，实现功能也不一样，因此对于非结构化的存储迁移需要更多的组合方案。阿里云提供了离线迁移的方案，叫闪电立方。同时也提供了海量数据在线迁移基于OSS/NASImport的在线迁移工具，针对不同的互联网产品，也提供了各种迁移服务，比如混合云存储阵列、镜像回源、302跳转、伪源站等等。下面分别介绍这六种解决方案。

　　在线迁移神器OSS/NASImport


　　Import工具是一款全在线的海量数据迁移工具，通过部署到服务器或者ECS机器，可以快速、安全稳定的将数据迁移到阿里云存储。它有如下特点：

　　1、支持多种源站，多种数据接口，可定制开发.

　　2、全在线服务，无缝迁移。

　　3、支持存量数据同步和增量数据自动同步。

　　4、支持断点续传，失败任务重传。

　　5、支持上传/下载流量控制。

　　6、支持多任务，并行数据下载/上传。

　　7、支持上传结果校验。

　　8、可视化监视界面。

　　离线迁移神器闪电立方


　　除了在线迁移之外，闪电立方是阿里云2017年发布的一款离线迁移神器，闪电立方实际上是一台服务器，它有如下特点：

　　1、军工级物流密码保护箱。

　　2、双控制器，支持双电源。

　　3、企业级SAS硬盘，Raid6数据保护。

　　4、AES256 对称加密，MAC认证。

　　5、客户保管密码 SHA256(可选)。

　　6、支持压缩去重。

　　7、确认迁移完成后，数据合规擦除。

　　8、单套支持每次迁移480TB。

　　闪电立方就像一个超大的U盘，可以直接把闪电立方插到机房，然后把数据迁移到闪电立方，再通过专业传输物流上传到阿里云机房即可迁移成功。

　　混合云存储阵列


　　OSS/NASImport和闪电立方这两种方案基本上在数据迁移之后，企业会放弃自己的机房，然而对于想混合使用的原有机房和云上资源的情况下，阿里云也有解决方案，就是使用混合云阵列，使用场景有企业数据云端拓展、企业数据云端同步、备份数据云端异地灾备等。它的核心功能是提供丰富的设备端协议支持，原有应用无需修改，提供端到端的数据加密机制，数据自动分层，高性能的数据上云能力。有缓存和同步两种模式，数据支持端到端的压缩、去重、加密，还支持多版本快照、数据自动分层。

　　OSS镜像回源


　　另外有一些互联网业务，完全不能停机迁移的，阿里云也提供两种迁移方案，第一个是OSS镜像回源，功能是把所有的访问先切到OSS上面，然后配置好镜像回源的地址，用户访问OSS的时候，OSS会主动回源到主站。

　　302跳转

　　另外一种方案，不需要把所有数据迁移到OSS数据，比如热点数据，我们提供302跳转功能。当用户通过CDN访问OSS的时候，即使OSS没有数据，只要打开302跳转功能并且配置好回源地址，OSS会主动的把回源地址返回给CDN，然后CDN会拿到地址再回源到源站拿到数据返回给用户。这两种是完全在线迁移，对互联网业务和增量数据迁移是非常好用的。

　　伪源站


　　如果企业有多个源站，可以使用伪源站在线迁移，把伪源站和真正的源站进行隔离，由伪源站去拿数据。伪源站相当于替代源站，去把所有的业务处理完以后，再把数据上传到OSS，这在互联网业务分发应用的非常广泛。


　　以上介绍的6个方案适用于不同的应用场景。对于非结构化的数据来说，数据类型太多、数据量大小也不一样。例如像闪电立方，最适合做离线迁移，即使数据量上百TB，但前置条件是本地IDC要有足够的内网带宽和机架提供给闪电立方。例如像镜像回源，用户访问OSS的时候，如果文件特别大，再去源站拿数据的时候，访问速度就会非常慢，所以镜像回源适合小规模的文件迁移，例如图片、短视频等等。

　　客户实践


　　某企业业务全是互联网业务，经过日积月累，数据已经达到上百TB，并且数据中心分布的非常广，在各地都有，而且每个数据中心网络条件不一样，存储机器也不一样，所以非常纠结是不是需要上云。阿里云给客户做了一套比较完善的“离线+在线+互联网”迁移方案。因为他们的IDC机器非常老，网络环境又恶劣，没法跟OSS专线连通，成本过高，硬件支持不了这么大的带宽，所以阿里云做了一套闪电立方的专业迁移方案，多批次的搬迁。当第一批闪电立方上架之后，第二批马上准备，在第一批迁移完之后，第二批马上开始，基本上做到了每分每秒都在迁移，跟在线迁移同时完成。在迁移的过程中，也产生了一批增量数据，通过增量数据回源的方法，把增量数据也迁移进去。这是一个大型互联网公司数据迁移上云方案。


　　另一个案例是一个传统的三甲医院的数据迁移方案，他们的存储机还在用，并且希望迁移过程中产生的增量数据只迁移一部分。阿里云也制定了一套完整的方案，其中关键点在于把客户所有的本地数据，通过闪电立方存储到OSS，再同时把混合云存储阵列部署到客户的机房，把剩余的增量数据同步到OSS里面。因为数据不是特别大，一个星期之内就迁移完了。目前，该上云的数据就上云，该在线下的数据依然存储在线下，自己的应用一点都不用改变。


　　在存储迁移这个领域，阿里云积累了大量的经验。阿里云存储服务客户的数据达到了10EB以上，为100PB以上的客户从线下迁移到阿里云OSS，最多一天迁移5PB的数据。阿里云的迁移方案接口丰富、性能强大、稳定可靠、安全高效，支持在线、离线、纯互联网、传统企业的混合云模式进行迁移，将来会有越来越多的客户会把线下的数据迁移到阿里云存储。