近日,腾讯云客户北京清博数控科技有限公司所属“前沿数控”平台一块操作系统云盘发生故障,导致该客户的文件系统元数据损坏,我们对客户业务所受影响表示诚挚歉意。同时,我们也对此次故障过程进行了深入的技术复盘。

复盘发现,该故障缘起于因磁盘静默错误导致的单副本数据错误,再加上数据迁移过程中的两次不规范的操作,导致云盘的三副本安全机制失效,并最终导致客户数据完整性受损。

痛定思痛,腾讯云希望在尽力帮助客户解决本次问题的同时,也通过相关机制的优化避免类似情况的再度发生。

故障过程复盘

当天上午11:57,我们的运维人员收到仓库Ⅰ空间使用率过高告警,准备发起搬迁扩容;在14:05时,运维人员从仓库Ⅰ选择了一批云盘搬迁至新仓库Ⅱ,为了加速搬迁,手动关闭了迁移过程中的数据校验;在20:27 搬迁完成之后,运维人员将客户的云盘访问切至仓库Ⅱ,同时为了释放空间,对仓库Ⅰ中的源数据发起了回收操作;到20:30 监控发现仓库Ⅱ部分云盘出现IO异常。

故障原因复盘

本次事故起源自因磁盘静默错误导致的单副本数据错误,再由于数据迁移过程中的不规范操作,导致异常数据扩散至三副本,进而导致客户数据完整性受损。

数据搬迁过程中的违规操作主要如下两点:

第一是正常数据搬迁流程默认开启数据校验,开启之后可以有效发现并规避源端数据异常,保障搬迁数据正确性,但是运维人员为了加速完成搬迁任务,违规关闭了数据校验;

第二是正常数据搬迁完成之后,源仓库数据应保留24小时,用于搬迁异常情况下的数据恢复,但是运维人员为了尽快降低仓库使用率,违规对源仓库进行了数据回收。

因这些错误操作的连续影响,导致该客户数据完整性受损,给客户的正常业务运行造成影响,腾讯云对此再次表示最诚恳的歉意。

改进措施:

经过技术复盘,腾讯云技术团队深入到每个环节,通过责任到人与流程闭环的双管齐下,相应作出如下的加强和改进措施:

首先,我们将全面审视所有的数据流程,涉及数据安全的流程自动化闭环,进一步提升我们常规运维自动化和流程化,降低人工干预。同时把全流程的数据安全校验作为系统的常开功能,不允许被关闭。

其次,针对物理硬盘静默数据错误,在当前用户访问路径数据校验自愈的基础上,我们优化现有巡检机制,通过优先巡检主副本数据块、跳过近期用户访问过的正确数据块等方法,加速发现该类错误,进行数据修复。

进一步建议:

腾讯云自2016年3月以来一直在提供免费的快照功能,可以对重要数据进行定期备份。同时出于对客户数据隐私性和安全性的考虑,客户可以自由选择开启或者不开启这一免费功能。腾讯云在这里也呼吁客户开启这一功能,进一步提升自身数据的安全性。

未来,本着对客户数据最大的敬畏,腾讯云将继续探索更科学的机制,避免类似事件再次发生。

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新游戏娱乐平台注册就送25

查看心情排 行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2018-08-08 09:06:00
云安全 避免云故障,云灾备方案如何让数据安全无忧?
随着云计算产业的蓬勃高速发展,越来越多的企业用户开始选择使用云服务,把业务、数据都放在“云端”。然而,云服务也并不都是安全无虞的,一次云故障就可能“瞬间将一家创 <详情>
2018-08-07 17:20:00
云游戏娱乐平台注册就送25 创业公司腾讯云上数据离奇丢失 融资计划惨遭终止
创业公司“前沿数控”日前发文称,据了解,该公司存放在腾讯云上的精准注册用户以及内容数据全部丢失,并且不能恢复,造成公司平台全部停运的状态。 <详情>
2018-08-07 10:33:30
云安全 没有绝对安全的云?从“数据丢失”事件看如何选择云计算平台
不仅是腾讯云出现故障,近期很多国内国外的云计算平台都发生了故障事件。回顾云计算近期事件,都是小几率事件导致了平台故障,进而导致用户受损,不过客户事故无小事。 <详情>
2018-08-07 10:22:05
云游戏娱乐平台注册就送25 谷歌或将与腾讯、浪潮合作,重返中国市场
谷歌首席执行官Sundar Pichai一直致力于让公司重返中国,现在可能会扩展到其云服务。 <详情>
2018-08-07 09:17:40
云游戏娱乐平台注册就送25 思科以23.5亿美元收购云安全企业Duo Security
近日,思科正以23.5亿美元的现金收购私营的Duo Security,以提升其云安全产品。该交易将扩展思科的Intercloud多云管理功能。 <详情>
总投资90亿元的中国移动厦门数据中心,一期电源工程项目候选人公示
2018-10-18 17:39:56
微型数据中心,是趋势?还是鸡肋?
2018-10-18 15:41:04
华云数据中标上药控股私有云千万级项目
2018-10-18 15:35:33
中国电信中层人事“大地震” 多名二级干部将进行调整
2018-10-18 15:30:48
央视海外 CDN 采购:腾讯云、网宿科技、金山云入围,价格分别为 509万元、460万元、981万元
2018-10-18 15:23:00
斯柯达计划将HPC计算量提升至15千兆次 扩建其数据中心
2018-10-18 15:12:00
北京通管局公布45家不合格电信设备生产企业 微软、小米上榜
2018-10-18 15:04:07
阿里云宣布新一轮降价:部分产品降90%
2018-10-18 14:53:59
赵丽颖婚讯导致微博崩溃,说明云计算在国内发展依然任重道远
2018-10-18 14:34:40
中国移动流量稳步增长,约11.4万台的大规模基站用综合机柜集采开启
2018-10-18 14:22:22
云南移动NB-IoT网络质量管理项目,诺基亚入围但只能三选一
2018-10-18 14:05:40
三大运营商展示“5G速度”:16个网络视频同时播放不卡顿
2018-10-18 13:54:44
维谛技术为深圳机场航站楼高效运营提供保障
2018-10-18 13:36:48
现场直播|光迅科技数据与接入产品业务部市场经理张玓:下一代光互联技术及其在开放数据中心的应用
2018-10-18 13:27:08
现场直播|Mellanox资深系统工程师于若信:面向未来数据的网络技术
2018-10-18 13:12:04

游戏娱乐平台注册就送25