11月6日消息,业界今天阿里云宣布,最大障迁小红书技术团队近日完成了一项业界前所未有的数据上阿数据壮举,将业界最大数据湖0故障迁移至阿里云。湖故
作为中国头部互联网公司之一,云量达小红书月活用户已超过3亿,业界其数据湖存储了过去11年的最大障迁所有原始数据,包括结构化、数据上阿数据半结构化和非结构化数据。湖故
随着业务的云量达高速增长,小红书对在线处理数据的业界需求不断增加,同时离线处理所积累的最大障迁历史问题也提高了切换的难度。
2023年11月,数据上阿数据小红书共有1500人参与迁云项目——计划一年内,湖故把小红书的云量达数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。
2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。
在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。
在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。
2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。
顶: 958踩: 262
业界最大数据湖0故障迁上阿里云!数据量达500PB
人参与 | 时间:2024-12-27 11:02:29
相关文章
- 巴媒:萨维尼奥无缘本周末英超,但预计可代表巴西出战世预赛
- Windhorst:雄鹿寻求交易 有球队若接到电话愿意为字母哥开出报价
- [流言板]健康归来!罗威本场篮板、盖帽、抢断和命中率均为全队最高
- NBA历史仅有两名36岁以上球员场均出战超38分钟:张伯伦和杜兰特
- 拉涅利:罗马接下来要在客场取胜,胡梅尔斯&帕雷德斯是两大领袖
- IO Interactive新开发的007游戏或为三部曲设计
- 稳定7100MB/s!雷克沙ARES 8TB SSD评测:机箱里再也没有机械硬盘的位置了
- miku也干了?5EPL第一被Fnc职业直呼外挂
- 两轮四轮随心切:广汽集团第三代智能人形机器人GoMate发布
- 报道指出《疾速追杀》系列导演不得不重拍外传《芭蕾杀姬》大部分场景
评论专区