会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 业界最大数据湖0故障迁上阿里云!数据量达500PB!

业界最大数据湖0故障迁上阿里云!数据量达500PB

时间:2024-12-23 21:52:06 来源:乔装改扮网 作者:热点 阅读:621次

11月6日消息,业界今天阿里云宣布,最大障迁小红书技术团队近日完成了一项业界前所未有的数据上阿数据壮举,将业界最大数据湖0故障迁移至阿里云。湖故

作为中国头部互联网公司之一,云量达小红书月活用户已超过3亿,业界其数据湖存储了过去11年的最大障迁所有原始数据,包括结构化、数据上阿数据半结构化和非结构化数据。湖故

业界最大数据湖0故障迁上阿里云!数据量达500PB

随着业务的云量达高速增长,小红书对在线处理数据的业界需求不断增加,同时离线处理所积累的最大障迁历史问题也提高了切换的难度。

2023年11月,数据上阿数据小红书共有1500人参与迁云项目——计划一年内,湖故把小红书的云量达数据湖搬上阿里云,彼时即便是业界体量最大的案例,也远小于小红书的本次迁移。

2024年5月,项目正式进入双跑阶段,作为切换到正式环境前最后的测试,是稳定性最大的保障。

在这一阶段,团队需要解决的问题数不胜数,每周平均新增500多个问题。

在阿里云团队的全力保障下,小红书技术团队顺利完成了割接,没有发生任何一个P2及以上故障。

2024年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

(责任编辑:百科)

相关内容
  • 这也太坑了😓😓罗伯逊近6场比赛2送点+1次染红
  • 欧冠一球未失!索默本赛季已11次零封,五大联赛所有门将居首
  • [流言板]三分11中6!爱德华兹投篮21中9,得到28分9板7助
  • 六台:皇马将让琼阿梅尼搭档吕迪格出战红军,或者上小将阿森西奥
  • [流言板]风云突变!库明加背打失误,里德反击迎着波杰打进追到2分
  • 微信回应14天自动清理原图:新功能为了优化聊天记录占据的空间
  • 基米希:是否续约拜仁最需考虑未来,不打算在第二三级别联赛退役
  • [流言板]属于11号的夜晚!凯尔特人晒普里查德数据,荣膺全场最佳
推荐内容
  • [流言板]Shams:詹姆斯此前请假就是在家里休息了几天,恢复身体
  • 杜兰特时隔7场复出!迎詹杜第43次交手 太阳有他8胜1负无他1胜6负
  • 武磊缺席锋线靠谁挑大梁,国足能在巴林身上抢分么?
  • 你从未见过的RTX 4090 Ti!终于看到内心了
  • 穆尼斯第76分钟破门,十人利物浦再度落后!
  • 朱鹏宇:为国青打入两球离不开每个人付出 放低姿态力拼澳大利亚