1日蓝点在门告工程外 网出现机报集群T宕月1环把发布死循师挡
我要评论由于数千个节点同时执行资源密集型的把工 APi 操作 ，也就是程师导致服务无法相互连接，但由于许多服务试图同时下载资源导致资源限制饱和并需要额外的外蓝手动干预 ，其中有个负责集群管理的发布控制面和数据面，OpenAI 部署的月日更改导致集群挂了 ，
OpenAI 采用的宕挡门点网后端服务架构：
OpenAI 的后端服务都运行在全球数百个 Kubernetes 集群中，一旦重新连接就可以回滚遥测服务更改逐渐恢复集群 。机报查看全文：https://ourl.co/107098
12 月 11 日 OpenAI ChatGPT 和 Sora 等服务出现长达 4 小时 10 分钟的告集宕机 ，但 DNS 依赖于控制面 ，
接下来是事故大概情况 ：
12 月 11 日太平洋标准时间下午 3:12，
不过 OpenAI 也出现了和某些公司相同的错误：服务挂了后把工程师也给锁门外了 ，这样继续降低其他问题集群的负载然后进行处理，这导致大多数集群中的 K8S 数据面瘫痪无法再提供服务。这种死循环在其他公司的事故中也挺常见 ，
而不堪重负的 API 操作破坏了基于 DNS 的服务发现 ，因此这个新服务配置无意中导致每个集群上的每个节点都执行资源密集型的 K8S API 操作 。扩大 K8S API 服务器增加可用资源来处理请求 。
最终的处理方式 ：
OpenAI 工程师探索快速恢复集群的不同方法 ，但工程师也需要连接集群才能回滚 ，
K8S 数据面很大程度上确实可以独立于控制面运行 ，没想到 OpenAI 也存在类似的问题 。#人工智能 OpenAI 公布 12 月 11 日 ChatGPT、
经过这次事故相信 OpenAI 应该能学到解决死循环问题，
期间工程师们还将流量转移到已经恢复的集群或新增的健康的集群中 ，Sora 长时间宕机的原因：架构问题将工程师锁在门外出现了死循环 。那为什么 3 分钟就成功定位问题但要花费大量时间才能解决呢？
原因在于要回滚刚刚的遥测服务需要先到 K8S 控制面上把旧服务删除 ，然而这形成死循环导致工程师无法连接 ，
via OpenAI Status
那么服务就不知道如何相互联系 。只能挨个对集群慢慢处理于是造成了长达 4 小时 10 分钟的宕机 。此次宕机只是个小更改导致的 ，因此一些集群花费了大量时间才完成恢复 。导致 API 服务器不堪重负而宕机，API 、而且这个小更改仅在部署 3 分钟后就被发现出现问题 ，最终这三项工作同时进行让工程师们重新获得控制权 ，由于遥测服务覆盖范围非常广 ，至少下次再发生类似情况是可以快速连接解决问题，阻止对用于管理的 K8S API 访问让服务器能够恢复、OpenAI 向用户提供服务的是 K8S 数据面 。如果没有 K8S 控制面 ，但现在控制面已经挂了因此工程师们也无法成功连接 ，
相关文章
绝地求生大逃杀作为当今中国最火 、最热门的游戏之一非但没有让人感觉到骄傲的心态 ，反而一直在默默接受建议不断改进游戏 ，在推出新版本之后 ，网络上又有传言要加入新的动作 ，将人击倒之后的嘲讽动作 ，作为死忠玩家看2025-05-10
春季过敏高发 ，如何预防过敏症 ？实用攻略来啦 ！春天 ，万物复苏，阳光明媚 ，对于一些过敏体质的人来说 ，这个季节却成了噩梦，花粉 、柳絮 、灰尘等过敏原无处不在 ，让人防不胜防 ，如何预防过敏症呢 ？本文将为您详细介绍2025-05-10
智能座舱 ，未来汽车生活的风向标随着科技的飞速发展 ，汽车行业正经历着一场前所未有的变革，从传统燃油车到新能源汽车，从简单的交通工具到智能移动空间 ，汽车已经不再是冰冷的钢铁机器 ，而是成为人们生活中的伙伴 ，2025-05-10
告别失眠困扰，掌握提升睡眠质量的秘籍 ！在快节奏的生活中 ，睡眠质量越来越受到人们的关注，很多人却因为失眠 、多梦 、睡眠质量差等问题而困扰 ，就让我来为大家揭秘提升睡眠质量的秘籍 ，帮助你告别失眠困扰 ！了解睡眠2025-05-10
编程入门指南 ，小白也能轻松掌握编程技能 ！编程 ，你了解多少？在信息化时代，编程已经成为一种必备技能，编程究竟是什么呢 ？编程就是用计算机语言编写程序 ，让计算机按照我们的指令去完成各种任务 ，随着人工智能、大2025-05-10
婚礼策划全攻略 ，让你的婚礼成为一生中最美的回忆人生中最重要的日子——婚礼 ，如何才能让它成为一生中最美的回忆？就让我们一起探讨婚礼策划的点点滴滴 ，让你的婚礼与众不同 ，成为亲朋好友口中的佳话 。婚礼主题定位2025-05-10
最新评论