Авария в GitHub: Copilot се възстанови последен

21.08

време за четене: 3 мин.

На 17 август GitHub беше недостъпен почти осем часа, а три дни по-късно главният технически директор Влад Федоров публикува разбора. Интересното в него не е самата авария, а нейният втори етап: помощникът за писане на код се оказа част от проблема, вместо да е просто негова жертва. Услугата за жетони на Copilot се възстанови близо пет часа след всичко останало, защото редакторът на разработчиците сам умножи трафика десетократно.

Робот натиска нетърпеливо звънеца на затворено гише отново и отново, а зад гърба му се е наредила дълга опашка от съвсем еднакви роботи, които правят точно същото.

Хронология на една авария в GitHub

Авария в GitHub от такъв мащаб не е ежедневие. Прекъсването започва в 13:28 и приключва в 21:15 координирано универсално време, тоест продължава 7 часа и 47 минути. Засегнати са самият сайт, удостоверяването, автоматизациите, програмните интерфейси, заявките за сливане и помощникът за писане на код.

Възстановяването не е едновременно. Повечето услуги се вдигат в 16:36, автоматизациите остават влошени до около 18:03, а услугата за жетони на Copilot се оправя чак в 21:02. В пиковия момент около 20% от заявките към сайта и програмните интерфейси връщат грешка, а при сваляне на архиви и сурово съдържание делът достига около 50%.

Причината не е в кода, а в капацитета

Тук стои първата поука. Разборът заявява направо, че нито тази авария, нито предишната от 6 август са предизвикани от промяна в кода или в конфигурацията. И двете са отказ по капацитет - критични компоненти не са мащабирани, преди търсенето да надхвърли възможностите им.

Механиката е поучително дребна. Помощен процес от служебната мрежа достига тавана си по едновременни заявки и не се мащабира автоматично, защото политиката следи натоварването на основната услуга, но не и ограничението на самия помощен процес. Оттам каскадата продължава: четири възела на балансьора изчерпват допустимите си потоци и пътят за удостоверяване се влошава.

Тоест наблюдението е било налице, показателите са били налице, но са мерили съседното нещо.

Защо Copilot удължи прекъсването

Вторият етап е този, който заслужава вниманието на всеки екип.

Забавените отговори от една вътрешна крайна точка задействат латентен дефект в повторните заявки на редактора Visual Studio Code. Дефектът умножава трафика приблизително десет пъти: услугата за жетони на Copilot скача от нормалните 7 до 9 хиляди заявки в секунда на 70 до 100 хиляди. Инструментът, който трябваше да чака търпеливо, вместо това започва да блъска по вратата и така продължава собствения си престой навън.

Възстановяването минава през груба мярка - балансьорите започват да отказват заявките с код 403, докато трафикът се върне постепенно към нормалното.

Разборът дава и мащаба, който обяснява натиска: месечните ревизии растат от 1,4 милиарда през април до 2,9 милиарда сега. Удвояване за четири месеца. Компанията не свързва изрично този ръст с помощниците за писане на код, но съвпадението във времето е трудно за пренебрегване.

Какво следва от това за един екип

Обявените мерки са четими и извън контекста на голяма платформа: единни ограничения и бюджети за повторните заявки между услугите, разсеяни във времето изчаквания, за да не тръгват всички едновременно, одит на ограниченията в служебната мрежа и наблюдение, насочено към балансьорите, а не само към приложенията.

За малък екип полезното се свежда до три въпроса. Колко от ежедневната работа спира, ако един доставчик спре за осем часа. Знае ли се кой инструмент прави повторни заявки и колко агресивно. И има ли писан ред за деня, в който помощникът за писане на код не отговаря. Зависимостта от един доставчик не е избор, който се прави веднъж - тя се натрупва тихо, докато не се провери с часовник в ръка.

Заключение

Аварията не е предизвикана от изкуствен интелект и не доказва нищо за качеството на моделите. Доказва друго: инструментите около тях вече носят достатъчно трафик, за да се превърнат от пострадали в утежняващ фактор. Това е нов клас риск и се управлява с познати средства.

Помагаме на български екипи да си отговорят колко точно струва един ден без основния доставчик и кои стъпки намаляват тази сметка. Услугите ни покриват одит, оценка на готовност, обучение на екипи и имплементация на специализирани AI автоматизации за всяка организация. Препоръчваме консултация при въвеждане на помощници за писане на код в ежедневния процес или при изготвяне на план за работа при отказ на външна услуга. [Свържете се с нас за консултация: academy@razvivai.se]