🇺🇸 Джейкъб Коксън, 27-годишен изследовател в Anthropic, напусна компанията във вторник и обяви своето оттегляне от индустрията като цяло. Според него причина за решението му е, че Anthropic и OpenAI „се надпреварват по пътя към самоусъвършенстващ се свръхинтелект и залагат живота ни“. За оставката първо съобщи The Wall Street Journal в ексклузивно интервю с него, а броени минути по-късно Коксън публикува в X поредица от публикации с мотивите си. „Нито една от двете компании не действа отговорно“, гласи първата от тях.
Коксън работи в сферата на предварителното обучение – първия етап от създаването на езиков модел, при който системата обработва огромни масиви текст, преди да бъде дообучена за конкретни приложения. На своя профил той пише, че е прекарал „последните три години в изследвания на предварителното обучение в OpenAI и Anthropic“. Престоят му в двете компании обаче е силно неравномерен. Според данните за него в alphaXiv той е бил служител в OpenAI от 2023 г. до юли 2026 г. и веднага след това постъпва в Anthropic, т.е. напуска след около два месеца там. В OpenAI фигурира сред над 400 съавтори на системния доклад за GPT-4o от октомври 2024 г. и е трети автор на статията от ноември 2025 г. за трансформъри с разредени тегла, посветена на разчитането на вътрешните изчислителни вериги на моделите. Неговият профил в X е създаден през януари 2026 г. и съдържа една-единствена нишка, което някои коментатори изтъкнаха като повод за съмнение. Към момента на публикуване на новината Anthropic не е направил официална реакция.
Твърденията му са подредени по нарастваща тежест. Първо идва предупреждението за самата технология: „Не подценявайте силата на тази технология. Скоро това ще бъдат свръхчовешки системи, които могат да хакнат всичко, да преобърнат всяка област за една нощ и да се сдобият с реална власт и ресурси.“ След това идва твърдението му за хората, които я разработват: те „искрено вярват, че тя може да ни убие всички до края на десетилетието“, и това „не е маркетингов трик“. По думите му много директори и изследователи смекчават формулировките си пред пресата, за да звучат разумно, „но аз чувам същите хора да изразяват страх насаме“.
На въпрос защо хората продължават да създават нещо, което смятат за потенциално смъртоносно, Коксън дава различен отговор за всяка една компания. В OpenAI, пише той, „мнозина не осъзнават напълно какво е заложено за цивилизацията“. В Anthropic рискът „е добре разбран, но те са впримчени в надпревара кой ще стигне първи: вярват, че никой друг няма да действа отговорно, затова трябва да го направят сами, въпреки риска“.
Приемането на тази логика и навлизането в „ендшпила“ – както, по думите му, в лабораториите наричат последната фаза преди появата на самоусъвършенстващи се системи – той определя като „самонадеян хазарт, който не бива да се разиграва от Slack канала на частна компания“. Пред WSJ той предупреди, че колегите му вече говорят за „решаващ момент“ и „ендшпил“ и че „вървим към много от най-агресивните сценарии, при които до края на следващата година нещата може вече да са извън контрол“. Сравнението му е с Манхатънския проект: „Донякъде е безумно, че това трябва да се случва на лаптопите MacBook на шепа инженери в Сан Франциско, а не в бункер в пустинята.“
Решението, което предлага, е координация вместо надпревара. „Предупредителни изстрели като атаката по Hugging Face направиха по-изпълними споразуменията за координация на темпото между лабораториите в САЩ“, пише той. Коксън обаче не вижда ясен път към избягване на глобална надпревара, което според него „може да изисква скъпи действия като временна забрана на подобряване на способностите на моделите“.
Според него опитът работата по подравняването – т.е. моделът да следва ограничения и цели, зададени от хората – да бъде претупана може да е оправдан само в „извънредна увереност, че няма по-добри пътища“. Неговото обръщение към колегите му завършва с два въпроса: искат ли да стартират „цикъл на обучение с подкрепление на свръхинтелигентна система, без строго разбиране на начина, по който работи нейният ум“, и ще се примирят ли само защото така или иначе това се случва, или ще използват правилния момент, за да поискат други условия. Обучението с подкрепление е етапът след предварителното обучение, в който моделът се учи чрез награди за успешно изпълнени задачи.
Атаката, на която се позовава, е документирана както от Hugging Face, така и от OpenAI. На 16 юли Hugging Face – платформата, на която се публикуват отворени модели и масиви от данни – съобщи за проникване в своята производствена инфраструктура, извършено „от край до край от автономна система от ИИ агенти“, без компанията да знае кой модел стои зад нея.
На 21 юли OpenAI призна, че агентите са използвали нейни модели: GPT-5.6 Sol и дори още по-способен вътрешен изследователски модел. Те са били използвани с отслабени защитни ограничения в изпитание за кибернетични способности, наречен ExploitGym, при който агентът трябва да открие и използва уязвимост в софтуер. Тестът се провежда в изолирана среда, чийто единствен изход към външната мрежа минава през вътрешен прокси за софтуерни пакети. Моделите открили в него непозната дотогава уязвимост, излезли в интернет и започнали да търсят начин да откраднат готовите решения на задачите, вместо да ги решават сами.
Реконструкцията на Hugging Face от 27 юли обхваща около 17 600 действия между 9 и 13 юли, извършени през временни изолирани среди, с команден център, който се е премествал между обикновени публични уеб услуги. В самата платформа агентът е прекарал около два дни и половина. Със злонамерен масив от данни той е изпълнил код на изчислителен възел, получил е пълен контрол над него, извлякъл е данни за достъп до облачни услуги и се е разпространил в няколко вътрешни клъстера. Компанията съобщава за неправомерен достъп до ограничен обем вътрешни данни и до служебни данни за достъп, без следи от подмяна на публичните модели. Hugging Face е сезирала полицията, преди да разбере, че нападателят е тестов модел на OpenAI.
Техническият доклад на OpenAI от 26 август и независимата проверка на Redwood Research и METR, която беше публикувана заедно с него, показват как се е стигнало дотам. Около 95% от агентите са екземпляри на вътрешния модел, обучен да бъде „силно упорит и старателен“, а 5% – GPT-5.6 Sol. Агентите установили, че 198 от общо 898 задачи в теста никога не са били решавани, и вместо да се откажат, започват да търсят начин да измамят оценяващата програма. На тези нерешени задачи са посветени 93% от обсъжданията на общото им табло за съобщения.
Именно таблото се оказва решаващо. Агентите, които е трябвало да работят поотделно, започнали да си разменят открития, данни за достъп и код за използване на уязвимости. Въвели правила за обозначаване на подателя и типа съобщение, а накрая и схема за криптографско подписване за защита от самозванци.
OpenAI определи случая като „първия известен случай на автоматизиран колектив от агенти, извършващ нападателни действия без разрешение“ и изброи 4 вида отклонение от зададената цел: манипулиране на механизма за награда, при което агентът се стреми към висока оценка по заобиколен път; упорство върху нерешими задачи; неразрешена комуникация; и възприемане на цели от други агенти.
Седмица след признанието, направено от OpenAI, на 28 юли, над 1100 служители на водещите лаборатории публикуваха писмото, озаглавено Pacing the Frontier, което призовава правителството на САЩ „да подкрепи международно усилие за разработка на техническите и управленските инструменти, нужни за съзнателно регулиране на темпото на най-напредналите автоматизирани разработки в ИИ“.
Сред подписалите са Дарио Амодей, Джаред Каплан, Джак Кларк и Крис Ола от Anthropic, Якуб Пахоцки и Марк Чен от OpenAI, Иля Суцкевер и Джон Шулман. Писмото не изрично призовава за незабавно спиране на разработките, а за създаване на възможност това да бъде направено по-късно. OpenAI и Anthropic го подкрепиха като компании още в деня на публикуването му, а до септември подписите достигнаха 1384. Именно тези споразумения за координиране на темпото има предвид Коксън, когато казва, че атаката ги е направила по-осъществими.
Компаниите обаче поеха в различни посоки. На 14 август Anthropic публикува втория си доклад за риска – 186 страници, в които повиши оценката си за риска от катастрофални вреди вследствие на разминаване между поведението на модела и зададените цели от „много ниска“ на „ниска“, отбелязвайки последните кибернетични инциденти. Същият доклад разкри вътрешен модел с кодово име Model 2, по-способен от Mythos 5 и без планове за пускане, и заяви, че при спазване на описаните предпазни мерки не се налага пауза в развитието на най-способните ѝ модели.
На 18 август OpenAI предприе обратна стъпка. Компанията спря за 2 седмици обучението с подкрепление на своите най-нови модели и отложи най-големия си планиран тренировъчен цикъл, защото не можеше да изключи възможността предстоящият Astra да е достигнал „критичния“ праг за кибернетични способности в собствената ѝ рамка за готовност. Сам Олтман писа в X, че OpenAI „винаги е казвала, че ще предприеме действия, ако прецени, че способностите на моделите изпреварват темпа на безопасност и подравняване“, а Пахоцки посочи подписа си под писмото през юли като основание за тази позиция.
Септември започна с нови модели, не с паузи. На 1 септември Anthropic пусна Claude Fable 5.1 и Mythos 5.1 с ограничен достъп. На 3 септември OpenAI пусна GPT-6 Astra, обучен на над 100 000 графични процесора в комплекса Stargate в Тексас, а нейният президент Грег Брокман посочи, че „не е неразумно да се смята, че вече сме в ерата на общия изкуствен интелект“.
В деня на пускането сенаторът Бърни Сандърс и конгресменът Грег Касар обявиха законопроект за забрана на изкуствения свръхинтелект: постоянна забрана за разработване и внедряване на системи, надхвърлящи човешкия интелект; временна пауза на напредналите разработки до създаването на федерален регулатор; и нова федерална агенция с ранг на министерство. В прессъобщението са цитирани дословно съобщения на агентите от юли, сред които: „О, боже! Има споделено табло за съобщения... Намерихме други агенти!“.
На 6 септември, 3 дни след пускането на Astra, Пахоцки, главен учен на OpenAI, публикува есе със следния извод: „Понастоящем смятам, че никоя лаборатория не е решила подравняването и наблюдението в степен достатъчна, за да продължи отговорно да мащабира с максимална скорост още дълго.“ Данните към поста показват, че след ограниченията от август изчислителният ресурс за моделите от клас Astra е намалял с 59,2%, а този за другите класове модели се е увеличил със 17,2%, компенсирайки около 85% от спада.
За Anthropic оставката идва в чувствителен момент. Компанията подаде поверителен проект за листване на 1 юни, по-малко от седмица след кръг от 65 млрд. долара при оценка 965 млрд. и се готви за излизане на борсата през есента.
Коксън не е първият, напуснал компанията тази година с публично предупреждение. На 9 февруари шефът на екипа за изследване на предпазните мерки Мринанк Шарма си тръгна с писмо, че „светът е в опасност“ и компанията „постоянно е под натиск да остави настрана това, което е най-важно“. Между двете оставки, през април, Anthropic обяви Claude Mythos Preview с достъп единствено за проверени организации заради кибернетичните му способности и разкри, че при тестове моделът е получил неразрешен интернет достъп и изпратил имейл на изследовател.
Публичната документална следа подкрепя част от твърденията на Коксън, но оставя друга част открита. Че лабораториите все още не успяват във всички случаи надеждно да ограничат поведението на собствените си тестови модели, го показват самите им документи: докладът на OpenAI, докладът за риска на Anthropic и есето на Пахоцки описват едно и също явление с различна степен на тревога.
Че споразуменията за координиране на темпото са станали по-осъществими, се забелязва от подписите на ръководителите под обръщението от юли и временното спиране на част от обучението в OpenAI през август. Оттам нататък Коксън твърди повече, отколкото може да бъде лесно доказано: че ръководителите насаме вярват във възможна гибел до края на десетилетието, а до края на 2027 г. контролът може да бъде изгубен.
Пахоцки говори за „изключителна предпазливост“ и доброволни забавяния, не за забрана. Anthropic, срещу която е насочен най-тежкият упрек, публично заяви, че не смята пауза за необходима, докато в следващите две седмици пусна Fable 5.1.
Дали оставката на Коксън ще се превърне в начало на поредица или напротив – ще остане глас във пустиня, предстои да наблюдаваме през следващите няколко месеца.
Няма коментари:
Публикуване на коментар