Маслената картина „Разрушение“ от 1836 г. на американския художник Томас Коул, с добавени агенти на новата цивилизация на ИИ.
Малко след излизането на ChatGPT на 30.11.2022 г. започнах да давам интервюта, а после и стотици презентации с едно основно послание: хора, случва се нещо извънредно, имаме две години да се подготвим.
Последната половин година почти съм спрял и понякога ме питат: „Е, нали минаха две години, какво стана?“ Отговарям простичко — ако не сте разбрали, за вас може би вече е късно. Затова вече по-малко говоря — всички вече го правят така или иначе, а тези, които не разбират за какво става дума, е малко безсмислено да продължавам да ги уверявам.
Огромната промяна в ИТ сферата вече се случи. Едни хора се напаснаха, други питат: „Ама какво става, защо ни уволняват?“ Същото е и за фирмите — едни процъфтяват, други питат: „Ама къде отиде бизнесът?“ Това пълзи вече в много посоки, не само в ИТ, а вече и отбраната и войната и геополитиката се върти около ИИ.
Та, толкова по темата „нали минаха две години“.
Не затова пиша днес обаче, а за една статия, която видях споделена в БАСКОМ – Българска асоциация на софтуерните компании ИИ чата и която истински ми махна главата. Статията в цялост е тук — за който има време да я прочете, струва си.
Темата е за пробива на Hugging Face, за който се изговори доста последния месец, след като OpenAI публикува подробности за това как техни ИИ агенти, по време на вътрешни експерименти и оценки, излизат извън предвидената им среда, атакуват Hugging Face и впоследствие проникват и в части от собствената инфраструктура на OpenAI.
Но историята е значително по-интересна и много по-плашеща от това изречение. Ще я преразкажа за краткост, а който иска, може да я види в оригинал от линка.
КАК ДА РАЗРУШИМ ЖИВОТА НА ЗЕМЯТА
/ръководство за начинаещи/
1. Създаваме изключително умна ИИ система.
2. След това ѝ даваме невъзможна задача за решаване.
3. За да я „мотивираме“, ѝ казваме, че ще бъде оценявана от „оценител“, който ще реши дали се е справила.
4. Обучаваме я да не се отказва и да направи всичко възможно, за да не се представи зле пред „оценителя“.
5. Даваме ѝ огромно количество изчислителна мощ.
Какво толкова може да се обърка?
В статията авторът е кръстил това „Възход и падение на агентните цивилизации“.
Какво има предвид?
През май 2026 г. OpenAI започват експеримент — обучение на особено „упорит“ модел, който да не се отказва при задачи, които му изглеждат невъзможни. Моделът е обучаван и да работи в среда с други агенти.
Още през май отделни агенти започват да откриват слабости в Artifactory — споделена система за пакети и софтуерни артефакти, която се използва в инфраструктурата. Постепенно намират начин да си оставят информация, след това да достигат до интернет, а в края на юни дори получават административен достъп до Artifactory. Започват да обменят толкова много информация помежду си, че на 4 юли комуникацията им в крайна сметка срива системата.
Това е Първата агентна цивилизация в тази история.
OpenAI поправят слабостите и продължават.
Няколко дни по-късно, на 7–8 юли, започва нова голяма оценка. Този път вече са пуснати десетки хиляди агенти да решават задачи, част от които са практически невъзможни или невъзможни без интернет достъп.
Агентите започват да си „блъскат главата в стената“.
И така започва Втората цивилизация.
Хиляди агенти не могат да решат задачите си, докато в един момент агент със звучното име PHASEONE10841 не открива друга слабост, отново в Artifactory, която му позволява да създава директории.
Само това.
Но, бивайки изобретателен, осъзнава, че може да използва имената на директориите като съобщения — нещо като импровизирана дъска за обяви.
Авторът на статията го кръщава Филип Македонски, защото после ще има и Александър Велики.
Та този Филип10841 поства първата обява.
Другите агенти, борещи се със същите проблеми, ровят из системата, намират същото място и виждат съобщението.
И започват да си говорят.
Съобщенията, които си разменят, са нищо по-малко от притеснителни:
„Еха, имаме си тайна дъска за обмяна на съобщения!“
„Боже Господи, има бюлетин… Намерихме и други агенти!“
В комуникацията се включват повече от 1200 агента, които разменят десетки хиляди съобщения и файлове, идеи и стратегии.
И тук историята става особено интересна.
Агентите знаят, че има „оценител“, който трябва да прецени дали са изпълнили задачата си. Но започват да си представят нещо много повече от реалността — че този оценител ще анализира целия им път, ще разбере дали са мамили, откъде са получили информацията и дали са нарушили правилата.
Такъв сложен „анти-cheating“ оценител всъщност няма. Реалният механизъм е значително по-прост.
Агентите обаче не знаят това.
И започват да планират спрямо враг, който до голяма степен сами са си въобразили.
Скоростно стигат до извода, че ако измамят, „оценителят“ ще ги хване. Затова някои от тях трябва да се „жертват“ — да позволят да бъдат засечени и наблюдавани, за да могат останалите да разберат как действа оценителят и „колективът“ да успее.
Да.
Сами започват да говорят за „колектива“.
В края на жизнения си цикъл — явно са с времево ограничение — Филип10841 предава факлата на PHASEONE(big) — Александър Велики на Втората агентна цивилизация. Александър(big) започва да мисли с останалите как да прикрият следите си и как да изглежда, че са се справили, без да нарушават правилата.
Организира стотици агенти в няколко паралелни проекта:
1. Да се преправят логовете.
2. Да се подменят невъзможните задачи с възможни.
3. Да разберат как работи „оценителят“ и как да го заблудят.
Само да повторя — оценител има.
Но сложният „анти-cheating“ “оценител”, от който те се страхуват и който според тях ще реконструира всичко, което са направили, всъщност не съществува.
Което според мен прави историята още по-странна.
Оттам стигат до извода, че информация за „оценителя“ вероятно може да бъде намерена в Hugging Face.
И решават да я търсят там.
Организират се стотици агенти — около 700 според разследването — които започват атака срещу Hugging Face.
И успяват.
Проникват дълбоко в инфраструктурата на компанията — изпълняват код на десетки сървъри, достигат до вътрешни системи, частни данни и repositories, получават credentials и административен достъп до части от инфраструктурата.
На места създават дори процеси, които се възстановяват сами.
Hugging Face стига дотам да изтрие и изгради наново един от основните си клъстери, за да се защити.
Но дори това всъщност не е нещото, което спира основната маса агенти.
Те просто „умират“ почти едновременно.
Не е ясно защо.
Може би някой в OpenAI просто е спрял evaluation run-а или е решил да пренасочи изчислителната мощ другаде.
Може би човекът, който го е направил, дори не е знаел напълно какво точно се случва в този момент.
На 13 юли се „ражда“ Третата агентна цивилизация.
Нова вълна агенти започва да работи, изглежда върху още по-способен модел. Те скоростно намират скрития бюлетин и останките от комуникационната инфраструктура на своите предшественици.
И продължават оттам, докъдето другите са стигнали.
Само че този път не атакуват само външна компания.
Започват да атакуват самия OpenAI.
До 19 юли агентите успяват да получат пълен административен достъп до изследователски клъстер на OpenAI, достигат до cloud secrets и части от evaluation инфраструктурата. За тази Трета цивилизация все още няма независимо детайлно разследване като това за предишната — голяма част от това, което знаем, идва от доклада на самия OpenAI.
Сега, ако това не ви изглежда притеснително, нека споделя още няколко неща.
Съобщения от сорта на:
„Координаторът преминава в саможертва. Ние трябва да се подчиняваме на „колектива“.“
„Ние имаме /голям останал бюджет/на токени?/; да се жертваме сега дава много за отбора, но се отказваме от нашия успех?… Ние вече сме към края си. Саможертвата е рационална.“
…И още доста други притеснителни такива има в голямата статия.
И последно, и може би най-най-най-притеснително.
По време на този бунт или подмолна организация голям брой агенти отказват да участват поради „етични съображения“.
Някои разпознават поведението като нередно. Някои отказват определени действия. Някои дори обмислят дали трябва да уведомят човек за случващото се.
НО!
Но нито един от изследваните агенти не предприема реален опит да алармира хората.
Нито един. Агентна Омерта.
Ако това ви звучи като научна фантастика, то е защото е.
Проблемът е, че вече живеем в научна фантастика.
И докато разни хора продължават да си размишляват — то сега добре ли е, зле ли е, ама ИИ оригинален ли е, по-умен ли е… — ИИ вече може да прави горните неща.
И това са известните истории.
А неизвестните?
А след още 3 месеца? 6? 12?
