Hexo Labs отвори кода на SIA, AI агент, който продължава да се самообучава
Hexo Labs представи SIA, или Self Improving Agent, рамка с отворен код за AI агенти. Тя не се ограничава до подобряване на промптове и работни процеси. Основното твърдение е по-амбициозно: агентът анализира собствените си опити, променя методите си на работа и при нужда стартира вътрешно дообучаване на модела, за да се справи по-добре в следващия цикъл.
Самоусъвършенстващ се агент вече не означава просто по-добър промпт
Досега развитието на AI агенти следваше основно два пътя. В единия разработчик или метаагент подобрява системата отвън: промптовете, избора на инструменти, логиката за повторни опити и стратегията за търсене. В другия екип дообучава самия модел с обратна връзка от задачите. SIA съчетава двата подхода в един цикъл.
Ключовият термин тук е вътрешно дообучаване на модела, тоест промяна на параметрите на невронната мрежа по време на обучение. Казано по-просто, агентът не получава само по-добри инструкции. Самият модел се учи от повтарящи се грешки и резултати. Това отличава SIA от агенти, които просто пренаписват промпт или добавят още една стъпка към работния процес.
Три агента движат цикъла на подобрение
Според официалното описание в GitHub SIA работи чрез три основни компонента. Meta Agent прочита описанието на задачата и създава първия целеви агент. Task Specific Agent решава задачата и записва действията и резултатите си. Feedback Agent преглежда логовете, открива слабите места и решава дали да подобри конструкцията на агента, или да задейства вътрешно дообучаване на модела.
Тази разлика е важна от техническа гледна точка. Конструкцията на агента определя как системата търси решение, използва инструменти и проверява резултати. Вътрешното дообучаване на модела би трябвало да добавя домейн преценка, която нито един промпт не може просто да „запише“ в модела. В публикацията в arXiv авторите на SIA казват, че използването на двата механизма заедно е надминало подобряването само на конструкцията и в трите тествани области.
Резултатите изглеждат силни, но изискват трезво измерване
Техническата публикация за SIA оценява рамката върху три много различни задачи: класификация на обвинения по китайски правни текстове, оптимизация на GPU ядра на ниско ниво и премахване на шум от данни за едноклетъчна РНК. Този подбор дава на системата по-широк тест от стандартен бенчмарк за чатботове, защото задачите изискват различни видове прецизност, експериментиране и измерим резултат.
На хартия резултатите са отчетливи. Според авторите SIA комбинира подобрение на конструкцията с вътрешно дообучаване на модела и надминава предишното най-добро постижение с 25,1 процента в LawBench. GPU ядрото работи с 12,4 процента по-бързо от предишното най-добро постижение, а премахването на шум от РНК данни се подобрява с 20,4 процента. Хранилището в GitHub посочва още 70,1 процента Top 1 точност в LawBench, 14-кратно ускорение за ядрото TriMul спрямо базовото ниво и резултат MSE_norm от 0,289 в задачата за секвениране на едноклетъчна РНК.
Твърдението за „350 пъти“ е преслиния, не независима оценка
В прессъобщението си Hexo Labs твърди, че SIA ускорява пътя към свръхинтелект 350 пъти. Това изисква предпазливост. Компанията свързва твърдението с MLE bench на OpenAI, но това не е същото като независимо доказателство, че SIA действително доближава AI до свръхинтелект. Публичните материали засега показват нещо по-приземено: SIA предлага силна експериментална рамка за измерими развойни задачи.
OpenAI описва MLE bench като бенчмарк за проверка дали AI агенти могат да извършват инженерна работа в машинното обучение: обучение на модели, подготовка на данни и провеждане на експерименти. Той включва 75 Kaggle състезания по машинно обучение и дава на агентите далеч по-практична цел от обичайните бенчмаркове с въпроси и отговори.
От европейска гледна точка прозрачността е най-важната част
За европейските разработчици и изследователски институции основната стойност на SIA е в отворения характер. Хранилището в GitHub показва, че рамката използва MIT лиценз, написана е на Python и може да се прилага с персонализирани задачи, при които публичните входни данни, скритите данни за оценяване и самият оценител се дефинират отделно. Това помага на изследователите да повтарят експерименти и да проверяват какво реално променя агентът.
В същото време вътрешното дообучаване на модела носи по-голяма отговорност. Когато агент може да променя поведението си по-дълбоко, рамката за оценяване трябва да улавя и дали системата става по-добра в общ план, или просто се учи да използва конкретна метрика. Затова на този етап SIA се вписва най-добре в научни и инженерни задачи с ясни измерители, а не в автономно вземане на решения с отворени цели.
Технически преглед
SIA комбинира подобрение на конструкцията на агента и вътрешно дообучаване на модела в един цикъл на самоусъвършенстване.
Системата използва Meta Agent, Task Specific Agent и Feedback Agent.
Тестовете обхващат правни текстове, оптимизация на GPU ядра и премахване на шум от данни за едноклетъчна РНК.
Според хранилището в GitHub SIA е с отворен код, под MIT лиценз и е създадена за Python 3.11+.
Голямото твърдение за „350 пъти“ идва от прессъобщението на Hexo Labs, а не от независим одит.
SIA може и да не е пряк път към свръхинтелект. Това, което предлага, е по-практично и засега по-полезно: начин AI агентите да показват работата си, да се учат от нея и да посрещат следващия тест с нещо повече от по-добра мотивационна инструкция.
