A Hexo Labs megnyitotta a SIA forráskódját, az AI-ügynök saját magát fejleszti tovább
A Hexo Labs bemutatta nyílt forráskódú AI-ügynök keretrendszerét, a SIA-t, vagyis a Self Improving Agentet. A rendszer nem pusztán promptokat és munkafolyamatokat finomít. A központi állítása ennél ambiciózusabb: az ügynök elemzi a saját próbálkozásait, módosítja a munkamódszereit, és szükség esetén belső modellfinomhangolást indít, hogy a következő ciklust jobban kezelje.
Az önfejlesztő ügynök már nem csak jobb promptot jelent.
Az AI-ügynökök fejlesztése eddig két fő irányt követett. Az egyikben egy fejlesztő vagy metaügynök kívülről javítja a rendszert: a promptokat, az eszközválasztást, az újrapróbálkozási logikát és a keresési stratégiát. A másikban a csapat magát a modellt finomhangolja a feladatok visszajelzései alapján. A SIA ezt a két megközelítést egyetlen körfolyamatban egyesíti.
A kulcsfogalom itt a belső modellfinomhangolás, amely a neurális háló paramétereinek módosítását jelenti a tanítás során. Egyszerűbben fogalmazva: az ügynök nemcsak jobb utasításokat kap. Maga a modell is tanul az ismétlődő hibákból és az eredményekből. Ez különbözteti meg a SIA-t azoktól az ügynököktől, amelyek csak átírnak egy promptot, vagy újabb lépést adnak a munkafolyamathoz.
Három ügynök működteti a fejlesztési ciklust.
A hivatalos GitHub-leírás szerint a SIA három fő komponensen keresztül dolgozik. A Meta Agent elolvassa a feladatleírást, és létrehozza az első célügynököt. A Task Specific Agent megoldja a feladatot, közben rögzíti a műveleteit és az eredményeit. A Feedback Agent áttekinti a naplókat, azonosítja a gyengeségeket, majd eldönti, hogy az ügynök keretrendszerét kell-e javítani, vagy belső modellfinomhangolást kell indítani.
Ez műszaki szempontból fontos különbség. Az ügynök keretrendszere határozza meg, hogyan keres megoldást a rendszer, miként használ eszközöket, és hogyan ellenőrzi az eredményeket. A belső modellfinomhangolásnak olyan szakterületi ítélőképességet kell hozzáadnia, amelyet egy prompt nem tud egyszerűen beírni a modellbe. Az arXiv-tanulmányban a SIA szerzői azt állítják, hogy a két eszköz együttes használata mindhárom vizsgált területen felülmúlta a kizárólag keretrendszer-javításra épülő megoldást.
Az eredmények erősek, de higgadt mérésre szorulnak.
A SIA műszaki tanulmánya három nagyon eltérő feladaton értékelte a keretrendszert: kínai jogi szövegek alapján végzett vádbesoroláson, alacsony szintű GPU-kernel-optimalizáláson és egysejtes RNS-adatok zajszűrésén. Ez a választás szélesebb próbát ad a rendszernek, mint egy hagyományos chatbot-benchmark, mert a feladatok eltérő pontosságot, kísérletezést és mérhető kimenetet igényelnek.
Papíron az eredmények markánsak. A szerzők szerint a SIA a keretrendszer javítását belső modellfinomhangolással kombinálta, és a LawBench-en 25,1 százalékkal múlta felül a korábbi csúcseredményt. A GPU-kernel 12,4 százalékkal futott gyorsabban a korábbi legjobb eredménynél, míg az RNS-adatok zajszűrése 20,4 százalékkal javult. A GitHub-tárház a LawBench-en 70,1 százalékos Top 1 pontosságot, a TriMul kernel esetében az alapértékhez képest 14-szeres gyorsulást, az egysejtes RNS-szekvenálási feladatban pedig 0,289-es MSE_norm értéket is feltüntet.
A „350-szeres” állítás sajtóközleményes fordulat, nem független ítélet.
A Hexo Labs a sajtóközleményében azt írja, hogy a SIA 350-szeresére gyorsítja a szuperintelligencia felé vezető utat. Ezt óvatosan kell kezelni. A vállalat az állítást az OpenAI MLE-benchmarkjához köti, de ez nem azonos azzal, hogy független bizonyíték igazolná: a SIA valóban a szuperintelligencia felé viszi az AI-t. A nyilvános anyagok jelenleg ennél földhözragadtabb képet mutatnak: a SIA erős kísérleti keretrendszert kínál mérhető fejlesztési feladatokhoz.
Az OpenAI az MLE-bench-et olyan benchmarkként írja le, amely azt vizsgálja, képesek-e az AI-ügynökök gépi tanulási mérnöki munkát végezni: modelleket tanítani, adatokat előkészíteni és kísérleteket futtatni. A benchmark 75 Kaggle gépi tanulási versenyt tartalmaz, és a hagyományos kérdés-válasz teszteknél jóval gyakorlatiasabb célt ad az ügynököknek.
Európából nézve az átláthatóság a legfontosabb.
Az európai fejlesztők és kutatóintézetek számára a SIA legnagyobb értéke a nyitottság. A GitHub-tárház szerint a keretrendszer MIT-licencet használ, Pythonban íródott, és olyan egyedi feladatokkal is alkalmazható, amelyekben a nyilvános bemeneteket, a rejtett értékelési adatokat és az értékelőt külön határozzák meg. Ez segíti a kutatókat a kísérletek megismétlésében, és annak ellenőrzésében, hogy az ügynök valójában mit változtat.
A belső modellfinomhangolás ugyanakkor nagyobb felelősséggel jár. Ha egy ügynök mélyebben képes módosítani a viselkedését, az értékelési keretrendszernek azt is ki kell szűrnie, hogy a rendszer általánosan lett-e jobb, vagy csak megtanulta kihasználni egy adott metrika sajátosságait. Emiatt a SIA jelenleg leginkább világos mérőszámokkal rendelkező tudományos és mérnöki feladatokhoz illik, nem pedig nyílt végű célokkal működő autonóm döntéshozatalhoz.
Műszaki összkép.
A SIA egyetlen önfejlesztő ciklusban egyesíti az ügynök keretrendszerének javítását és a belső modellfinomhangolást.
A rendszer Meta Agentet, Task Specific Agentet és Feedback Agentet használ.
A tesztek jogi szövegeket, GPU-kernel-optimalizálást és egysejtes RNS-adatok zajszűrését fedték le.
A GitHub-tárház szerint a SIA nyílt forráskódú, MIT-licenc alatt érhető el, és Python 3.11+ környezethez készült.
A nagy „350-szeres” állítás a Hexo Labs sajtóközleményéből származik, nem független auditból.
A SIA nem feltétlenül rövidebb út a szuperintelligenciához. Amit kínál, az gyakorlatiasabb, és egyelőre hasznosabb is: módot ad arra, hogy az AI-ügynökök láthatóvá tegyék a munkájukat, tanuljanak belőle, és a következő tesztnek ne csak egy jobban megírt biztatással fussanak neki.
