A pöttyökből kép lesz: egy Yale-vezette kutatás szimbolikus rendet talált a chatbotok számsorai mögött
Senki nem írta meg a chatbotok belső szabályait: azokat maguk a rendszerek alakították ki tanulás közben. Egy Yale-vezette kutatás szerint ezek a szabályok mégsem kaotikusak: a számsorok mélyén olyan szerkezet van, amelyet szavakkal, szerepekkel és egyetlen egyenlettel le lehet írni. Beleszerkeszteni is lehet.
Rejtély egy jól működő gép belsejében
Kérdezz meg egy chatbotot egy törtekkel végzett műveletről, egy mondat szerkezetéről vagy egy programkód hibájáról, és jó eséllyel értelmes választ kapsz. Ha viszont megnéznénk, mi zajlik közben a belsejében, nem szavakat, szabályokat vagy képleteket látnánk, hanem számsorokat: hosszú számsorokat, amelyek között nincs egyetlen olyan sem, amely a „kutya” vagy a „nevező” fogalmát jelentené.
Az ember másképp gondolkodik. Nekünk a szavak, a számok és a változók szimbólumok: valamit jelölnek, és tudjuk, melyik milyen szerepet játszik. Egy mondatban van alany, ige és tárgy, egy törtben számláló és nevező.
A kérdés ezért régóta kínos: hogyan lehet valami jó nyelvben, logikában és matematikában, ha belül nem szimbólumokkal dolgozik? A rendszerek mögött ráadásul nem áll programozott szabálykészlet, hatalmas adathalmazokon tanultak. Mérnöki szóval: kiváló teljesítményű fekete doboz, amelynek belső logikáját csak részben ismerjük.
A pöttyökből összeálló kép
A Yale-en dolgozó R. Thomas McCoy és társszerzői (Paul Soulos, Tal Linzen és Paul Smolensky) azt a feltevést állították fel, hogy a számsorok mögött rend van, csak nem a megszokott formában.
McCoy hasonlata a pointillista festmény; gondoljunk Georges Seurat Vasárnap délután a Grande Jatte szigetén című képére, amely a Yale cikkét is illusztrálja. Közelről színes pöttyöket látunk, amelyeknek önmagukban semmi értelmük nincs. Néhány lépés távolságból viszont egész jelenet áll össze belőlük: emberek, fák, víz, árnyék. A kutatók szerint a nyelvi modellek vektoraiban is így lehet: az egyes számok a „pöttyök”, az értelem pedig a mintázatban él.
Kitöltők és szerepek
A feltevés ellenőrzéséhez a csapat a tenzorszorzat-reprezentáció (TPR) nevű eszközt vette elő. Az információt két alkotóelemre bontja:
- kitöltő: a tartalom, például egy szó vagy egy szám;
- szerep: a szerkezeti hely, például alany, ige, tárgy, számláló vagy nevező.
A TPR lényege, hogy ezt a kitöltő–szerep szerkezetet nem külön szabálylistában, hanem magában a vektortérben tárolja.
A próba: lecserélni, ami bonyolult
A kísérlet egyszerű, és erős állítás rejlik benne. A kutatók a hálók vektorait előállító bonyolult folyamatot lecserélték egy zárt alakú egyenletre, amely ilyen szimbolikus szerkezeteken alapul. Ha a közelítés rossz, a modell összeomlik. Ha jó, a viselkedés alig változik.
A viselkedés nagyjából változatlan maradt.
Ez nem egyetlen kísérlet volt. Kis neurális hálókon kezdték, amelyek listák kezelésére tanultak meg, majd hét nagy nyelvi modellen ismételték meg négy területen: nyelven, aritmetikán, logikán és programkódon, vagyis azokon, amelyek a szimbolikus intelligencia kutatásának középpontjában állnak.
Amikor a szerkesztés is működik
A legszemléletesebb eredmény azonban nem a közelítés, hanem a beavatkozás. A kutatók célzottan átírták a vektor bizonyos összetevőit, és a modell viselkedése kiszámíthatóan változott.
A példa: módosították, hogyan kódolja a modell a clever (okos) szót, így az a mondat alanyától átkerült a tárgyához, mint jelző. A modell ezután úgy válaszolt, mintha a mondatot ennek megfelelően fogalmazták volna át.
Ez a kísérlet a legerősebb bizonyíték. Hogy egy leírás pontos-e, azt a legjobban az mutatja, ha az alapján sikerül hatni a rendszerre. Itt ez sikerült: a modell viselkedése valóban azokon a szerkezeteken múlik, amelyeket a kutatók azonosítottak.
McCoy szerint a nyelvi modellek „természetes módon olyan reprezentációk felé konvergálnak, amelyekben szerep–kitöltő szerkezet van”. Ez a rend tehát maga alakul ki a tanulás során, nem beletervezték.
A tanulság: a fekete doboz nem szükségszerűen kaotikus
A tanulmányból három következtetés vonható le.
- A kérdés rosszul volt feltéve. Gyakran úgy vitatkozunk, hogy a chatbotok vagy „tényleg értik”, vagy csak „statisztikát számolnak”. A kutatás harmadik lehetőséget mutat: lehet, hogy a rendszer nem szimbólumokat kezel, mégis szimbolikus szerkezet épül fel benne a tanulás során.
- Az értelmezéstől a beavatkozásig. Aki ismeri a belső szerkezetet, nemcsak magyarázni tudja a viselkedést, hanem hatni is rá. Ez a különbség a megfigyelő és a mérnök között.
- A megbízhatóság a megértéssel kezdődik. Ha nem ismerjük, hogyan rendezi el az információt egy nyelvi modell, nem tudhatjuk, mikor viselkedik nem várt vagy veszélyes módon. A kutatók szerint az eredmény egy lehetséges út a modellek pontosabb irányításához.
Amit a tanulmány nem állít
A munka preprint: az arXivra 2026. augusztus 30-án került fel (The Emergent Symbolic Structure of Artificial Neural Networks, arXiv:2608.29530), szakfolyóiratban még nem lektorálták.
A kutatók maguk is óvatosak: McCoy szerint a munka csak a felszínt karcolgatja annak, amit meg kell vizsgálni ahhoz, hogy valóban megértsük, hogyan kódolják az információt a neurális hálók. Nem bizonyítja, hogy a chatbotok „emberi módon gondolkodnak”, és azt sem, hogy minden belső működésük szimbolikusan leírható. Azt mutatja, hogy a vizsgált esetekben a számsorok mögött nem zűrzavar, hanem megragadható, mérhető és szerkeszthető szerkezet van.
És ez az, ami miatt érdemes odafigyelni. Eddig a chatbotok működéséről főleg a kimenetük alapján beszéltünk. Ez a kutatás azt jelzi, hogy a belsejüket is lehet vizsgálni, mérni és szerkeszteni.
Források: Mike Cummings: How do AI chatbots “reason” like humans? A Yale-led study offers clues, Yale News (2026. október 8.); R. Thomas McCoy, Paul Soulos, Tal Linzen, Paul Smolensky: The Emergent Symbolic Structure of Artificial Neural Networks, arXiv:2608.29530 (preprint, 2026. augusztus 30.)
Kérdésed van, vagy átbeszélnéd valamelyik témát?
Legyen szó biztonsági rendszerről, a mögötte lévő informatikai hálózatról vagy egy gondolatról ezekből a cikkekből, szívesen meghallgatlak.
Kapcsolatfelvétel
