A nyelvtechnológiában az utóbbi néhány évben előtérbe kerültek az olyan disztribúcióalapú szójelentés-reprezentációs modellek, amelyek a szavak jelentésének a szűken vett grammatikai és szemantikai dimenzióin túl a tágabb stiláris, illetve szociolektális (csoportnyelvi) dimenzióit is meglepő pontossággal megragadják. Ezért ezek a mesterséges neurális hálózatokon alapuló szóbeágyazási modellek nemcsak a nyelvtechnológusoknak, sőt nem is csak a nyelvészeknek érdekesek, hanem mindazon tudományágak képviselőinek gazdag tudásforrást jelenthetnek, akik számára a szövegek alapvető nyersanyagként szolgálnak.

 

 

Distributional models of word meaning have recently become ubiquitous in language technol­ogy. These models represent in remarkable detail the meaning of words encompassing not only the narrow grammatical and semantic but also the wider stylistic and sociolectal dimensions. Thus these word embedding models created using artificial neural networks are not only interesting for NLP researchers or linguists, but they can be rich sources of knowledge also for social scientists, for whom texts serve as essential research material.

 

 

 

 

 

A strukturalista nyelvészek az 1930-as években azt az álláspontot fogalmazták meg, hogy a nyelvi tudás elsődleges forrása a szavak és morfémák disztribúció­ja. Ennek bizonyítására azonban csak napjaink új tudományos eredményeinek felhasználásával adódott lehetőség. Napjaink digitális társadalma nagyon nagy mennyiségben állít elő újabb és újabb szöveges tartalmakat, melyekben a nyelv alakulása, illetve a nyelvhasználat különböző rétegei jól tetten érhetők.

 

 

Egy nagyméretű, több mint egymilliárd szavas, a webről gyűjtött korpuszból hoztunk létre szóbeágyazási modelleket. A korpuszt automatikusan egyértelműsített morfológiai elemzéssel láttuk el. A modell építésekor nem a ragozott szavakat, hanem a szótöveket tartottuk meg, melyek után külön elemként szerepeltek a morfológiai elemző által generált címkék. Mivel ezek a címkék az aktuális szó környezetében maradtak, az általuk hordozott szintaktikai információ továbbra is szerepet kapott az egyes szavakat reprezentáló vektorok létrehozásában. Azonban mivel a modell csak szótöveket tartalmaz, így robusztusabb modell jön létre, mint ha közvetlenül a szövegben szereplő felszíni szóalakokból építenénk a modellt, mert egy-egy szó reprezentációjának kiszámításához annak minden ragozott alakja hozzájárul. Ez a ritka szavak esetében jelentősen javítja a modell minőségét.

Léteznek olyan technikák is, amelyeknek segítségével a vektortérmodellben a benne szereplő szavak mellett olyan szimbolikus jegyek is elhelyezhetőek, amelyek az adott régióban lévő szavakat valamilyen (szemantikai, stiláris, szociolektális, szakterületi, helyesírási, grammatikai stb.) szempontból jellemzik. Ezeket a jegyeket konkrét szavakhoz, esetleg teljes szövegekhez vagy szövegrészekhez rendelve és ezeket a korpuszhoz külön annotációs szinten hozzáadva a korpusz nemcsak a benne előforduló konkrét szavak, hanem az így hozzáadott annotáció szempontjából is kereshető lesz.

 

 

A modellből lekérdezhető a benne szereplő szavakhoz legközelebb elhelyezkedő további szavak listája, az adott szótól való távolság szerint rendezve. Ezt a műveletet a már megjelenített elemek egy részhalmazán folytatva feltérképezhető az adott régió szókincse. A nyelvi rétegek és a rétegnyelvek példátlan gazdagságban és árnyaltságban jelennek meg a lexikai térben, kezdve az online játékok rajongóinak zsargonjától a fanfiction irodalmat felvonultató fórumok látogatóinak speciális szóhasználatán keresztül a szemészeti szaknyelv rétegein át egészen a vasúti irányítórendszerek szakterminológiájáig. Az így létrejött szólistán automatikus klaszterezési eljárást alkalmazva további tematikus osztályozást végezhetünk, illetve kiszűrhetjük az oda nem illő elemeket. Az 1. táblázatban a fenti kategóriákból választott kempel, ficc, macula és balíz szavakhoz kérdeztük le a modellből a hozzájuk legközelebb eső első néhány szót. A terjedelmi korlátok miatt itt csak a listák elejét van lehetőségünk bemutatni, azonban általánosan elmondható, hogy az ilyen listáknak akár még a többszázadik elemei is releváns kifejezéseket tartalmaznak, amelyek természetesen adott esetben már lazább kapcsolatban állnak az eredeti szóval. A vektortérben olyan típusú kategóriák is elkülönülnek, amilyen típusú megkülönböztetés semmilyen létező szótárban nem szerepel, és sokszor megfelelő elnevezést sem könnyű találni az adott kategória számára. A 2. ábrán látható például, hogy világosan elkülönülnek a férfi keresztneveken belül az „avítt dzsentrinevek”, a hagyományos keresztnevek, az átlagos gimnáziumi osztálynévsorban fellelhető trendi fiúnevek és a roma kiskorúak divatos angolszász–újlatin keresztnevei.

A webről gyűjtött korpusz gazdagon tartalmaz olyan a „nép” által írt szövegeket, amelyek a különböző webes fórumokon és a cikkekhez írt hozzászólásokban jelennek meg. Ezekben a szövegekben – és következésképpen a szemantikai vektortérben – a szókincs olyan rétegei jelennek meg (vagy egy épp ebből a rétegből vett kifejezéssel: figyelnek be), amelyek nyomtatott szótárakban nem szerepelnek. A modell ezeknek a szavaknak az adott szociolektális közegben szokásos jelentését is megragadja, így alkalmas lehet az adott rétegnyelv vizsgálatára, az abban való elmélyülésre (lásd az 1. ábrát).

 

 

Ahhoz, hogy jó minőségű modellek jöjjenek létre, a rendszernek nagy mennyiségű tanítóanyagra van szüksége. Az általunk vizsgált korpusz több milliárd szóból áll. Ha egy adott réteg- vagy szaknyelv szókincsét szeretnénk vizsgálni, akkor nem feltétlenül elegendő a modell betanításához csak az adott nyelvi réteget reprezentáló korpusz, hanem a nagyobb általános korpuszon kapott modellből kiindulva a rendszert az adott szakkorpuszon tovább tanítva létrehozható egy olyan lexikális reprezentáció, amelyben a köznyelvben dominánsan az adott rétegnyelvtől eltérő jelentésben használt szavak reprezentációja a rétegnyelvben domináns jelentéshez közelít. A rendszer tehát arra is használható, hogy egy nagyobb vegyes korpuszból egy adott rétegnyelvet reprezentáló részkorpuszt válasszunk ki annak a rétegnyelvre jellemző lexikai elemei alapján. Ehhez kiindulásként elegendő a jellemző terminológiának csak néhány elemét megadni, majd az adott vektortérrégió közeli elemeiből automatikusan egy bővebb szakterminológiai szókincset összeállítva és ezt lekérdezve az egész korpuszból kiválaszthatjuk a releváns részkorpuszt.

 

 

A disztribúciós modellbeli távolságmérték önmagában általában nem választja el egymástól a hasonló jelentésű, de különböző polaritású elemeket, mint például jó-rossz, szép-csúnya, illetve ezek hasonló jelentésű társait, azonban az ellentétpárokra adott példák alapján általában definiálható egy olyan transzformáció a téren, amely olyan forgatást végez, amelyet alkalmazva a vektortér valamelyik dimenziója mentén az ellentétes polaritású elemek szétválnak. Tehát bár az eredeti vektortérmodellben az egyes dimenziókhoz általában nem rendelhető semmiféle jelentés, megfelelő transzformáció után a transzformált vektortérben egy adott dimenzió specifikus jelentést nyerhet.

 

 

További érdekes lehetőségek nyílnak annak a ténynek a kiaknázásával, hogy a különböző nyelveken készített szóbeágyazási modellek topológiája általában hasonló, ezért akár néhány ezer fordítási szópár megadásával viszonylag pontos leképezés definiálható két különböző nyelvhez készült modell között. Ez lehetővé teszi egyrészt a két nyelv „rokon” lexikális mezői közötti leképezést és az egyik oldalról kiindulva a másik oldal felfedezését, másrészt a kultúraspecifikus szavaknak (például: busó, pörc, cigó stb.) a másik nyelven megfelelő terület megvizsgálását. Emellett a leképezés azt is lehetővé teszi, hogy az egyik nyelven hozzáférhető (akár kézzel, sok munkával létrehozott) lexikai erőforrás a másik nyelven is használhatóvá váljon. A 2. táblázatban a busó, pörc, cigó szavaknak megfelelő vektorok által meghatározott pontokhoz legközelebb eső angol szavak láthatóak az angol Wikipédiából létrehozott szóbeágyazási modellben. Látható, hogy a modell megragadja és leképezi a busójárás fesztiváli hangulatát, vidéki látványosság jellegét, a pörc szóról pedig megtudhatjuk, hogy denotátuma étel, míg a cigó szó leképezésével kapott listában megjelennek mind a bűnözéssel kapcsolatos, illetve az etnikai intoleranciára utaló szavak, mind a kurrens etnikai ellentétekkel kapcsolatban gyakran felmerülő nemzetiségnevek. Ugyanakkor az angol Wikipédiából készült korpusz nemigen tartalmaz olyan jellegű csoportnyelvi elemeket, amilyenek közé a magyar cigó szó tartozik, ezért az adott esetben a magyar szó és az angol modellbeli képe között nincs pontos regiszterbeli megfelelés. Egy általános angol nyelvű webkorpuszból készült modell esetén azonban nem állna fenn ez a probléma.

 

 

Írásunkban bemutattunk néhány olyan lehetőséget, amelyet a nagyméretű korpuszokból neurális hálózatok segítségével épített szóbeágyazási modellek a szövegekre alapozott kutatásokat végző társadalomtudósok számára megnyitnak. Megpróbáltuk néhány példával illusztrálni, hogy ezek a modellek igen árnyalt módon képesek megragadni a szavak és a hozzájuk kapcsolódó fogalmak tágabb értelemben vett jelentésével kapcsolatos nyelvi szinten tetten érhető tudást, beleértve a stiláris, rétegnyelvi, szakterületi jellemzőket. Az ígéretes lehetőségeknek egy része még csak most körvonalazódik, hiszen a bemutatott megoldások csak néhány éve jelentek meg. Egészen pontosan: a matematikai módszerek nagy része korábban is megvolt, csak a hatékony működtetésükhöz szükséges számítástechnikai háttér nem volt meg. A cikkünkben vázolt modellek alapfogalmai, tehát a vektoros reprezentáció, a neurális hálók vagy a mélytanulás napjainkban a legtöbb területen, így a társadalomtudományi kutatások területén is új lehetőségeket nyitnak. Ezek kiaknázásához időszerű a tanuláselmélet, a nyelvtechnológia és azon társadalomtudományi területek kutatóinak összefogása, ahol a szövegekben megbújó tudás efféle feldolgozása egyre újabb és egyre hasznosabb tudományos megoldások kialakítását teszi lehetővé.

 

 

A cikkünkben bemutatott eredmények részben az FK 125217 éa a PD 125216 számú projekt keretében a Nemzeti Kutatási Fejlesztési és Innovációs Alapból biztosított támogatással az FK 17 és a PD 17 pályázati program finanszírozásában megvalósuló kutatások keretében születtek meg.