A természetes nyelvfeldolgozás (NLP) fő célja, hogy minél inkább modellezni tudjuk a fogalmi megértést, hogy a mondatokat és szavakat úgy tudjuk ábrázolni, hogy azok a lehető legjobb módon rögzítsék a mögöttes jelentéseket és kapcsolatokat. Napjainkban forradalmi változások zajlanak a természetes nyelvfeldolgozás területén, amely kimeríti a paradigmaváltás Thomas Kuhn (1984) által leírt fogalmát. Az ehhez vezető úton az első radikális lépés a nyelv vektorreprezentációjának kidolgozása volt, amely Tomáš Mikolov nevéhez fűződik. A Mikolov (Mikolov et al. 2013) által kidolgozott word2vec rendszer ugrásszerű fejlődést hozott a nyelv lexikai rendszerének gépi modellezésében, azonban a rendszer nem tudta kezelni a szavak többértelműségét, amelyek feloldása a kontextus alapján lehetséges. 2017-ben ennek megvalósítására született meg a kontextualizált szóbeágyazás (McCann et al. 2017), amely nagyban megváltoztatta a természetes nyelvfeldolgozást. Igazán azonban a 2018-as és a 2019-es év volt mérföldkő a gépi tanulási modellek területén, azon belül is a természetes nyelvfeldolgozásban, amikor is a Google fejlesztői kidolgozták a Transzformer modellt. A transzformációs modellek kódoló és dekódoló részekből állnak, és első sikereiket az NLP terén neurális gépi fordításban érték el. 2018-ban elkészült, 2019-ben pedig publikálták a BERT (Bidirectional Encoder Representations from Transformers) modellt, amely több modell után szintén a kontextualizált reprezentációt használja (Devil et al. 2019). A BERT egy olyan, pusztán a figyelmi mechanizmusra (attention) épülő gépi tanulási modell, amelyet a Google hatalmas adatmennyiségen előre betanított két különböző feladatra (Masked Language Modeling és Next Sentence Prediction) (Devil et al. 2019). A csak kódoló komponenst tartalmazó neurális rendszer az attention mechanizmus segítségével a szavak közti kontextuális kapcsolatokból tanul. A BERT egy kész nyelvmodell, amelyet a fejlesztői nyílt forráskódúvá tettek. Ez az előre tanított modell, amelyhez bárki hozzáfér, rengeteg időt, energiát és tudást spórol meg a kutatóknak, mivel nem szükséges egy új nyelvmodell előállítása további feladatokhoz, hanem ezt a meglévő modellt lehet finomhangolni speciális feladatokra (pl. fordítás, kérdés-válasz, osztályozási feladat). A BERT-tel a magas szintű természetes nyelvértési feladatok esetében értek el javulást.