Mit jelent az LLM a mesterséges intelligencia témakörben?
Az LLM, azaz large language modell, magyarul nagy nyelvi modell egy olyan generatív mesterséges intelligencia alapú rendszer, amely mesterséges neurális hálókból áll, a gépi tanulás illetve a deep learning segítségével sok paraméterből álló adatbázisok óriási tömegén tanítanak arra, hogy az emberi nyelvre hasonlító nyelvi feladatokat oldjanak meg.
Az LLM-ek használhatók például szövegkészítésre, fordításra, szövegértésre, szövegösszefoglalásra, szöveg bővítésére.
Hogyan működnek az LLM-ek?
Nagy adatbázis halmazokon tanulnak be, a ChatGPT-3 például például 175 milliárd adatbázist kapott. Itt az adatbázis az egyes felületeket jelenti, például egy könyvet, egy internetes oldalt, egy dokumentumot. Ezek az adatbázisok tokenekből, kisebb egységekből, például szavakból, mondatokból állnak. A ChatGPT-3-é például hozzávetőlegesen 499 milliárt tokenes. Az 5-ös modellnél ezt a számot már inkább a több trilliós nagyságrendre becsülik. Az OpenAI csúcsmodelljei tipikusan 128 000 tokenes kontextusablakkal (short-term memory) működnek, ami durván egy 300 oldalas könyv tartalmának felel meg. Ha ennél nagyobb dokumentumot adsz neki, az adatokat darabolni (chunking) kell, különben a modell memóriavesztést produkál (ez az ún. "lost in the middle" jelenség). A Gemini technikailag jóval nagyobb adathalmazt tud kezelni ilyen memóriavesztés nélkül. Az óriási adathalmazok alapján valószínűségi alapon teszik ezek a modellek egymás után a szavakat.
Egy nagy nyelvi modellben a súlyoknak hívjuk azokat a paramétereket, amelyek meghatározzák a modell viselkedését és teljesítményét. A nyelvi modell kezdeti betanításánál a súlyok véletlenszerűek általában. Az úgynevezett finomhangolás (fine-tuning) során a már előzetesen betanított nyelvi modell súlyait módosítjuk olyan módon, hogy további tanítást végzünk egy specifikus feladatra vonatkozóan. A finomhangolás során a súlyokat az új adatokra vagy feladatokra optimalizáljuk úgy, hogy a modell jobban teljesítsen az adott feladaton.
Mely cégek fejlesztenek nagy nyelvi modelleket?
A leghíresebb talán az OpenAI ChatGPT nevű modellje, e mögé finanszírozóként beszállt a Microsoft. A Google ismert modellje a BARD, amely aztán ma Gemini néven vált ismertté és népszerűvé, fontos versenyző az Anthropic Claude-ja, Elon Musk Grokja, valamint a kínai DeepSeek, a kínai Baidu keresőé az Ernie 3.0 Titan, a Metáé az LLama (Large Language Model Meta AI), az orosz Yandex keresőé a YaLM 100B, az Amazoné az AlexaTM. A nagy nyelvi modellek nagy adatbázis halmazokon tanulnak be, és nagy szímítási kapacitásra van szükségük az optimális működéshez. Éppen ezért az LLM fejlesztése általában a nagyobb cégek terepe. Működtetésük tőke és erőforrásigényes, nagy számítási és szerverkapacitást igényelnek. Üzleti modelljeik a jelenben alakulnak ki.