He vist a la pàgina Understanding LLMs: A Simple Guide to Large Language Models una explicació força clara de l ‘Osman Recai de com funciones els LLM (grans models de llenguatge) que es fan servir en AI generativa. L’autor diu que vol donar un
overview of the key components of Large Language Models (LLMs) at a high level, focusing on basic concepts, minimal math, and visual explanations to make complex ideas easy to understand.
Dos dels principals conceptes que cal tenir en compte són el de similaritat i el d’atenció, que després donen lloc a la predicció de la propera paraula d’una frase. Precisament per fer la predicció es veu com es fa servir una xarxa neuronal. També s’hi evidencia la importància del preentrenament, que és la fase més costosa de la IA generativa.
Es tracta doncs d’un material d’aprenentatge perquè qui no és expert en el tema (suposo que la gran majoria de la població) pugui entendre una mica com funciona la IA generativa i com es diferencien els models que van apareixent de forma continuada en els darrers anys.