Qué es un LLM
LLM significa Large Language Model, y es una neurored IA de Machine Learning que se entrena con una serie de datos. Los datos se estructuran en conjuntos de entrada o salida, que son la llave o el aspecto esencial para poder entrenar al modelo IA.
El término “neurored” hace referencia al uso de Deep Learning, un concepto del que ya hablamos con anterioridad. De cualquier manera, los algoritmos cobran mucha relevancia a la hora de entrenar a los LLM de forma óptima: que usen los datos precisos, ni más, ni menos.
En el transcurso del desarrollo de un LLM, se van fijando unos parámetros para que actúen conforme nuestra interacción. Por ejemplo, en los iPhone, el smartphone estudia nuestro comportamiento y, si realizamos un patrón (abrir una app a determinada hora del día), nos va a recomendar su uso llegada dicha hora al ver que no la abrimos.
Otros LLM son útiles para sugerencias que autocompletan lo que estamos escribiendo en el teclado.
Hay un problema: lo que el LLM usa como fuente para entrenarse. Digamos que queremos crear un chatbot que vaya haciendo preguntas y, conforme el usuario responda, le permita determinar la ideología de éste.
Debe saber lo que es el liberalismo, el progresismo, y un largo etcétera de corrientes de pensamiento. Por tanto, si lo entrenamos con datos de una misma fuente, puede que la concepción de lo que es y no es sea sesgada y parcial, ¿verdad?
Todos sabemos que hay periódicos que reman hacia la derecha y otros reman hacia la izquierda. Si entrenásemos la máquina con datos de medios conservadores, cualquier respuesta o pensamiento ligeramente distinto le convertiría en progresista, ¿vais entendiendo lo qué quiero decir?
Entonces, la respuesta del LLM va a ser inexacta, ofensiva o, incluso, desconfiable. Un analista de datos entiende esto como “alucinación”.
Ejemplos de LLM
Estas tecnologías tan teóricas siempre se entienden mejor con ejemplos, por lo que después de explicar qué es un LLM, toca dar algún ejemplo.
Los primeros que se me vienen a la cabeza son GPT-3 y BERT. Aunque los conocemos como ChatGPT o el algoritmo de Google, son modelos de inteligencia artificial de OpenAI y Google, habiendo muchos más.
También encontraremos Cohere, Ernie, Falcon 40B, GPT-4, Sora o StableLM, entre otros.
¿Por qué se necesita una GPU TOP para los LLM?
Principalmente, porque las GPU trabajan con la computación paralela, lo que permite realizar multiplicaciones matriciales y otras operaciones necesarias para el entrenamiento neuronal.
Ahora bien, no basta con una GPU dedicada, sino que debe tener mucha memoria VRAM (16 GB o más), un ancho de banda en dicha memoria alto y una potencia de procesamiento TOP. Esto se debe a la cantidad de datos que se manejan en el entrenamiento, hablando de muchísimos TeraBytes.
Podemos decir que lo ideal es una GPU profesional que use memoria HBM por su alta capacidad, su apilado vertical 3D y su alto ancho de banda. Respecto a los shaders o “cores” que encontraréis dentro de cada GPU, rápido comprobaréis que las profesionales no traen muchos más de los que vemos en NVIDIA GeForce o AMD Radeon.
Debéis “cambiar el chip”, nunca mejor dicho, cuando hablamos de datos, modelos de inteligencia artificial y centros de datos. Aquí la potencia de computación importa, pero factores como la interfaz PCI-Express o la memoria VRAM son más importantes.
Mismamente, la NVIDIA H100 es el santo grial de la IA que todos quieren (cuestan más de 40.000€ cada una), vamos a compararla con una RTX 4080 SUPER para que veáis lo que digo.
|
|
RTX 4080 SUPER |
NVIDIA H100 |
|
GPU |
AD103-400-A1, 5 nm |
GH100, 4 nm |
|
Arquitectura |
Ada Lovelace |
Hopper |
|
CUDA Cores |
10240 |
14592 |
|
RT Cores |
80 |
- |
|
Tensor Cores |
320 |
456 |
|
Frecuencia base/máxima |
2295/2550 MHz |
1095/1755 MHz |
|
Memoria VRAM |
16 GB GDDR6X |
80 GB HBM2e |
|
Velocidad de memoria |
23 Gbps |
3.2 Gbps |
|
Bus |
256-bit |
5120-bit |
|
Ancho de banda |
736 GB/s |
2 TB/s |
|
TDP |
320 W |
350 W |
Como veis, NVIDIA no escatima en memoria, no habiendo RT Cores en la H100, teniendo una velocidad de memoria bajísima y siendo muy importante el ancho de banda.
En videojuegos no interesa un ancho de banda gigante, ni un bus TOP, sino que se premia más los shaders, la velocidad de memoria y la frecuencia del chip de la GPU.
¿El aumento de la demanda GPU para LLM no afectará al precio?
Entiendo que tengas cierto miedo a vivir una crisis como ocurrió en el 2016 con el auge del Bitcoin o en el 2020 con el COVID-19 y la escasez de recursos. Dichos períodos provocaron que las tarjetas gráficas fuesen prohibitivas en precio, así como creando una escasez de stock muy preocupantes.
Este aumento de demanda solo afectará al ámbito empresarial, elevando mucho el precio de las memorias. Puede generarse un efecto dominó, pero solo afectaría a las GPUs Instinct o con arquitectura Hopper en adelante.
Las gamas gaming de NVIDIA o AMD no deberían verse “intoxicadas” por un aumento de demanda en LLM porque no usan ni las mismas arquitecturas, ni las mismas memorias: son GPUs bastante distintas.
¿Quieres comprar una GPU para LLM? Echa un vistazo a PcComponentes porque hay modelos RTX A, así como gama alta de GeForce muy interesantes.
