29 de diciembre de 2024 # Large Concept Model (Meta), de palabras a conceptos  Interesante paper y trabajo de investigación que presenta Meta. Habla de un nuevo tipo de modelo de lenguaje llamado **Large Concept Model (LCM)**. En lugar de trabajar con palabras individuales (y tokens), como los modelos actuales (GPT, Llama, etc.), el LCM trabaja con ideas completas, llamadas "*conceptos*". Estos conceptos son como ideas grandes que no dependen de un idioma o formato específico. ### Cómo funciona? En lugar de predecir palabras una por una, este modelo trabaja con oraciones completas usando algo llamado SONAR, que puede entender más de 200 idiomas y es multimodal, o sea, también funciona con texto y habla. Donde un modelo de lenguaje usa tokens (vectores en un espacio de embeddings) para representar palabras, un modelo de conceptos utiliza SONAR también con vectores, pero esta vez para representar ideas o conceptos completos, codificando el contenido semántico (el significado) de frases completas. Esto permite un *procesamiento abstracto* más potente que simplemente procesar palabras.  #### Ventajas - Puede trabajar bien con muchos idiomas sin entrenamiento extra. - Es mejor para resumir textos largos o expandir ideas. - Funciona bien con textos muy largos gracias a su forma organizada. #### Desventajas - Necesita mejorar cómo maneja las partes pequeñas de un concepto. Justo por manejar ideas completas, es peor hilando fino con las palabras. - A veces tiene dificultades con textos complicados o muy técnicos. ### Reflexión, un modelo prometedor Yo diría que nos vamos acercando a modelos de IA que funcionan más parecido a como pensamos las personas: **viendo las ideas completas en lugar de las palabras sueltas**. Esto podría hacerlo más útil para crear textos largos y trabajar en idiomas menos comunes. En mi opinión, tiene pinta de que el futuro de los modelos sea una mezcla entre LCM y LLM. Primero procesas la idea completa, y luego la traduces a palabras con ese hilado fino que puede hacer un LLM. > [!abstract] En mi opinión, tiene pinta de que el futuro de los modelos sea una mezcla entre LCM y LLM. > Idea interesante, mucho por mejorar. Esto es investigación, así que en 6 meses aprox. sabremos si la idea funciona o no. ### Fuente Detalles y enlace para descargar el paper y tener una conversación reflexiva sobre el contenido con tu asistente favorito --> https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/ --- Publicado el 29 de diciembre de 2024, con resumen en [X](https://x.com/dhtoran/status/1873303631962964251) y [LinkedIn](https://www.linkedin.com/posts/davidhurtadotoran_ai-mentesinquietas-activity-7279141618119589888-Iw84)