Así es Llama 3, el nuevo modelo de lenguaje de IA entrenado por Meta
- Es el más potente del mercado, asegura la compañía
Meta ha presentado Llama 3, la nueva generación se su modelo de lenguaje LLM para el desarrollo de herramientas de inteligencia artificial, que la compañía va a incorporar en sus principales plataformas sociales como Instagram, Facebook y WhatsApp en una docena de países.
Llama 3 demuestra "un rendimiento puntero en una amplia gama de parámetros de referencia del sector", explica la compañía en un comunicado.
Whatsapp, Facebook, Instagram y Messenger incorporan el chatbot de IA desarrollado por Meta
Este modelo de código abierto ofrece nuevas funciones como "la mejora del razonamiento", continúa el comunicado, que puede soportar una amplia variedad de casos de uso, afirma.
"Queremos dar paso a la próxima ola de innovación en IA en todos los ámbitos: desde aplicaciones hasta herramientas para desarrolladores, evaluaciones, optimizaciones de inferencia y mucho más", explica la compañía.
PRE-ENTRENAMIENTO
"Este nuevo modelo reduce sustancialmente las tasas de falsos rechazos y aumentaron la diversidad en las respuestas de los modelos", asegura.
Amazon apuesta por la IA generativa, que será su "gran pilar" en los próximos años
"También hemos observado grandes mejoras en capacidades como el razonamiento, la generación de código y el seguimiento de instrucciones", señala.
Para ello, Llama 3 utiliza un vocabulario de 128.000 tokens "que codifica el lenguaje de forma mucho más eficiente".
Esto es lo que podrás hacer con WhatsApp gracias a la IA
Meta asegura que ha invertido mucho en datos de pre-entrenamiento para Llama 3, que está pre-entrenado con más de 15T de tokens recogidos de fuentes públicas, un dataset siete veces mayor el utilizado en Llama 2.
En el procedo de aprendizaje Llama 3 se entrena con varios procesos de filtrado de datos para predecir la calidad de los mismos en distintos casos de uso, como preguntas de trivialidades, STEM, codificación o conocimientos históricos, explican.
Instagram probará un filtro de desnudez en los mensajes para proteger a los menores
El fine-tuning de las instrucciones no solo permite a los desarrolladores personalizar Llama 3, también desempeña un papel importante "para garantizar la seguridad de nuestros modelos".
El sistema combina expertos humanos y métodos de automatización para generar mensajes adversos que intentan provocar respuestas problemáticas.
MÁS IDIOMAS
El objetivo de Meta es hacer que Llama 3 sea multilingüe y multimodal en un futuro próximo, asegura la compañía.
De momento, ha dedicado más del 5% del nuevo dataset de pre-entrenamiento en datos de más de 30 idiomas, dice el comunicado, aunque confiesan que no espera el mismo nivel de rendimiento que en inglés.
