Exploración de técnicas de prompt-programming para sistemas de recomendación

Día: martes 23 de julio de 2024

Hora: 11:00 h

Lugar: Aula Magna | FAMAF

Resumen: Este estudio explora la adecuación de los modelos de lenguaje para la tarea de recomendaciones, priorizando enfoques que requieran menos recursos computacionales y habilidades técnicas. Se evaluaron modelos de lenguaje open-source, sin entrenamiento específico, para predecir puntajes de películas utilizando un prompt base y sus variaciones. Se probaron tres modelos: Flan-T5, Llama2 y Mistral. Los experimentos analizaron cómo distintas alteraciones del prompt (historiales de usuario, géneros y puntajes globales de películas, rangos de puntaje y ejemplos few-shot) afectan los resultados. Además, se realizaron estudios de sesgo para detectar tendencias en las predicciones. Las predicciones, divididas en opiniones positivas y negativas y evaluadas con métricas de clasificación, mostraron que los modelos de lenguaje superan sistemáticamente a la asignación de puntajes promedio de películas. En muchos casos, estos modelos se desempeñaron casi tan bien como los algoritmos de estado del arte en recomendaciones. El mejor rendimiento se obtuvo con prompts que incluían historiales largos de usuario, sin necesidad de añadir más información. La elección del formato del prompt base y el modelo utilizado fueron cruciales. Modelos más avanzados como Llama2 y Mistral produjeron mejores resultados que modelos más simples como Flan-T5. Por lo tanto, los modelos de lenguaje son una opción viable para problemas de recomendación en contextos de recursos limitados.