RAGged Edge Box: Un sistema privado y personal de recuperación de información usando IA

Día: 21/08/24

Hora: 12 h

Lugar: Google meet

Resumen: Uno de los usos más populares de la inteligencia artificial (IA) generativa es generación aumentada por recuperación de información (Retrieval Augmented Generation, RAG). Dichos sistemas necesitan un sistema de recuperación de información, siendo los más populares sistemas basados en embeddings semánticos o con métodos tradicionales de búsqueda de palabras claves. Sobre la salida de dichos sistemas de búsqueda, un modelo de lenguaje de gran porte (Large Language Model, LLM) se ejecuta para extraer la respuesta a una búsqueda de información. Estos sistemas requieren gran cantidad de cómputo y suelen implementarse usando procesos en la nube, lo cual presenta problemas en la privacidad de los datos. En esta charla presentaremos el proyecto The RAGged Edge Box en el cual sistemas básicos de embeddings y LLMs reducidas están empaquetados en una máquina virtual multi-plataforma (VirtualBox). El sistema provee una interfaz Web que corre localmente y permite acceder a la funcionalidad RAG de manera completamente privada. Las redes neuronales se ejecutan en el entorno ONNX y no requieren GPU. El código de RAG está implementado en PHP y es de fácil modificación, requiriendo un entorno de ejecución mucho más reducido que una alternativa en Python.