En Baufest buscamos mejorar la vida con tecnología, por lo que nos encontramos en la búsqueda de un Especialista LLMOps Sr para sumarse a un importante proyecto bancario.

Responsabilidades:

Monitorear el rendimiento de modelos de lenguaje en entornos de producción, asegurando estabilidad y eficiencia operativa.Evaluar y optimizar la calidad de las respuestas generadas por los LLMs mediante las métricas propiadas.Implementar herramientas de observabilidad y diagnóstico para detectar degradaciones en el rendimiento y prevenir problemas en modelos en producción.Utilizar plataformas especializadas como Azure AI Evaluation, Ragas, LangSmith, etc para la evaluación sistemática de los modelos.Analizar grandes volúmenes de datos de interacción con modelos para identificar patrones de error, sesgos y oportunidades de mejora.Diseñar estrategias de evaluación automatizada y frameworks de prueba para realizar comparaciones entre versiones de modelos y asegurar mejoras progresivas.Colaborar con equipos de MLOps y desarrollo para definir procesos de validación antes de la implementación de nuevas versiones de modelos.Generar reportes claros y detallados sobre el desempeño de los modelos, presentando hallazgos a stakeholders clave y proponiendo ajustes para optimización.Integrar prácticas de MLOps enfocadas en LLMs, incluyendo versionado de modelos, pruebas continuas y mecanismos de recolección de feedback de usuarios.

Requisitos Principales:

Perfil Senior con amplia experiencia en roles similares. Experiencia en desarrollo, evaluación y monitoreo de modelos de IA generativa, especialmente en producción.Manejo de métricas clave para evaluar la calidad de respuestas de LLMs.Familiaridad con herramientas de evaluación como como Azure AI Evaluation, Ragas, LangSmith, etc.Conocimiento en MLOps, incluyendo pruebas automatizadas y versionado de modelos.Capacidad de procesar y analizar datos de evaluación, identificando tendencias en la calidad de respuesta y rendimiento de modelos.Conocimientos en Python y frameworks de IA para realizar pruebas y análisis de modelos.Experiencia en el uso de plataformas en la nube como Azure para la implementación y monitoreo de modelos de IA.Inglés nivel B2 o superior (Deseable).

Te ofrecemos: 

BAU COMPENSATIONS: Evaluación anual de desempeño y revisión de categorización.BAU LUNCH: Recibirás un cupón de Pedidos Ya cada viernes del mes.BAU INTERNET: Reintegro mensual parcial de tu factura. BAU UTILITIES: ¡Luego de trabajar 4 años con la misma notebook en Baufest, será tuya!.BAU FAMILY: Maternidad y Paternidad. Softlanding para las madres baufesianas y Paternidad (10 días hábiles de licencia). Flexibilidad horaria planificada.BAU HEALTH: Medicina prepaga de primer nivel para grupo familiar; Reintegro trimestrales por actividad deportiva.BAU DAYs: Día de cumpleaños Libre.BAU ACADEMY: Clases de Inglés in-company; Certificaciones y capacitaciones a cargo de Baufest; Pro Profes (días extra de estudios, premios para estudiantes Universitarios/Terciarios/Posgrados). Excelente Clima Laboral ¡Estamos dentro del ranking Great Place to Work!.
¡Postúlate y sé parte de un equipo inclusivo donde todo pueden crecer!
Baufest promueve la igualdad de oportunidades y no discrimina por razones de Nacionalidad, género, Edad, religión, orientación sexual, discapacidad, ni por ninguna otra característica protegida por la ley.