For Employers

BIP Consulting

AgentOps Engineer – Observabilidad de Agentes IA

Posted 3 days ago
2-5 years experience
Apply Now

Please mention DailyRemote when applying

?
Resume Match Score

See how much of this job your resume covers, and what’s missing.

Want a recruiter to go through it line by line?

Get professional review

Create a cover letter for this job

Upload your resume and we draft a letter for this exact role, tailored to what it asks for.

  • Tailored to this role
  • Based on your resume
  • Fully editable
AI Summary

You will monitor, operate, and evolve a fleet of enterprise AI agents using observability tools like Grafana and Azure Monitor. Your role involves managing incidents, analyzing performance metrics, and adjusting agent configurations to ensure high-quality service delivery.

🚀 ¿Te unes al reto?

En BIP – xTech estamos buscando a gente con ganas de crecer, aprender y enfrentarse a proyectos tecnológicos de verdad: cloud, datos, IA, seguridad, workplace moderno, automatización, DevSecOps, IoT, Industria 4.0… ¡Aquí no te vas a aburrir!

Somos un equipo diverso y con muchas ganas, donde combinamos tecnología con estrategia para ofrecer soluciones top a nuestros clientes. Si te interesa estar en el centro de la transformación digital, este es tu sitio.

 

💼 ¿Qué harás?

Buscamos personas que se muevan con soltura entre el mundo de la observabilidad cloud y el de los agentes de IA para incorporarse a nuestro servicio gestionado de AgentOps para un cliente internacional líder en gran consumo. Formarás parte del equipo que monitoriza, opera y evoluciona en producción una flota creciente de agentes de IA empresariales (Azure AI Foundry y Copilot Studio), asegurando que funcionan bien, de forma segura, dentro de los niveles de servicio acordados y mejorando con el tiempo.

Tu día a día incluirá:

  • Observabilidad de agentes: diseñar, desplegar y evolucionar dashboards en Grafana y Azure Monitor para seguir la salud, latencia, disponibilidad, errores, consumo de tokens y coste de los agentes.
  • Monitorización proactiva y alertado: definir y seguir KPIs, SLAs y umbrales de alerta, y detectar de forma temprana degradaciones, anomalías y pérdida de calidad (drift).
  • Gestión de incidencias: triaje, análisis de logs y trazas, análisis de causa raíz (RCA) y resolución o escalado dentro de SLAs, entrando cuando haga falta en la configuración del propio agente.
  • Mejora y evolución de agentes: ajustar prompts, knowledge sources, conectores y acciones, validar los cambios con pruebas de no regresión y gestionar las actualizaciones de modelos.
  • Ciclo de vida y despliegues: apoyar el versionado, despliegue y rollback de agentes, y revisar que los nuevos agentes llegan a producción con la observabilidad y los runbooks necesarios.
  • Reporting y documentación: informes periódicos de salud del servicio, runbooks y playbooks de incidencias.

 

✅ Lo que necesitamos de ti:

Imprescindible tener al menos 2 años de experiencia en entornos Cloud y experiencia práctica en:

  • Observabilidad en Azure: Azure Monitor, Log Analytics y Application Insights, con consultas en KQL.
  • Grafana: creación y mantenimiento de dashboards, paneles, variables y alertas sobre fuentes como Azure Monitor, Log Analytics o Prometheus/PromQL.
  • Agent Observability: monitorización de agentes de IA mediante trazas, métricas y logs (OpenTelemetry o similar): latencia, tokens, coste, errores, calidad de respuesta y uso de herramientas.
  • Agentes de IA: entender cómo funcionan (LLMs, prompting, RAG, tool calling, orquestación) y haber trabajado con ellos en un entorno real, no solo a nivel teórico.
  • Operación de servicios en producción: gestión de incidencias, RCA y trabajo con SLAs y herramientas de ticketing.
  • Inglés fluido, oral y escrito (el servicio se presta para un cliente internacional).

Además, aunque no es imprescindible, es importante que tengas nociones de:

  • Copilot Studio: cómo se construye y configura un agente (topics, acciones, conectores y knowledge sources) y dónde consultar su analítica.
  • Azure AI Foundry / Azure OpenAI: cómo se despliegan modelos y agentes y qué servicios intervienen.
  • Python: lo suficiente para leer código, entender un agente o automatizar tareas sencillas.

 

🔍 Nos suma mucho si además:

  • Has desarrollado agentes pro-code con frameworks como Microsoft Agent Framework, Semantic Kernel, AutoGen o LangChain.
  • Conoces la evaluación de LLMs (métricas de calidad, groundedness, golden datasets, pruebas de no regresión).
  • Has usado Azure DevOps, Git y pipelines CI/CD para desplegar y versionar agentes.
  • Tienes experiencia con seguridad en IA: Azure AI Content Safety, guardrails, prompt injection o gestión de datos personales (PII).
  • Has trabajado con infraestructura como código (Terraform o Bicep) o servicios como Azure Functions, APIM o Key Vault.
  • Tienes formación técnica (Informática, Telecomunicaciones, Matemáticas, etc.).
  • Tienes certificaciones oficiales como AI-102, AZ-104, PL-200, AI-900 o similares.

 

🧠 ¿Qué valoramos?

  • Ganas de aportar, trabajar en equipo y crecer
  • Actitud consultiva y orientación al cliente
  • Mentalidad analítica y resolutiva ante incidencias en producción
  • Capacidad para moverte entre operación y desarrollo, entendiendo tanto la plataforma como el agente
  • Responsabilidad con tu trabajo y compromiso con el equipo
  • Curiosidad por la IA generativa y capacidad para mantenerte al día

 

🌟 ¿Por qué unirte a BIP?

  • Personas primero: valoramos tu talento y tu equilibrio personal.
  • Entorno ágil y flexible: trabajamos en remoto y con horarios que se adaptan a ti.
  • Formación continua: tendrás acceso a cursos top en tecnología e innovación.
  • Proyectos con impacto: trabajarás con empresas líderes en sectores clave y con tecnologías de IA de última generación.
  • Un equipo que suma: buen ambiente, colaboración real y cero postureo.

 

📩 ¿Y ahora qué?

Si te interesa, mándanos tu CV. Lo revisaremos con cariño y si encajas, te contactaremos.

Si ahora no es el momento, pero crees que encajarías en el futuro, también nos encantará tenerte en el radar.


 Bip Iberia, en compromiso y coherencia con la Ley Integral para la Igualdad de Trato y la No discriminación tiene abiertas todas las posiciones de búsqueda de perfiles a todas aquellas personas que estén debidamente cualificadas para cubrir la vacante, independientemente de su edad, discapacidad, género, orientación sexual o política, raza o creencia.
 BUSINESS INTEGRATION PARTNERS CONSULTING IBERIA, S.L., con NIF B84701903 y contacto Liliana.mendoza@bip-group.com tratará los datos recibidos al aplicar su candidatura en la oferta como Responsable del tratamiento, con la finalidad de gestionar el proceso de selección actualmente activo en base a la aplicación de medidas precontractuales del artículo 6.1. b) del GDPR, así como para futuros procesos de selección si su perfil fuera de interés, en base al consentimiento del artículo 6.1 a).
 BUSINESS INTEGRATION PARTNERS CONSULTING IBERIA, S.L. no comunicará sus datos a terceros salvo obligación legal. Así mismo, el periodo de conservación de su CV como máximo 1 año, en el que será destruido.
 Igualmente puede ejercer sus derechos de acceso, rectificación, supresión, oposición, limitación al tratamiento, portabilidad, y a no ser objet
o de decisiones individualizadas automatizadas o consultar información adicional sobre el tratamiento en el correo: dpo-bipspain@bip-group.com.

Automatically Apply to the Best Remote Jobs

Stop the endless job search. Our AI finds and applies to the best jobs for you.

Try it Now
Keep looking

Similar Jobs

See all Remote Software Development jobs →

IT Remote Project Engineer

Software Development

QA Engineer

Software Development

Senior Software Engineer (L3)

Full Time Canada 132K - 165K per year Software Development

Partner Development Manager, Azure Cloud & AI Infrastructure ISVs

Full Time Brazil Software Development

Business Architect for Security Usage Strategy

Full Time United States $106K - $222K per year Software Development

Part-Time Business Analyst

Part Time United States $28 per hour Software Development
Apply Now

Personalize your Remote Job Search in 3 Easy Steps!

Featuring 219,348+ Jobs in Software Development

Answer easy questions

Answer easy questions

219,348+ jobs across 15+ categories

Get your best job matches

Get your best job matches

Only hand-screened, legit jobs

Find a remote job faster

Find a remote job faster

No ads, scams, or junk

“I was the first applicant for a remote marketing position that got listed on the company website the same day I applied. Had an interview within 48 hours!”

Sarah J. — Sarah J. · Marketing Manager ★★★★★ Verified