Roblox ha lanzado Early Harm Detection (EHD) para sus experimentos. La función ofrece una primera lectura de las métricas clave para detectar una regresión grave y detener el experimento antes de que afecte a un día completo de jugadores.
Métricas tempranas y avisos por daño crítico
Durante las primeras 24 horas de un experimento, se pueden ver resultados casi en tiempo real de tiempo de juego (Playtime), tasa de conversión de pagadores y ARPU, actualizados cada 5 minutos. Los umbrales de daño temprano también se comprueban cada 5 minutos.
Si se detecta daño crítico durante el periodo de análisis temprano, reciben una notificación tanto el propietario del juego como el del experimento. También existe la opción de enviar esos avisos a herramientas propias mediante un webhook.
La diferencia con los resultados anteriores
Hasta ahora, los resultados de un experimento nuevo tardaban unas 24 horas en aparecer. Durante esa espera, no había forma de saber si una variante estaba perjudicando al juego.
Ese vistazo temprano tiene un límite claro: los resultados de las primeras 24 horas solo sirven para detectar daño, no como base para un lanzamiento. Los efectos iniciales de novedad pueden hacer que los resultados oscilen, y EHD está pensado únicamente como apoyo para decidir si detener un experimento antes de tiempo.
