El acierto de un modelo: por qué un 80% puede no valer nada
TL;DR. El porcentaje de acierto es la cifra que todo el mundo pide y la más fácil de inflar: basta con pronosticar solo lo evidente. Un modelo que acierta el 80% de sus pronósticos puede ser peor que uno que acierta el 45%, y entender por qué es la diferencia entre leer una estadística y entenderla.
Aviso. Contenido informativo y estadístico. No es un consejo de apuesta ni una promesa de ganancia. Ninguna estadística predice un partido concreto: sirven para estimar probabilidades a largo plazo. Solo para mayores de 18 años. Juega con responsabilidad.
Por qué un acierto alto se consigue trivialmente
Pronostica solo los partidos en los que hay un favorito aplastante y acertarás la enorme mayoría. No has demostrado nada: has seleccionado los casos fáciles. Cualquiera con acceso a la clasificación habría hecho lo mismo.
Lo hemos comprobado en nuestros propios datos: nuestra sección de alta probabilidad tiene un acierto muy elevado, y eso es exactamente lo que se espera de ella. Un acierto alto en pronósticos de alta probabilidad no es un logro del modelo, es la definición de la categoría.
El acierto solo dice algo cuando se compara con lo que se esperaba acertar dado el tipo de partidos pronosticados. Un 80% sobre partidos con favorito claro es normal; un 55% sobre partidos igualados sería notable.
Acierto no es rentabilidad
Son dos cosas independientes, y esta es la confusión más cara del sector. Se puede acertar mucho y no ganar nada, o acertar poco y ganar, porque lo que importa no es cuántas veces aciertas sino si la probabilidad que estimaste era mejor que la que reflejaba el precio.
En nuestros propios datos hay categorías con un acierto muy alto y un rendimiento a largo plazo prácticamente plano. No es un defecto del modelo: es lo que ocurre cuando el mercado ya tenía bien estimado ese mismo partido.
| Métrica | Qué mide | Cuándo engaña |
|---|---|---|
| % de acierto | Cuántas veces se acierta | Siempre que no se diga sobre qué tipo de partidos |
| Calibración | Si un 70% ocurre el 70% de las veces | Rara vez: es la métrica honesta de un modelo probabilístico |
| Muestra | Cuántos pronósticos hay detrás | Cualquier cifra sobre menos de un centenar de casos |
La métrica honesta es la calibración
Un modelo probabilístico está bien calibrado si, de todos los partidos a los que dio un 70%, ganan aproximadamente el 70%. Eso es lo que hace útil a un modelo: no que acierte mucho, sino que sus números signifiquen lo que dicen.
Un modelo calibrado que dice 55% y acierta el 55% de esas veces es más útil que uno que dice 90% y acierta el 70%, aunque el segundo tenga mejor porcentaje de acierto bruto. El primero te da una probabilidad en la que puedes confiar; el segundo te da una cifra decorativa.
Cómo lo publicamos nosotros
En cada página de equipo mostramos el acierto del modelo sobre ese equipo, pero solo cuando hay al menos cinco partidos juzgados. Con tres partidos, un «67%» es ruido presentado como dato, y preferimos no enseñar nada antes que enseñar una cifra que no significa nada.
Y decimos siempre lo que es: el porcentaje es el acierto del pronóstico, no una rentabilidad. Puedes ver el rendimiento agregado en la página de rendimiento y el detalle por equipo en las páginas de equipo.
Preguntas frecuentes
¿Un modelo con 80% de acierto es bueno?
No se sabe sin conocer sobre qué partidos. Pronosticando solo encuentros con favorito aplastante se alcanza ese porcentaje trivialmente. El acierto solo dice algo comparado con lo que se esperaba acertar dado el tipo de partidos elegidos.
¿Acertar mucho significa ganar dinero?
No. Son cosas independientes: lo que importa no es cuántas veces aciertas sino si tu probabilidad estimada era mejor que la del precio. Hay categorías con acierto muy alto y rendimiento prácticamente plano.
¿Qué métrica mide de verdad la calidad de un modelo?
La calibración: que de los partidos a los que dio un 70% gane aproximadamente el 70%. Un modelo calibrado que dice 55% y acierta el 55% es más útil que uno que dice 90% y acierta el 70%.