El resultado del Brasil-Alemania no se lo esperaba ni siquiera la página estadística más prestigiosa del momento

El resultado de ayer no fue un sueño: Brasil fue goleado por una diferencia de seis goles, en un Mundial organizado por ellos.

Los brasileños lloraban a más no poder, gente que había apostado por este resultado imposible aumentó el tamaño de sus billeteras sobremanera de la noche a la mañana, y en Facebook nos llegaban comentarios como este:

Efectivamente, antes de que iniciara el Mundial publicamos las predicciones de Nate Silver, un monstruo de las estadísticas. ¿Su pronóstico? Brasil se coronaría campeón, seguido por Argentina, Alemania y España (en ese orden). ¿Por qué alguien que logró estimar con asombrosa precisión los resultados de las elecciones presidenciales de EE.UU. en 2008 y 2012 no pudo con el fútbol?

¿No era «CIENCIA»? Foto: The Week

Vayamos por partes. Como explicó Aniversario Perú, Nate Silver utiliza un algoritmo llamado SPI, que se basa en el teorema bayesiano.  Sin embargo, el mismo Silver explicó los problemas inherentes a su método:

• Por ejemplo, existe poca muestra estadística disponible para poder realizar predicciones

• Además, hay algo llamado efectos demoníacos: eventos totalmente inesperados que no son considerados (como que el árbitro Nishimura no cobre un penal o que expulsen a Luis Suárez por morder a un jugador). 

Aún así, el resultado de ayer fue totalmente inesperado. Tanto así que según el ranking Elo – un sistema de clasificación para las selecciones masculinas de fútbol – la derrota brasileña por 7 goles a 1 fue el marcador más inesperado en la historia de los mundiales: 

Conversamos con el sociólogo Arturo Maldonado, que cursa un Ph.D en politología en la Universidad de Vanderbilt, para que nos explique qué pasó en este caso.

La semana pasada le preguntamos a Maldonado por qué Silver había fallado tanto en la primera ronda. Él ya dudaba un poco de los pronósticos de Silver:

El mismo Silver menciona en su web cuáles son los potenciales problemas de su modelo. Menciona, por ejemplo, que su modelo se basa en los resultados anteriores jugados entre los equipos, pero que este tamaño de muestra no es suficiente para darle estabilidad al modelo. Otro problema que menciona es que muchos de estos encuentros anteriores han sido entre equipos de las mismas federaciones, es decir europeos versus europeos y sudamericanos versus sudamericanos, lo que resta poder predictivo a encuentros de equipos entre federaciones.

Como resultado de esto, me parece que sus predicciones son un poco inestables, además que no ha reportado una medida de error o de confianza. Es decir Brasil es el claro favorito con N%, pero con qué confianza o a qué margen de error.

(…)

[Además] no incluye uno [variable] que me parece fundamental: el tiempo jugado por los jugadores antes del mundial. El País mencionaba esta posibilidad para sugerir que los jugadores de España, Inglaterra o Italia (o el mismo Messi) venían demasiado desgastados y que eso afectaba el desempeño colectivo.

Luego del catastrófico resultado de ayer, volvimos a consultarle. ¿Qué fue con Nate Silver?

Asegura que la goleada fue un outlier; es decir, un resultado posible pero altamente improbable:

La pregunta es si es que ese resultado es un ‘black swan’, como dice el mismo Silver; es decir, del tipo de resultados que los modelos estadísticos están subestimando como probables.

Este mundial ya nos ha dado varios de estos resultados (el Holanda-España es otro claro ejemplo) y nos hace preguntarnos si Nassim Taleb tiene razón en su crítica a la estadística predictiva. Nos lleva a la pregunta: ¿Por qué no se puede predecir estos resultados en el fútbol? ¿Por qué no se puede predecir una crisis financiera? ¿Por qué no se puede predecir un golpe de estado?, etc.

Otro punto es el tema del error estadístico. La estadística bayesiana no es mi especialidad, pero entiendo que hay algo similar a los intervalos de confianza y márgenes de error. Es decir a que % estamos seguros de nuestros resultados (en la estadística frecuentista el valor convencional es 95% de intervalo de confianza y un 5% de margen de error).

Silver decía que Brasil tenía x% de ganar la copa; pero, ¿a qué intervalo de confianza? ¿con qué márgen de error? No es lo mismo decir que Brasil iba a ganar al 95%, que decir al 70% o con un error de 5% o con otro de 20%. Si sus modelos daban un intervalo de confianza y márgen de error razonables, entonces, el 7-1 es simplemente un resultado azaroso. Si sus modelos tienen una confianza menor o márgenes de error más grandes, entonces es muy arriesgado dar una predicción.

En pocas palabras, pasarán muchos años más antes de que se repita un resultado parecido. Ayer presenciamos historia.