Significancia vs. probabilidad en el testing de anuncios

La significancia estadística responde a una pregunta más limitada de lo que cree la mayoría de los compradores de medios. Un p-valor te dice lo sorprendentes que resultarían tus resultados si los dos anuncios rindieran, en realidad, exactamente igual. No te dice la probabilidad de que el anuncio B gane al A, y no dice nada sobre cuánto mejor podría ser B ni cuánto te cuesta equivocarte. Esas son las tres cosas que un anunciante necesita de verdad, y ninguna sale de un test de significancia.

Lo que realmente dice un p-valor

Ejecuta un test A/B y obtén un p-valor de 0,03. La lectura honesta es: si A y B convierten realmente a la misma tasa, una diferencia así de grande o mayor aparecería alrededor del 3% de las veces por puro azar. Es una afirmación sobre los datos asumiendo que no existe diferencia. No es una afirmación sobre cuán probable es que exista una diferencia, y no es el “5% de probabilidad de que sea casualidad” que se repite en la mayoría de las explicaciones de marketing.

Esta distinción importa por cómo se usa. Un comprador que trata un p < 0,05 como “está probado que B es mejor” actuará con más confianza de la que respalda el número, sobre todo con muestras pequeñas, donde una ventaja real del 3% y una del 30% pueden producir p-valores parecidos. Consulta significancia estadística en anuncios para ver la mecánica de calcularlo correctamente, incluidas las trampas de mirar los resultados demasiado pronto y parar un test en el instante en que cruza el umbral.

La pregunta que sí responde un enfoque bayesiano

Un enfoque bayesiano parte de tu creencia previa sobre el rango probable de resultados, la actualiza con los datos que has recogido y arroja algo más cercano a lo que quieres: la probabilidad de que B gane a A, dado todo lo observado, además de una distribución de cuánto mejor podría ser. Esa última parte importa más de lo que los anunciantes suelen reconocer. Un 60% de probabilidad de una mejora del 2% es una decisión distinta a un 60% de probabilidad de una mejora del 40%, y un test de significancia frecuentista colapsa esa distinción en un simple aprobado o suspenso.

Ningún marco está libre de supuestos. Los resultados bayesianos dependen de la creencia previa que elijas, y una mala elección puede sesgar la respuesta tanto como una muestra pequeña sesga un p-valor. El argumento honesto a favor del enfoque bayesiano en publicidad no es que sea más riguroso. Es que responde a la pregunta que realmente te estás haciendo, que es “qué hago mañana con mi presupuesto”, no “sería sorprendente esta diferencia bajo una hipótesis nula”.

El problema de tamaño de muestra que nadie presupuesta

Detectar una mejora real pero modesta exige más datos de los que la mayoría de los conjuntos de anuncios acumulan jamás. Como ilustración aproximada: para detectar de forma fiable una mejora relativa del 10% sobre una tasa de conversión base del 2% (llevándola al 2,2%) con niveles de confianza convencionales (95% de confianza, 80% de potencia), un cálculo estándar de tamaño muestral para dos proporciones te sitúa en un rango de 70.000 a 90.000 visitantes por variante, lo que se traduce en unas 1.500 a 1.800 conversiones por lado. La mayoría de los conjuntos de anuncios, incluso los que gastan varios miles de euros a la semana, no llegan a ese umbral antes de que la fatiga creativa o la estacionalidad cambien de todos modos la tasa subyacente.

Esto no es motivo para ignorar las matemáticas. Es motivo para dejar de esperar significancia de manual en los tests de anuncios y construir un proceso de decisión que funcione honestamente con los tamaños de muestra que realmente vas a tener.

Una regla de decisión que no exige significancia de manual

Dado que la mayoría de los tests nunca alcanzan significancia formal, trata la decisión como un problema de valor esperado en vez de un filtro de aprobado o suspenso. Un umbral que funciona: si una variante muestra al menos un 70% de probabilidad de ser la ganadora real (frecuentista o bayesiana, cualquiera de las dos puede aproximarlo) tras acumular al menos 100 conversiones por lado, y la mejora observada es lo bastante grande como para importar al margen de la cuenta, actúa. Por debajo de 100 conversiones por lado, trata cualquier ventaja como orientativa como mucho, y no descartes de plano la variante rezagada. Por encima del 70% de probabilidad con una mejora insignificante, la decisión no importa lo suficiente para tomarla en ningún sentido, así que guarda el presupuesto para un test más grande.

El umbral no es mágico. Es una línea explícita que frena los dos modos de fallo que de verdad cuestan dinero: esperar eternamente un resultado “significativo” que nunca llegará a los volúmenes habituales de un conjunto de anuncios, y declarar un ganador con diez conversiones porque el gráfico se movió.

Dónde no aplica esto

Nada de esto aplica a decisiones críticas para el cumplimiento normativo o la seguridad, donde un falso positivo sale caro con independencia del gasto publicitario, ni aplica a tests que corren sobre audiencias o ubicaciones radicalmente distintas, donde los dos brazos no son realmente comparables. En esos casos, usa todo el rigor de un test A/B propiamente dicho, con reglas de parada preestablecidas, no un umbral de probabilidad tomado de un blog de marketing.

Cómo ayuda YieldBI

YieldBI no ejecuta su propia calculadora de significancia. Lo que hace es mostrar qué conjuntos de anuncios han acumulado suficientes conversiones como para tomar una decisión con la que se pueda confiar, y marca los que están en la tierra de nadie de poco volumen y señal débil, para que el comprador no se quede mirando un dashboard intentando adivinar si diez días de datos significan algo.

La verdad incómoda es que la mayoría de los momentos de “los datos no son concluyentes” en las cuentas publicitarias no lo son en realidad. Son decisiones que el comprador no quiere tomar sin más certeza de la que el canal puede ofrecer. Esperar a esa certeza es en sí misma una decisión, y suele ser la más cara.