Las pruebas A/B son una herramienta muy potente porque te permiten tomar decisiones basadas en datos y optimizar tu sitio web para aumentar las conversiones o lograr otros objetivos de negocio. Al probar diferentes variaciones de tus páginas web, puedes saber qué funciona mejor para tu público y realizar cambios que mejoren el rendimiento de tu sitio web.
Por ejemplo, tienes un sitio web y no estás seguro de si el color del botón «Empieza ahora» debe ser naranja, verde o rojo. Puedes crear tres versiones de tu página web, una con un botón naranja, otra con un botón verde y la otra con un botón rojo, y luego mostrar cada versión a un grupo aleatorio de visitantes.
Al rastrear el comportamiento de los visitantes para ver cuántas personas hicieron clic en el botón o realizaron una compra, puedes ver qué versión de la página web ha funcionado mejor.
El gráfico anterior muestra que la variante B logra una mejora de conversión sobre la versión original de casi un 135%, y la variante C logra una mejora de conversión de más del 60%.
Es tentador simplemente declarar la versión con la tasa de conversión más alta como ganadora en una prueba A/B y convertirla en la versión final de tu sitio web, ¿verdad? Pero no te precipites. Es importante tener en cuenta la significación estadística antes de tomar cualquier decisión.
Significación estadística
La significación estadística se refiere a la probabilidad de que un resultado no se deba al azar. En las pruebas A/B, significa que la diferencia en las tasas de conversión entre las dos versiones de la página web no es casualidad o coincidencia.
En estadística, esta «probabilidad» se calcula mediante el valor p y se mide entre 0 y 1. El valor p nos indica la fuerza de la evidencia contra una hipótesis nula (es decir, si los datos que recopilamos se produjeron solo por casualidad o no). Existen varias pruebas para calcular el valor p, incluidas la prueba T de Student, la prueba de X2 al cuadrado, la prueba G, ANOVA y el análisis de regresión, entre otras.
En las pruebas A/B, la hipótesis nula es que no hay diferencia entre las variantes y la versión original. En nuestro ejemplo, después de recopilar las visitas a la página y los clics para colorear los botones de las diferentes variantes, calculamos el valor p.
Si el valor de p es bajo (por ejemplo, el umbral comúnmente utilizado de 0,05), esto sugiere que es poco probable que los resultados observados hayan ocurrido por casualidad. Puedes rechazar la hipótesis nula (es decir, no hay diferencia entre la página original y las variantes creadas) a favor de la hipótesis alternativa (es decir, los diferentes colores de los botones tienen efectivamente un impacto en la conversión).
En general, el valor p es una forma de ayudarte a decidir si los resultados de tus pruebas son estadísticamente significativos y si puedes extraer conclusiones fiables de tus datos. Así que, en cualquier prueba A/B que realices en tu sitio web, nunca tomes una decisión final sin verificar primero que tus datos sean estadísticamente significativos.
Los resultados que obtienes con Nelio A/B Testing siempre muestran el nivel de confianza de los resultados observados. Si la confianza que se muestra es superior al 95% (es decir, un valor p inferior a 0,05), puedes estar razonablemente seguro de que la diferencia entre la versión original y sus variantes es significativa, y no sólo el resultado de una variación aleatoria. Sin embargo, si la diferencia no es estadísticamente significativa, no podemos estar seguros de que la variación ganadora sea realmente mejor, por lo que o bien ignoras el resultado de la prueba o lo coges con pinzas.
Otros errores comunes
Además de la importancia estadística, hay varios errores comunes que debes tener en cuenta antes de sacar conclusiones precipitadas al realizar pruebas A/B.
Nelio A/B Testing
Me sorprendió mucho la calidad del plugin, lo fácil que fue configurarlo y el increíble soporte que me dio Nelio. Recomiendo encarecidamente usar Nelio A/B Testing.
Josette Millar
Falta una hipótesis clara
Volvamos a nuestro sencillo ejemplo. Para aumentar las ventas, podríamos decidir realizar una prueba A/B para ver si cambiar el color del botón «Empieza ahora» en nuestro sitio web «tendrá algún efecto». Esta no es una hipótesis clara.
Antes de iniciar una prueba, debes tener una hipótesis clara. Es decir, necesitas saber qué motiva el cambio y qué esperas que suceda cuando realices este cambio. Por ejemplo, nuestra hipótesis podría ser algo así: «Dado que el verde está asociado con Seguir o Pasar y el rojo está asociado con Prestar atención, cambiar el color del botón Empieza ahora de naranja a verde o rojo dará como resultado un aumento del 20% en el número de clics y un aumento del 10% en las ventas.»
Al tener una hipótesis clara como esta, sabes exactamente lo que estás tratando de lograr y qué métricas necesitas medir para determinar si la prueba tiene éxito o no. Además, también te ayuda a centrar tu prueba en los cambios más importantes. Por ejemplo, en lugar de cambiar el color del botón, también puedes decidir cambiar el tamaño de la fuente, agregar una nueva imagen o ajustar el precio.
Una hipótesis clara es como tener una hoja de ruta para tu prueba A/B. Te ayuda a mantenerte centrado, medir las métricas correctas y tomar decisiones informadas en función de los resultados.
Probar demasiadas variaciones
Probar demasiadas variaciones en una prueba A/B es como tratar de hacer malabarismos con demasiadas pelotas a la vez. Puede dificultar las cosas y aumentar las posibilidades de que se caiga alguna.
Cuando pruebas demasiadas variaciones, puedes terminar con resultados que parecen significativos pero que en realidad se deben al azar. Es decir, aumenta la probabilidad de lo que se llama «falsos positivos».
Probar demasiadas variaciones también puede dispersar demasiado tus recursos, dificultando la detección de diferencias significativas entre ellas. Con tantas variaciones, estás dividiendo tu tráfico entre ellas, reduciendo el poder estadístico de tu prueba. Esto significa que incluso si hay una diferencia significativa entre tus variaciones, puede ser más difícil de detectar.
También aumenta el tiempo, los recursos y la complejidad. Analizar los distintos resultados puede requerir mucho tiempo y recursos, y es más difícil interpretar los resultados y extraer conclusiones significativas.
Prueba durante un tiempo demasiado corto
Hemos dicho que la importancia estadística de una prueba A/B depende de la cantidad de datos recopilados y la diferencia de rendimiento entre las variaciones. Puedes pensar que una vez que tus pruebas se han ejecutado durante el tiempo suficiente para obtener resultados estadísticamente significativos, es suficiente para tener conclusiones fiables… Bueno, pues no tan rápido.
Hay otros factores relacionados con el tiempo a tener en cuenta en tu sitio web. ¿Tienes variaciones estacionales o cíclicas en el comportamiento de tus usuarios? Por ejemplo, si ejecutas una prueba durante un breve período durante una temporada de vacaciones, podrías observar cambios en el comportamiento del usuario que en realidad no están relacionados con el cambio que estás probando. Al ejecutar pruebas durante períodos más largos, puedes capturar más datos y obtener una imagen más precisa de cómo los cambios afectan al comportamiento del usuario a lo largo del tiempo.
Ejecutar pruebas A/B durante períodos más largos también puede ayudarte a detectar variaciones estacionales o cíclicas en el comportamiento del usuario. Por ejemplo, el comportamiento de los usuarios puede diferir durante la temporada navideña: es más probable que realicen compras o que estén más interesados en ciertos tipos de productos o contenido. Por lo tanto, si ejecutas una prueba durante un período breve durante una temporada de vacaciones, es posible que observes cambios en el comportamiento del usuario que en realidad no están relacionados con el cambio que estás probando (a menos que solo quieras probar la temporada de vacaciones).
En otras palabras, al crear pruebas A/B también es importante tener en cuenta el tiempo desde el punto de vista de capturar la temporalidad de tus productos o el comportamiento del usuario para obtener resultados precisos y fiables.
Conclusión
No debes realizar pruebas A/B al azar. En lugar de eso, primero debes tener una idea clara de qué es lo que quieres mejorar, plantear la hipótesis sobre qué cambios podrían conducir a esa mejora, ejecutar la prueba y esperar hasta obtener datos que sean representativos de tus usuarios y tu negocio y, sobre todo, no precipitarte a aplicar los cambios si los resultados no son estadísticamente significativos.
Con Nelio A/B Testing, sabes en todo momento el nivel de confianza de los resultados obtenidos y, no solo eso, una vez que has encontrado una versión ganadora, solo necesitas hacer clic en el botón de aplicar de dicha variante para aplicar los cambios como definitivos.
Imagen destacada de Markus Winkler en Unsplash.
Deja una respuesta