7 errores de Test A/B que deberías evitar

Publicada en Comunidad.

Mira nuestro vídeo

Existe una versión mejor de tu web

Comparte este artículo

Los Tests A/B son la mejor herramienta para mejorar la conversión (que tus visitantes compren, se suscriban a tu boletín de noticias o realicen cualquier otra acción que desees) de cualquier web. Tras crear dos o más versiones de cualquier página o entrada de tu web, puedes saber con datos y no suposiciones, cuál funciona mejor.

Funcionamiento del Test A/B
Funcionamiento del Test A/B

Pero aunque la teoría esté muy bien, ¡ojo! con la práctica. Y es que, antes de empezar a hacer tests A/B de tus páginas como un loco, asegúrate de no cometer errores que podrían llevarte a resultados ilusorios de los mismos. Eso puede resultar en una pérdida de dinero y tiempo que a toda costa deberías evitar.

Veamos qué errores debes evitar al crear tests A/B…

#1 Comparar distintos periodos de tiempo

Puede ser tentador el analizar con detalle el comportamiento y la conversión de tus visitantes en cualquiera de tus páginas por un periodo de tiempo. Luego, realizar cambios en la web, y volver a analizar el detalle del comportamiento en tu web.

En este contexto, parece bastante fácil llegar a la conclusión de que si has obtenido mejores resultados durante el primer o segundo periodo de tiempo es debido a que la versión probada durante ese periodo es mejor que la otra.

Pues, siento decirte que no es una buena idea. Para empezar, la cantidad y calidad del tráfico que llega a tu web puede variar entre días y semanas. Una misma página puede un día o semana convertir un 15% y al día o semana siguiente un 12%.

Este cambio puede ser debido a factores totalmente ajenos a tu web (clima económico, el estado de ánimo de tus visitantes, etc.). Por ejemplo, gracias a un tuit que se convierte viral incrementas el tráfico en tu web. Pero el tipo de tráfico es de menos calidad y tras llegar a tu web, convierte menos. Otro ejemplo: lanzas un nuevo anuncio en Google con una oferta y el porcentaje de visitantes que llegan a tu web a través del anuncio y luego se convierte es muy alto.

Por lo tanto, la única forma de tener en cuenta todos estos factores es realizar un test A/B donde cada variación se muestre a un número proporcional de visitantes durante el mismo período. Mostrando aleatoriamente las dos (o más) versiones a los visitantes en la misma semana, hay una probabilidad mucho mayor de que los resultados sean estadísticamente relevantes.

Así que olvídate de hacer un test del antes y otro del después ya que no sabrás con seguridad cuán relevantes son los resultados para decidir qué versión es mejor.

#2 Finalizar el test antes de tiempo

Ahora que ya sabes que debes realizar tests A/B, acabas de instalarte Nelio A/B Testing y estás emocionado con el lanzamiento de tu primer test de páginas.

Empiezas a recolectar resultados y, rápidamente la variación empieza a tener más conversiones que la página original. ¿Para qué perder tiempo? ¿Por qué no hacer un cambio rápido y poner como definitiva la nueva variación? Así incrementaré más rápido las conversiones…

Volumen

Los tests A/B se basan en la estadística y un principio básico de la misma: el tamaño de la muestra importa, debe ser representativa. Es decir, nos debemos asegurar de que hemos obtenido suficientes resultados de nuestro test para que el test refleje la realidad de forma adecuada.

Si utilizas una herramienta especializada en realizar tests A/B, como Nelio A/B Testing, la propia herramienta te informará de si los resultados de tu test son significativos estadísticamente.

Resultados de un test en Nelio A/B Testing
Resultados de un test en Nelio A/B Testing

Entonces puedes pensar que, como tienes una web con una barbaridad de tráfico, rápidamente obtendrás resultados de lo que funciona mejor.

Duración

¡Ojo! Hay otro factor que debes tener en cuenta cuando creas tests A/B. No sólo es cuestión de volumen, también asegúrate de que tus tests duran lo suficiente como para cubrir un ciclo de tu negocio. Es decir, si por ejemplo, el tipo de tráfico que te llega es distinto entre semana y en fin de semana, asegúrate de que un test dura el periodo mínimo de tiempo para que todo tipo de tráfico esté representado.

Te recomiendo la calculadora de CXL para que explores un poco más la duración y tamaño que debería tener un test A/B para que sus resultados sean estadísticamente significativos.

Recuerda: tomar conclusiones antes de tiempo es lo mismo que tomar decisiones por intuición.

#3 Finalizar el test demasiado tarde

Ahora nos vamos al otro extremo: acabas de lanzar un test y vas obteniendo distintos resultados. Como sabes que no puedes llegar a conclusiones antes de tiempo, te cargas de paciencia… Ya has cubierto un tiempo prudencial representativo de tu ciclo de negocio… Van pasando los días y no parece que ninguna variación sea mejor que la otra…, o quizá sí…, hay una un poco mejor pero la información no es concluyente. Mejor esperar unos días más para ver qué ocurre…

Todo esto está muy bien. Ya hemos dicho que no te precipites, pero si llevas tres meses sin obtener resultados concluyentes, posiblemente estás perdiendo el tiempo. Y lo estás perdiendo por la sencilla razón de que estás perdiendo la oportunidad de realizar otros tipos de test que seguramente podrían darte información mucho más relevante sobre cómo optimizar la conversión.

#4 Confiar en los tests de otros

Podemos y debemos aprender de los demás pero mucho me temo que los datos estadísticos de otros no tienen por qué, necesariamente, aplicarse a tu web. Es decir, seguramente habrás leído algún artículo comentando que el color de botón de llamada a la acción que funciona mejor es el rojo.

La teoría está muy bien pero la realidad es que no decidas que ese resultado va a serte útil sin haberlo probado previamente en tu web. Los casos de estudio de otros no sirven para tomar decisiones sobre tu caso particular. Te serán útiles para tener nuevas ideas de qué cosas podrías probar.

#5 Cambiar un test en ejecución

Quizá uno de los peores errores que puedes hacer tras lanzar un test A/B en tu web es pararlo, realizar ciertos cambios y reanudarlo. Cómo mucho, arregla un pequeño error ortográfico que detectes pero no crees nuevas variaciones ni cambies las que ya se están ejecutando. Estos cambios pueden invalidar totalmente los resultados obtenidos.

Si te encuentras en una situación en que te gustaría realizar cambios en un test A/B en ejecución. Páralo totalmente y lanza un nuevo test. Los dos test por separado te darán unos resultados válidos. Y si quieres, intenta interpretar los resultados de los dos de forma conjunta pero ten claro que no podrás obtener resultados fiables si vas realizando cambios a cualquier test A/B en ejecución.

#6 Ejecutar muchos tests simultáneamente

No te compliques la vida con los tests A/B. Como dicen los ingleses: Keep it Simple! Si intentas analizar simultáneamente demasiados cambios a la vez, te va a ser especialmente complicado interpretar los resultados de cada test. Puedes crear dos o más variaciones de una página que muestren versiones de la misma radicalmente distintas. No hay ningún problema en que hagas esto y, de hecho, está estudiado que grandes cambios pueden tener un mayor impacto en la conversión.

Sin embargo, no intentes realizar muchos test simultáneamente. Por cada nuevo test que crees, se va a crear una nueva división del tráfico a las distintas posibles combinaciones de variaciones conjuntamente con las previamente creadas. Y precisamente, cuantas más variaciones acabes teniendo, más se va a ir dividendo tu tráfico y más te va a costar obtener resultados estadísticamente significativos.

#7 No tener claro el objetivo de tu test

Y este debería ser el error más importante que deberías evitar.

El objetivo de un test A/B es optimizar la conversión. Bien. A partir de aquí, aplica sentido común. Todas las páginas y entradas tienen un propósito en tu web: informar sobre los productos y servicios que ofreces, darte a conocer, explicar detalles sobre cómo funciona el producto o el servicio, garantizar que cumples con la ley de protección de datos, etc. Aunque todas ellas son importantes, algunas de ellas son mucho más críticas en el funnel de conversión.

Por ejemplo, si tienes un e-commerce, las páginas más relevantes serán las que muestran todos los productos, las que muestran el detalle de un producto y, la página en la que se acaba realizando el pago de la compra. Así que, para empezar, no te enredes analizando otras páginas y céntrate en optimizar éstas.

Además, piensa bien cuales son los objetivos más importante en cada una de ellas:

  • Que el visitante compre ese producto.
  • Que el visitante añada ese producto a la lista de deseos o la cesta de la compra.
  • Que mire otros productos relacionados.
  • Que recomiende a terceros la compra de esos productos.
  • Que te contacte pidiendo más información.

Identifica bien tus objetivos y piensa qué mejoras pueden ayudar a conseguirlos. A partir de ahí, los tests que crees tendrán sentido y ayudarán a mejorar tu web.

Imagen destacada de Sarah Kilian en Unsplash.

Deja una respuesta

No publicaremos tu correo electrónico. Los campos obligatorios están marcados con: •

He leído y acepto la Política de privacidad de Nelio Software

Al marcar la casilla de aceptación estás dando tu legítimo consentimiento para que tu información personal se almacene en SiteGround y sea usada por Nelio Software con el propósito único de publicar aquí este comentario. Contáctanos para corregir, limitar, eliminar o acceder a tu información.