Old radio with the camera focused on the on/off button

Recientemente hemos lanzado Nelio Session Recordings, un nuevo plugin para WordPress que te permite recopilar las sesiones de los visitantes de tu web, de forma que puedas reproducirlas a posteriori. De esta manera, puedes ver exactamente lo que hacen (y lo que no), como si estuvieras sentado junto a ellos cuando navegan por tu web.

Cada sesión te muestra los movimientos del ratón, los clics, los desplazamientos por tus páginas arriba y abajo, si el visitante rellena los campos de un formulario, etc. Es decir, todas las acciones que el visitante realiza con su ratón y teclado en tu web.

En cuanto al modelo de negocio, Nelio Session Recordings puede ser comprado como un plugin a parte o como un complemento para Nelio A/B Testing, nuestro plugin estrella para hacer tests A/B en WordPress. Así que hoy nos vamos a centrar en el complemento y, en concreto, cómo lo vendemos.

Lo que hemos hecho ha sido añadir un selector en la página de precios de Nelio A/B Testing donde el visitante puede seleccionar si quiere o no incluir el complemento de Nelio Session Recordings cuando compra Nelio A/B Testing.

Y ahí es cuando surge la pregunta: ¿este selector debe estar seleccionado por defecto, o no? ¿Queremos que los visitantes tengan que explícitamente seleccionar si quieren Nelio Session Recordings, o bien preferimos que tengan que desmarcar esta opción? Sin duda, este escenario es de lo más propicio para crear un test A/B que nos ayude a decidirnos por una de las dos soluciones disponibles.

Creación del test A/B

Tener la opción de comprar un complemento marcada por defecto puede (o no) conseguir que aumenten las ventas tanto del producto base como del propio complemento. Pero hemos de probar ambas opciones para saber si alguna de estas es mejor respecto a la otra.

Para crear el test A/B sólo tenemos que crear un test A/B de páginas yendo al menú Nelio A/B Testing del escritorio de nuestro WordPress. A continuación tendremos una vista como la que podemos ver en la siguiente captura, en la que definimos el test:

View of set-up for the A/B test where we test opt-in vs opt-out add-on selection.
Vista de la configuración para la prueba A/B donde probamos la selección o no del add-on por defecto.

Seleccionamos la página de precios que vamos a probar. En nuestro caso, por defecto, hemos decidido que la página de precios tenga el complemento sin seleccionar. Luego, creamos una variante de esta misma página de precios y la podemos ir a editar para modificar el comportamiento según nuestra hipótesis anterior; es decir, en la variante el complemento estará seleccionado por defecto.

Puedes ver las diferencias entre ambas versiones en la comparativa siguiente:

Original version (opt-in behavior).
Alternative version (opt-out behavior).
Original (no seleccionado) vs opción alternativa (seleccionado).

En cuanto a los objetivos a medir, definimos cinco:

  1. Clics en el botón de compra de cualquier plan.
  2. Clics en el botón de compra del plan básico.
  3. Clics en el botón de compra del plan profesional.
  4. Clics en el botón de compra del plan enterprise.
  5. Compras reales de cualquier plan.

Con todo esto, ya estamos listos para iniciar el test y ver los resultados. Recuerda que no tienes que hacer nada más por tu parte. La herramienta que uses para hacer tests A/B (en nuestro caso, Nelio A/B Testing) se encargará de dividir el tráfico que llega a tu página para que una mitad vea la versión original y la otra vea la variación con los cambios.

Nelio A/B Testing

Pruebas A/B nativas en WordPress

Usa tu editor de páginas favorito en WordPress para crear variaciones y lanza pruebas A/B con solo un par de clics. No se necesita saber nada de programación para que funcione.

Análisis de los resultados

Hemos tenido el test funcionando durante un mes y medio. Veamos los resultados de cada uno de los objetivos en detalle.

Primero de todo, si nos centramos en los clics que los visitantes hacen en los botones de compra de cualquier plan que aparece en la página de precios, vemos que la versión alternativa, que tiene el selector del complemento ya seleccionado, se ha comportado peor, consiguiendo un 5.6% menos de clics.

Results of the A/B test from the point of view of clicks on any plan.
Resultados del test A/B desde el punto de vista de los clics en cualquier plan.

No obstante, el nivel de confianza estadístico no alcanza ningún valor relevante, por lo que las diferencias entre ambas versiones no son estadísticamente significativas. No parece que ninguna sea realmente mejor que la otra. Tendremos que ver los resultados de los demás objetivos para tomar una decisión al respecto.

Si vemos el segundo objetivo, que sólo tiene en cuenta los clics al plan más barato, vemos que aquí pasa lo opuesto: tener marcado el selector del complemento consigue un 3% más de clics. No obstante, el resultado tampoco es significativo desde el punto de vista estadístico. No hay diferencias destacables entre ambas opciones.

Results of the A/B test from the point of view of clicks in the basic plan.
Resultados del test A/B desde el punto de vista de los clics en el plan básico.

Si nos fijamos en los resultados en cuanto a clics del plan intermedio, los resultados no son concluyentes ya que, aunque aquí la variación sí que es mayor, pero no tenemos suficientes datos para estar seguros de que esta diferencia no es debida a, simplemente, el azar.

Eso sí, parece que es un 33% peor tener el complemento marcado si queremos que los visitantes hagan clic en los botones del plan profesional.

Results of the A/B test from the point of view of clicks in the professional plan.
Resultados del test A/B desde el punto de vista de los clics en el plan profesional.

Y esto es algo que se repite en los clics al plan más caro de los tres. En este caso, los resultados tampoco son significativos, aunque conseguimos un 18% menos de clics a este plan si tenemos el complemento marcado por defecto. Pero, como hemos dicho, las diferencias en los datos son demasiado pequeñas para sacar ninguna conclusión fuerte.

Results of the A/B test from the point of view of clicks in the enterprise plan.
Resultados del test A/B desde el punto de vista de los clics en el plan enterprise.

Por último, si nos fijamos en las ventas finales que hemos tenido en esta página, podemos observar que parece que tener el complemento seleccionado ha conseguido un 6% más de ventas.

Pero si vamos a los números globales, vemos que esto representa sólo dos ventas más que la versión sin el complemento seleccionado. Por tanto, tal y como podemos ver en los resultados de la prueba, no hay una versión que funcione mejor que la otra desde el punto de vista estadístico.

Results of the A/B test from the sales point of view.
Resultados del test A/B desde el punto de vista comercial.

Llegados a este punto, no podemos sacar conclusiones fuertes sobre ninguna de las dos opciones. Aparentemente, para nuestra audiencia no es claramente mejor tener o no marcado el complemento por defecto. Esto nos indica que cualquiera de las dos opciones se comporta de manera parecida.

Con esta prueba A/B hemos determinado que el selector del complemento, que nosotros pensábamos que tendría bastante importancia en nuestra página de precios, realmente no es tan relevante para los visitantes.

Quizás pienses que hemos perdido el tiempo con ello, pero la verdad es que gracias a esta prueba hemos podido zanjar la discusión sobre si tendríamos que hacerlo de una forma o de otra, dado que no importa la forma en qué hacerlo.

Además, si no hubiéramos realizado la prueba no podríamos determinar esto, ni tampoco lo contrario. Y si alguna de las dos opciones hubiera sido mejor que la otra, lo habríamos detectado gracias a la prueba y no a opiniones personales.

Nosotros seguiremos analizando los datos de esta página en los próximos meses para comprobar que la tendencia se mantiene y para probar otros cambios y estudiarlos de forma oportuna. Y a ti, visitante, te recomendamos que si tienes una página web que administras, la pongas a prueba con un test A/B. Sólo así podrás encontrar su mejor versión o justificar con datos reales los cambios que vayas haciendo.

Imagen destacada de Gabriel en Unsplash.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

He leído y acepto la política de privacidad de Nelio Software

Tus datos personales se almacenarán en SiteGround y serán usados por Nelio Software con el único objetivo de publicar tu comentario aquí. Con el envío de este comentario, nos das el consentimiento expreso para ello. Escríbenos para acceder, rectificar, limitar o eliminar tus datos personales.