Sí. Sabemos que quieres ofrecer una experiencia de usuario coherente a sus visitantes. Si ven una página o publicación diferente cada vez que acceden a tu sitio, se darán cuenta rápidamente de que son tus «conejillos de indias» y esto podría influir en su comportamiento.
Además, desde un punto de vista estadístico, la validez de los tests depende de mantener las dos «muestras» (es decir, los dos o más grupos de usuarios bajo test, cada uno con una versión diferente de la página o entrada) independiente.