Cómo hacer pruebas A/B sin millones de visitantes

Guía para ejecutar pruebas A/B efectivas con tráfico limitado usando métodos estadísticamente válidos.

1. Define el tamaño mínimo de muestra. Calcula cuántos visitantes necesitas antes de empezar. Para detectar un cambio del 20% en conversión con 80% de poder estadístico, necesitas mínimo 200 visitantes por variación. Si tu tasa base es 5% y quieres detectar un aumento a 6%, necesitarás 2,000+ por grupo.
2. Prueba cambios dramáticos, no incrementales. Con poco tráfico, solo puedes detectar diferencias grandes. Prueba cambios de 25%+ en lugar de ajustes menores. Compara titulares completamente diferentes, no variaciones de una palabra. Prueba precios con diferencias de $50+, no de $5.
3. Usa pruebas secuenciales en lugar de paralelas. Ejecuta una variación por mes completo en lugar de dividir tu tráfico. Compara enero vs febrero vs marzo. Controla por estacionalidad usando datos del año anterior. Este método funciona mejor con menos de 500 visitantes mensuales.
4. Mide métricas de conversión, no micro-interacciones. Enfócate en eventos de alto valor: ventas, registros pagos, solicitudes de cotización. Ignora clics, tiempo en página y otras métricas intermedias. Con poco tráfico, solo las conversiones finales te darán señal estadística clara.
5. Calcula significancia estadística correctamente. Usa una calculadora de significancia estadística antes de declarar un ganador. Necesitas mínimo 95% de confianza y que la prueba haya corrido el tiempo completo. No pares temprano aunque veas tendencias prometedoras.
6. Documenta y replica los resultados. Guarda todos los números: fechas, tráfico total, conversiones por variación, confianza estadística. Replica los ganadores en otras páginas similares. Si el resultado no se replica, probablemente fue ruido estadístico, no una mejora real.