Los pasados 15-16 de Noviembre el equipo de Kraz asistió al 2-Day-Bootcamp sobre MMM (Marketing Mix Modeling) que el equipo de Marketing Data Science de EMEA de Meta impartió presencialmente en sus oficinas de Londres.
Aprovechamos la ocasión para reunirnos con distintos responsables del equipo de Marketing Science, compartiendo visiones de negocio y planes de futuro.
También aprovechamos las sesiones para discutir con los Ingenieros responsables del algoritmo original nuestros distintos proyectos (siempre de forma anonimizada) hablando sobre cómo hemos trabajado los casos de uso y de negocio.
El futuro es MMM
Nuestra conclusión de estos 2 días de reuniones, es que confirmamos que MMM va a ser una metodología clave en el futuro de la medición en marketing, ya que encaja perfectamente con muchas de las necesidades que los profesionales de Marketing verbalizan tener:
- Privacidad: la modelización de MMM no depende del tracking individual de usuario via cookies, sino que los modelos trabajan con los datos a nivel agregado por canal
- Incrementalidad: MMM es una metodología que puede incorporar experimentos de incrementalidad para calibrar los modelos
- Medición Cross-media: MMM mide bien los impactos cruzados entre diferentes medios
- Flexibilidad: MMM es una metodología que puede adaptarse a cualquier industria y anunciante
Evolución MMM
Los modelos MMM, que inicialmente eran patrimonio de grandes consultoras, están evolucionando en muchas distintas dimensiones.
He aquí algunas de ellas:
- Tiempos de implementación: se están acortando significativamente. Hoy en día, con una buena disponibilidad de data, los proyectos que antes tomaban meses están pasando a tomar unas pocas semanas
- Nivel de autonomía: MMM está pasando de un proceso totalmente manual a proyectos en los que cada vez hay más partes automatizadas
- Dinamismo: Estamos viendo una evolución desde una posición más estática de los proyectos, más secuencial o discreta, a una implementación continua, con feed continuo de dato y ejecuciones/updates recurrentes.
- Validaciones: Los modelos, antes principalmente validados estadísticamente, ahora hacen un paso más allá y se someten a experimentos de calibración con “fuego real”, con experimentos de uplift cuyos resultados pueden ser incluidos como restricción del modelo
- Democratización de MMM: lo que antes eran modelos propiedad de consultoras solo accesibles por ellas ahora se ha transformado a partir de la disponibilidad de proyectos MMM de open-source disponibles para toda la comunidad de usuarios
- Lo que antes eran modelos Black box ahora son más abiertos y transparentes -el hecho de trabajar con modelos open-source implica la disponibilidad de revisión completa del código de ejecución de los modelos
- Internalización: anteriormente, muy pocas organizaciones tenían modelo in-house de MMM -la mayoría de proyectos eran ejecutados por consultoras, lo que generaba un vínculo de negocio que en algunos casos podía crear una excesiva dependencia de la consultora por parte del cliente. Ahora, los modelos MMM de código abierto son transferibles desde la consultora al cliente final, y esta posibilidad de transferencia está facilitando el desarrollo de muchos de los proyectos al haber eliminado esta barrera de uso
Complementariedad de MMM con MTA
MMM sin duda tiene una vocación estratégica de comprensión y planificación a alto nivel. MTA, como medida tradicional de atribución (last-click, first click, etc) seguirá siendo un método de referencia para optimización de campañas a muy corto plazo y en situaciones de capilaridad adonde MMM no podrá llegar.
Aquí te dejamos este artículo del blog dónde comparamos ambas metodologías: MMM vs MTA.
Detalles del Bootcamp
Las sesiones del Bootcamp se orientaron a profundizar en todos los aspectos relacionados con proyectos MMM. Las principales sesiones fueron:
- Data Inputs – data collection, exploration and data review
- Parameter Configuration
- Modelling – run models, interpret results and iterate
- Client Robyn Experience
- Future of Robyn and Innovation
- Model Refinement
- Budget Allocator
- Robyn App
- Model Calibration & Refresh
Future of Robyn and Innovation
Fueron especialmente interesantes las sesiones alrededor del futuro de Robyn, la plataforma open-source de Meta para proyectos MMM.
Algunos inputs de hacia adónde va el desarrollo de esta plataforma:
- Meta API para mayor granularidad de datos.
Meta está desarrollando una API para acceso frecuente a fuentes de datos de campañas online y que puedan ser directamente exportadas a modelos MMM con los formatos definidos por estos tipo de modelos. Para aquellos usuarios menos avanzados o de uso menos frecuente, Meta ofrece el interfaz más sencillo y user-friendly de Ads Reporting para data feeds a proyectos MMM.
- Mejoras en calibración de los modelos.
Calibración del modelo corrigiendo los efectos temporales de los impactos publicitarios (efectos diferidos de campañas anteriores que aún impactan en ventas actuales, efectos de las campañas de calibración actuales que irán más allá del periodo de test -impacto no directamente capturado en el test)
- Modelización de efectos a largo plazo en brand equity.
Contribución de las campañas en medios al crecimiento de la baseline de la marca, la inercia de negocio.
- Sinergia y efectos de la interacción entre canales.
Detección de los efectos cruzados entre canales, en concreto de los incrementales debido al refuerzo entre canales de push.
- Coeficientes temporales.
Variación de coeficientes en el tiempo, añadiendo una dimensión adicional temporal a los coeficientes del modelo.
En resumen
Nuestras conclusiones:
- MMM se está consolidando como una metodología clave en la medición de la efectividad publicitaria. Incluso más allá del puro ámbito publicitario, MMM será muy útil para medir el impacto de las distintas palancas de marketing (distribución, precios, promociones, etc)
- Robyn, la solución MMM open-source de Meta, está rápidamente evolucionando con nuevas funcionalidades. Meta tiene muy claramente definido el roadmap de desarrollo de la solución a corto y medio plazo con avances planificados en temas como granularidad, conexiones a plataformas via API, detección de impacto long term en brand equipy, interacciones entre canales, etc.
- Un buen modelo MMM debe pasar por una fase de calibración con experimentos con fuego real (uplift experiments), que permitan validar las distintas asunciones iniciales y aporten robustez. Modelo no calibrado = modelo cuestionado.
- MMM es un «journey»: no hay soluciones mágicas: hay un trabajo progresivo, un aprendizaje constante, un trabajo en equipo en el que cada pieza hace su función. Se progresa por iteración, con dialéctica y ciencia.
Sin duda ha sido una gran oportunidad y privilegio para nosotros haber asistido de la mano de Meta a este evento, esperamos poder seguir siendo referentes de este tipo de modelado de datos en un futuro para seguir asistiendo a esta clase de eventos como Agencia Cosultora de Data Avanzada.