Métricas aplicadas en modelos de propensión

Introducción

Hoy en día, vivimos en un mundo en el que las decisiones precisas pueden ayudar a las empresas a aumentar exponencialmente sus ventas o a realizar campañas de marketing más específicas. Por ejemplo, una empresa quiere rescatar a clientes que ya no compran o que están a punto de dejar de hacerlo, o empresas que necesitan saber con qué clientes deben ponerse en contacto para cerrar una venta. En estos casos, es importante saber qué clientes tienen más probabilidades de responder positivamente a los esfuerzos de la empresa.

Un modelo de propensión es una herramienta que puede proporcionar información valiosa sobre el comportamiento más interesante de las personas. Este modelo identifica la probabilidad de que alguien realice una determinada acción. A continuación se muestran algunos ejemplos en los que se utilizan los modelos de propensión:

Predicción de bajas: un modelado preciso permite detectar indicios de bajas y tomar medidas para prevenirlas antes de que se produzcan.
Personalización de ofertas y productos: Las empresas pueden aumentar las ventas y mejorar la fidelidad ofreciendo los productos y servicios más relevantes para un cliente concreto.
Calcular la probabilidad de que un cliente compre un producto: Las empresas suelen utilizar estos modelos para ver quién tiene más probabilidades de comprar un producto.
Determinar quién recomendará la marca o el producto: Al conocer el Net Promoter Score (NPS) de algunos de sus clientes, las empresas pueden predecir la probabilidad de que nuevos u otros clientes sean promotores de su marca. Esto mejora el servicio y la recuperación, reduce el volumen de encuestas y los costes asociados, y ayuda a las empresas a priorizar sus iniciativas de experiencia del cliente.

Poco a poco, dentro del mundo del Data Science, los modelos de propensión se han ido posicionando como una herramienta importante dentro de las empresas. Para construir estos modelos es imprescindible disponer de datos: histórico de suscripciones de clientes, histórico de clientes que han dejado de usar un producto/todavía lo usan, histórico de clientes que han aceptado determinadas ofertas. Por otro lado, se necesitan algoritmos de Machine Learning que puedan automatizar la búsqueda de patrones dentro de esos datos, que ayuden a aumentar el poder predictivo y así obtener buenos resultados. Existen varios algoritmos para crear un modelo de propensión, como LightGBM, Catboost, entre otros.

Nos centraremos en mostrar el caso de uso en el contexto de compradores y compradores de coches, y las métricas comúnmente utilizadas en ciencia de datos para visualizar y comparar modelos de propensión.

Contexto

Antes de la utilización de los modelos de propensión, la estrategia de contacto con los clientes observada se basaba en los conocimientos comerciales y el saber hacer de los comerciales, apoyados por un sistema de acceso a la información histórica de los clientes. En otras palabras, la decisión de con qué perfiles contactar se basaba únicamente en los conocimientos de los ejecutivos de marketing y ventas. Pensando en optimizar el número de ventas realizadas, ¿cómo evaluar rápidamente con quién se debe contactar primero? ¿Estaría ignorando a los compradores potenciales con mayor probabilidad de venta? ¿Qué pasaría si llega un perfil de cliente que nunca han visto antes? Es posible ver que a priori no hay información segura sobre cómo se comportarán los clientes, y no sabemos con certeza quién hará la venta y quién no. Hoy en día, la cantidad de datos que entran en las empresas llega a ser inabarcable para el vendedor. Se pasa de 10-20 clientes a miles. Por eso es importante automatizar y proporcionar al vendedor una lista limitada de clientes con los que ponerse en contacto.

Si tomamos un grupo de compradores de coches de la lista que aparece en la Tabla 1, no sabemos cómo se comportarán ni quién tendrá más posibilidades de realizar una compra que el resto. Llegados a este punto, un ejecutivo de ventas podría decidir, basándose en su experiencia y sus conocimientos, que los compradores gitanos que buscan coches negros son los que tienen más posibilidades de realizar una compra en comparación con otros perfiles y, por tanto, dará prioridad a ponerse en contacto con ellos.

Tabla 1: Lista de clientes interesados en comprar coches. La tabla muestra un número limitado de variables que describen a los clientes. Cuantas más variables, mejor será el modelo.

La solución a este problema la proporciona el modelo de propensión. Suponiendo que la empresa disponga de datos históricos sobre qué clientes compraron determinados vehículos, el modelo proporcionará la probabilidad de que otros clientes

Tabla 2: Lista de clientes ordenados por el porcentaje de propensión a comprar que arroja el modelo de propensión. Es importante señalar que el porcentaje de propensión se obtiene a partir del historial de los clientes que ya han comprado un coche.

Para obtener un modelo mejor, (dado que ya tenemos un conjunto de datos preprocesados) es necesario hacer varias pruebas entre modelos y optimización de los mismos (Modelos: diferentes parámetros, diferentes conjuntos de datos, diferentes columnas, etc). Para esta optimización necesitamos definir algunas métricas que nos indiquen lo bien que el modelo hace las predicciones, las cuales se describen a continuación.

Curva ROC

Una vez entrenado y probado el modelo, se analiza su capacidad predictiva evaluando las curvas características, basándose en las principales métricas utilizadas en los modelos de clasificación binaria, como la tasa de verdaderos positivos (TPR o también llamada recall), la tasa de falsos positivos (FPR) y la precisión. La utilidad de estas métricas de rendimiento reside en su capacidad para comparar diferentes modelos y su rendimiento. A continuación se presentan sus fórmulas de cálculo:

Donde:

TP = Verdadero Positivo = Número de casos positivos identificados correctamente.
FP = Falso Positivo = Número de casos positivos identificados incorrectamente
TN = Verdadero Negativo = Número de casos negativos identificados correctamente
FN = Falso negativo = Número de casos negativos identificados incorrectamente.

Por casos positivos se entienden los casos del conjunto de validación que corresponden a un suceso que sí ocurrió. Por ejemplo, en el caso de clientes propensos a fugarse, los casos positivos son aquellos en los que la fuga sí se produjo. En el caso de las personas que han recibido una oferta, los casos positivos son aquellos en los que la compra sí se produce después de la oferta.

Dado el contexto de la propensión a la compra, consideraremos que un modelo es óptimo si reducimos las oportunidades de venta perdidas. . Por lo tanto, es muy importante ajustar y optimizar el modelo buscando un buen recuerdo, minimizando la pérdida de oportunidades reales de venta.

Por otro lado, la curva Receiver Operating Characteristic (ROC) muestra los diferentes puntos operativos posibles que ofrece el modelo, reflejando el trade-off entre la tasa de falsos positivos (ofertas que no compran clasificadas como compra) y la tasa de verdaderos positivos (ofertas que compran correctamente identificadas). La Figura 4 muestra la comparación de las curvas ROC entre dos modelos, donde el primero presenta una mejora del 5% en su AUC (área bajo la curva) con respecto al segundo. Por regla general, cuanto más se acerque el área bajo la curva a 1, mejor será el poder predictivo del modelo.

Figura 1: La curva ROC del modelo 1 (en rojo) presenta un AUC = 0,847 y el modelo 2 (en azul) un AUC = 0,895.

Lift/Gain

Una cuestión clave en los modelos de propensión a la compra es cómo podemos cuantificar el valor de este modelo a la hora de identificar a los clientes con propensión a la compra. Para responder a esta pregunta, introducimos el concepto de curva de ganancia. Esta curva nos permite inferir rápidamente el beneficio de utilizar un modelo de propensión que identifique perfiles de comprador dentro del conjunto de clientes potenciales. En concreto, nos mostrará qué porcentaje del total de perfiles de comprador encontraremos en un porcentaje determinado de nuestra lista (Tabla 2).

Además, esta curva nos permite realizar una comparación entre modelos. Si tenemos dos modelos de propensión y queremos cuantificar el valor que nos aporta cada uno, podemos simplemente comparar sus curvas de Ganancia en el mismo gráfico.

Las curvas Lift y Gain son muy utilizadas en los modelos de propensión porque nos permiten responder a las siguientes preguntas:

¿Cuál es la eficacia del modelo de propensión frente al azar (sin utilizar un modelo)?
¿Con qué porcentaje de cotizantes debo contactar para obtener un determinado % de compras totales?
¿Qué esfuerzo en contactos debo realizar para encontrar al 80% de los contribuyentes que tienen una intención real de compra?

Cabe mencionar que la interpretación de las curvas Lift y Gain tiene la ventaja de dejar de lado la visión de «clasificación binaria» del modelo, es decir, en lugar de tener una lista de clientes con un resultado de «Sí compro» o «No compro», tendrá una probabilidad de 0 a 100% de que el cliente compre.

La curva Lift muestra hasta qué punto el modelo es mejor que el aleatorio. En la Figura 5 puede verse que la curva del modelo (en naranja) es siempre superior a la curva de referencia, lo que indica que el modelo es preferible a «lanzar una moneda al aire» para predecir las compras.

Figura 2: La curva Lift (en naranja) muestra la proporción entre la recuperación de casos positivos (compras) utilizando los deciles ordenados por puntuación del modelo, en contraste con el azar. Se observa que para el primer 20% de los datos de la muestra, el modelo es aproximadamente 4 veces más eficaz que el azar en la clasificación de los casos de compra.

En concreto, el modelo recupera mejor los casos de compra: en los 2 primeros deciles con mayor puntuación, el modelo es 4 veces más eficaz que el lanzamiento de una moneda.

Sin embargo, la puntuación, equivalente a la probabilidad de que el modelo entregue cada oferta, tiene una mejor interpretación en el contexto empresarial si se observa la curva Gain.

La curva Gain muestra la porción de casos favorables recuperados tomando el decil X superior del conjunto de datos, según la puntuación proporcionada por el . Por ejemplo, el gráfico de la Figura 6 muestra que, si tomamos el 20% superior de los cotizantes según la puntuación del modelo, estaríamos recuperando alrededor del 80% de los casos de compra. Además, si se toma el 40% superior del mismo conjunto, se obtendría el 90% de los casos con compra.

Figura 3: La curva de ganancia (en naranja) muestra la parte acumulada de casos positivos (compra) que se recuperan a medida que se incorporan los deciles de mayor puntuación de la muestra. Se observa que para el primer 20% (porcentaje de la muestra = 0,2), se recupera el 80% de las compras de la muestra.

Esta es la aportación sustancial del modelo: puede ayudar en la toma de decisiones sobre los contribuyentes: cuáles tienen más probabilidad de comprar, cuáles menos, y con esta información, afinar la estrategia de marketing y mejorar la eficacia de la gestión comercial.

Conclusiones

El desarrollo y la aplicación de un modelo de propensión son tareas muy complejas, que requieren una revisión detallada de los datos disponibles para la correcta formación y validación de los modelos. Para obtener un modelo que proporcione información valiosa, es esencial definir las métricas que se ajusten al caso de negocio que se va a abordar.

En este blog mostramos las métricas para comparar modelos en el contexto de los modelos de propensión, como recall, curvas ROC, Gain y Lift. Estas dos últimas tienen un enfoque amigable y fácil de entender, permitiendo conocer gráficamente la ventaja de utilizar un modelo predictivo para elegir los clientes a contactar. La curva Lift muestra la mayor probabilidad de recibir encuestados que si contactamos con una muestra aleatoria de clientes. Por ejemplo, si contactamos con sólo el 10% de los clientes basándonos en el modelo predictivo, llegaremos a tres veces más encuestados que si no utilizamos ningún modelo. Por otro lado, la curva de ganancia nos permite comprender las ganancias incrementales debidas al aumento del esfuerzo, por ejemplo, cuál es el porcentaje de respuestas positivas que recibimos si aumentamos el porcentaje de clientes contactados, lo que nos permite comprender mejor cuál es nuestro esfuerzo/impacto óptimo y poder centrarnos en el Pareto.