Saltar al contenido

lección 6

La cuenta de dinero, y lo que no puede decir

Traducir las listas a euros: la ingenua pierde, pero con la misma fórmula mandar la promo a todos los accionables gana más que la lista pequeña. La fórmula no mide el efecto de la promo: hace falta un A/B.

⏱ 55 min

## Jueves, 9:30. Traducir todo a euros

Darío te lo dijo el primer día: el comité no va a mirar tu AUC, va a mirar a cuántos mandas la promo, cuánto cuesta y cuánto recuperas. Hasta ahora has trabajado en el idioma del modelo —prevalencias, AUC, listas de marcados—. Hoy traduces todo eso al idioma del negocio, que es el dinero, porque es el único que decide. Y la buena noticia es que la cuenta es sencilla: no hace falta un modelo financiero, hace falta aritmética honesta.

La cuenta tiene tres piezas, y conviene fijarlas con negocio antes de calcular nada. Lo que vale retener a un cliente: un cliente con la nómina domiciliada genera a lo largo del tiempo del orden de 120 euros de margen, así que retenerlo vale eso. Lo que cuesta la promo: cada promo mandada son 10 euros de bonificación regalada, se retenga o no al cliente. Y la tasa de retención de la promo: negocio supone que, de los clientes accionables a los que llega, la promo frena a un 30%. Apunta bien esta tercera pieza, porque es distinta de las otras dos: es un supuesto, no una medida. Marea nunca ha mandado esta promo, así que en tus datos no hay nadie que la haya recibido. Con esas tres piezas, el retorno de una campaña es el valor de los clientes retenidos menos el coste de todas las promos mandadas.

1retenciones = marcados_accionables × 0,30 (la promo solo frena a accionables)
2retorno = 120 € × retenciones − 10 € × marcados_totales
3
4 └─ lo que recuperas ─┘ └─ lo que gastas ─┘
5 (en TODOS los marcados,
6 accionables o no)

La cuenta de retorno de la campaña. Fíjate en la asimetría que la hace demoledora: el coste se paga por cada marcado, accionable o no, pero las retenciones solo salen de los accionables. Mandar la promo a un muerto cuesta sus 10 euros y no retiene a nadie: es puro gasto.

La asimetría dibujada a lo ancho. La barra roja del coste se extiende por todos los marcados; la verde del valor cubre solo una esquina. Cuando mandas la promo a una lista llena de no accionables, la roja se alarga y la verde no se mueve: ahí es donde el retorno se vuelve negativo.

Esa asimetría es la clave. Cada promo que mandas cuesta 10 euros, da igual a quién. Pero solo recuperas los 120 euros cuando retienes a alguien, y solo retienes a accionables, y solo al 30% de ellos. Así que una lista llena de no accionables paga el coste de todos pero recupera el valor de casi ninguno. Es exactamente el perfil de la lista ingenua.

## La cuenta, aplicada a las dos listas

Aplica la cuenta a las dos listas. La ingenua marca a 678 clientes, de los que solo 21 son accionables. Las retenciones son 21 × 0,30 = 6,3 clientes, que valen 120 × 6,3 = 756 euros. El coste es 10 × 678 = 6.780 euros. El retorno es 756 − 6.780 = −6.024 euros: gastas casi siete mil euros para recuperar setecientos. La reformulada marca a 182 clientes, todos accionables. Las retenciones son 182 × 0,30 = 54,6 clientes, que valen 6.552 euros. El coste es 10 × 182 = 1.820 euros. El retorno es +4.732 euros. Hasta aquí, la lista pequeña parece ganar por goleada.

## La pregunta de Pau que tumba la cuenta

Pau mira tu cuenta y pregunta lo obvio: «¿y si se la mandamos a todos los accionables, no solo a los 182 del modelo?». En el conjunto de prueba hay 497 accionables. Con la misma fórmula: 497 × 0,30 = 149,1 retenciones, que valen 17.892 euros, frente a 4.970 euros de promo. Retorno: +12.922 euros, casi el triple que la lista del modelo. Con la fórmula del propio caso, la lista pequeña pierde contra mandar la promo a todos los accionables, sin modelo ninguno.

El fallo no está en la aritmética: está en la tercera pieza. La fórmula supone que el 30% de cualquier accionable que recibe la promo se queda gracias a ella, tenga riesgo de irse o no. Por eso premia mandar más promos: cada promo de 10 euros «compra» 0,30 × 120 = 36 euros, se la mandes a quien se la mandes, y el modelo no pinta nada en la cuenta. En la realidad, a un cliente que no se iba a ir la promo no le retiene nada, porque ya se quedaba: lo viste el lunes, «gastar una promo en quien iba a quedarse de todas formas es otra forma de tirar el dinero». Lo que importa no es cuántos de los que reciben la promo se quedan; es cuántos se quedan POR la promo y se habrían ido sin ella. Ese número, el efecto de la promo, no está en tus datos.

La cuenta que parecía decidir el caso, con la tercera barra que faltaba. La ingenua pierde, y eso se sostiene. Pero con la misma fórmula, mandar la promo a todos los accionables gana casi el triple que la lista del modelo. No es que la lista pequeña sea mala: es que la fórmula da por hecho el efecto de la promo, y ese efecto no está medido.

## Lo que los datos sí dicen, y lo que hay que medir

Lo que el caso sí sostiene es el encuadre: la lista ingenua está hecha en un 97% de gente irrecuperable, y mandarles una promo es tirar el dinero, lo midas como lo midas. Lo que no sostiene es una cifra de ganancia: con estos datos no se sabe cuánto mueve la promo. Y eso no se arregla con un modelo mejor: se arregla midiendo. La forma de medirlo es un A/B: coges la lista, a una mitad elegida al azar le mandas la promo y a la otra no, y a los tres meses comparas cuántos siguen activos y con la nómina en cada mitad. La diferencia entre las dos mitades es el efecto de la promo. Como las mitades se eligen al azar, se parecen en todo lo demás, y la diferencia solo puede venir de la promo.

Lo que sí puedes calcular hoy es el listón: cuánto tendría que mover la promo para pagarse. Cada promo cuesta 10 euros y cada cliente retenido vale 120, así que la promo se paga si, de cada 100 que la reciben, retiene a más de 8,3 que se habrían ido (10 / 120). En la lista de 182, eso son 16 clientes retenidos de más. Si el A/B mide un efecto por debajo del listón, la promo pierde dinero con cualquier lista; si lo mide por encima, ya hay con qué decidir a quién ampliarla. Y la lista reformulada es la candidata natural para ese primer A/B: es gente accionable y, según el modelo, la de más riesgo de enfriarse, que es donde una promo tiene más margen para cambiar algo.

El listón, dibujado. Si la promo no retiene a nadie de más, la lista de 182 pierde los 1.820 euros de promo. Empieza a ganar a partir de un 8,3 % de efecto. Dónde está de verdad el efecto no lo sabe nadie todavía: es lo que mide el A/B.

Darío lo resume cuando le enseñas las tres cuentas: «lo de la lista ingenua se sostiene: casi todos son irrecuperables, y eso es por la pregunta, no por el modelo. Lo que no se sostiene es decirle al comité que la lista pequeña gana cuatro mil euros. No lo sabemos. Lo honesto es enseñar el listón y pedir el A/B». Y esa es la otra mitad de la frase del arco: el trabajo más importante del data scientist ocurre antes del fit(), y también después, cuando decide qué puede afirmar y qué hay que medir.

Fíjate en que ninguna de las piezas de esta cuenta sale de un modelo. El valor del cliente y el coste de la promo son supuestos de negocio razonables; la tasa del 30% es otra cosa: es justo lo que no sabes. Una cuenta de dinero es tan buena como su pieza más floja, y aquí la más floja es la que decide. Cuando una pieza clave no está medida, el entregable honesto no es un número de ganancia: es el listón (cuánto tendría que valer para que compense) y el plan para medirla.

Consejo de senior: toda recomendación que vayas a llevar a un comité tiene que acabar en una cuenta de euros que quepa en una servilleta: «mandamos la promo a N personas, cuesta X, esperamos recuperar Y». Y si Y depende de algo que nadie ha medido, la servilleta dice también cómo se va a medir. Una correlación o un supuesto no son una ganancia segura; un A/B bien hecho sí te dice cuánto mueve lo que haces.

Regístrate para guardar tu progreso.