lección 7
El número honesto con su margen, y la demo
Montar las figuras, estimar el valor de los jugadores objetivo con su margen, y defender el número honesto de Olarra ante Chus y Patricia.
⏱ 55 min
## Viernes, 10:00. Que se entienda y le puedan poner el sello
Toda la semana has trabajado para llegar aquí: un modelo honesto del que te puedes fiar. Pero un modelo que nadie entiende no cambia ninguna decisión. Hoy el trabajo es traducir lo técnico a algo que Patricia pueda poner delante de un presidente de club: unas pocas figuras limpias, una tabla de valores con su margen, y un informe de media página. Patricia no quiere ver tu código ni tus folds: quiere saber si el modelo acierta fuera de los datos con los que lo hiciste, cuánto te puedes equivocar en millones, y si puede ponerle el sello de Fichaje a ese número.
El margen de error es la pieza que convierte un número en algo defendible. Hasta ahora has hablado de R², que mide la fracción de variación explicada pero no se entiende fuera del mundo técnico. Para un director deportivo, lo que importa es otra cosa: cuántos millones de media se equivoca el modelo. Eso es el error absoluto medio (MAE, por sus siglas en inglés), y en el modelo honesto, medido con validación cruzada, es de 8,02 millones de euros. Significa que, de media, la estimación se desvía unos 8 millones del valor real. No es poco, pero es honesto: Patricia prefiere un número con su margen a un «vale 90» a secas que luego falle y le cueste un cliente.
¿Y 8 millones es mucho o poco? Un error solo se entiende comparado con algo. La comparación más sencilla es una referencia sin modelo: decir que cada jugador valdrá lo que vale de media un jugador de su posición. Con esa regla te equivocas de media 12,55 millones y el R² se queda en 0,09. El modelo baja el error a 8,02 millones y sube el R² a 0,61. Eso es lo que aporta el modelo, y es lo primero que tienes que poder enseñar. Un matiz más: 8 millones de error no pesan igual en un jugador de 1 millón que en uno de 100. Para un jugador concreto conviene pensar el error en proporción: de media, el modelo se equivoca en torno a un 24 % del valor. Lo vas a usar para las gangas.
## Gangas y globos
La entrega que de verdad usa Scouting no es un número suelto, es una tabla: cada jugador objetivo con su valor estimado y una lectura. Lo más útil para un ojeador son dos categorías. Las gangas son jugadores que el modelo cree que van a subir bastante más que el resto: fichar ahora es comprar barato. Los globos son lo contrario: jugadores cuyo valor actual sus stats no sostienen, y que el modelo cree que subirán mucho menos que el resto (o bajarán). Fichar un globo es pagar caro. Ojo con una trampa de estos datos: aquí casi todos suben de un año a otro (el jugador típico se multiplica por 2,8 según el modelo; el mercado entero se encarece). Que el modelo diga que un jugador va a valer más que hoy no lo distingue de nadie. Lo que lo distingue es que suba más que el jugador típico.
Dónde pones el umbral para llamar «ganga» o «globo» a un jugador es una decisión tuya, y la justificas. Un margen fijo en millones no sirve: 8 millones es un mundo para un jugador de 1 millón y casi nada para uno de 100. Por eso se trabaja en proporción, con logaritmos: el logaritmo convierte «multiplicar» en «sumar», así que una subida del 24 % pesa lo mismo en un jugador barato que en uno caro. El criterio queda así: calculas cuánto espera el modelo que suba cada jugador (en log), lo comparas con lo que sube el jugador típico (la mediana), y solo llamas ganga a quien lo supera por más de lo que el modelo se equivoca de media (unos 0,21 en log, en torno a un 24 %). La idea clave es no vender como oportunidad algo que cae dentro del margen de error: una «ganga» que se separa del resto menos de lo que el modelo se equivoca no es una ganga, es una ilusión. Y las estimaciones salen de cross_val_predict, que estima cada jugador con un modelo que no le vio: lo que aprendiste con Olarra vale para todos.
## La demo: defender el número honesto
A mediodía presentas ante Patricia y Chus. Es el momento más difícil de la semana, y no por lo técnico: por sostener un número honesto delante de alguien que quería otro.
1Patricia 12:312Al grano: ¿esto acierta con jugadores que el modelo no ha visto, o solo con los que ya tenía delante?3Porque me dijeron un acierto casi perfecto y ahora oigo 0,61, aclárame eso. Mi sello va encima de ese número.45Tú 12:316El número casi perfecto del principio (0,9465) era sobre los jugadores con los que entrené el modelo:7no dice nada de un jugador nuevo. Medido con jugadores que no vio, en cinco repartos, da 0,61, y de un8reparto a otro se mueve entre 0,55 y 0,65.910Patricia 12:3311O sea, el número casi perfecto era de los jugadores que ya conocía. ¿Y 0,61 es bueno?1213Tú 12:3314Sin modelo, diciendo que cada jugador vale la media de su posición, nos equivocaríamos unos 12,515millones de media. Con el modelo, unos 8. Eso es lo que puedes poner delante de un club: unos 8 millones16de error medio, en torno a un 24 % del valor del jugador.1718Chus 12:3419Ya, pero lo de Olarra... me diste 90 el miércoles y ahora me lo bajas a 70 😕2021Tú 12:3422El 90 salía de un modelo que ya había visto a Olarra al entrenar: se sabía su respuesta. Preguntándole23a un modelo que no le ha visto, sale unos 70. Sigue siendo una ganga, vale 16 hoy y sube bastante más24que el jugador típico, pero no 90. Prefiero decírtelo yo ahora que el presidente dentro de un año.2526Patricia 12:3527Menos mal que lo validaste antes de ir al club con el número inflado. Prefiero un número honesto con su28margen a uno bonito que me cueste la reputación. Buen trabajo.
La demo del viernes. Chus pone mala cara porque el número de su crack baja de 90 a unos 70. Pero Patricia, que responde ante el club, agradece el número honesto con su margen y su comparación con no tener modelo: es lo que puede firmar. El hallazgo de la semana cambia la decisión de negocio.
Y ahí está el cierre del caso. Sin tu trabajo, Fichaje le habría dado a Chus —y, con el sello de la casa, a su club— un valor de 90 millones para Olarra, salido de un modelo que ya conocía su respuesta, respaldando un fichaje a un precio que el dato honesto no sostiene. Tu hallazgo cambió el número que Fichaje pone sobre el jugador: una estimación de unos 70 millones, hecha sin haberle visto, con su margen de error. Olarra sigue siendo una ganga, pero no la que decía el primer número. Eso es lo que vende Fichaje: criterio honesto, no el número que el cliente quiere oír.
## El repositorio terminado
Al cerrar la semana, mira lo que tienes: sin haberlo montado de golpe, has construido un proyecto completo. Los cinco scripts numerados de src/, las consultas de sql/, los datos, el requirements.txt y el README que escribes hoy. Cada ejercicio de código de la semana era un trozo de uno de esos ficheros. Es un proyecto de estimación de valor de mercado de jugadores que puedes abrir en un editor, ejecutar de principio a fin fuera del navegador, y subir a GitHub como pieza de portfolio. El README es tu entregable intelectual: no es un trámite, es donde cuentas el hallazgo honesto del caso.
Consejo de senior: lo que te llevas de esta semana no es RandomForest ni cross_val_score. Es un reflejo: cuando un modelo brilla demasiado, desconfía, y mídelo fuera de los datos con los que lo entrenaste antes de creértelo. Ese reflejo vale para cualquier modelo, en cualquier industria, el resto de tu carrera. Un resultado bueno es una hipótesis, no una conclusión. Lo aprendiste con el valor de un jugador de fútbol; lo vas a usar con todo lo demás.
## comentarios
Reporta erratas, ayuda a otros o comparte tu opinión. Sé constructivo.
Inicia sesión para comentar y responder.
cargando comentarios...
Regístrate para guardar tu progreso.