09/11/2023
🎯 y Modelos : 2 mundos en un mismo lugar.
🔍Supongamos que debemos construir un modelo , donde se tiene una gerencia ultra conservadora y desea tener el control e interpretación de la ecuación. Lo primero que uno piensa es en construir un modelo logit clásico. Y está bien, pues es el caballo de batalla de los micro-econometristas. Sin embargo, los modelos ML pueden llegar a funcionar igual o incluso mejor, al momento de encontrar patrones o características para problemas que, en efecto, son no lineales.
Si el objetivo es continuar por la senda de un LOGIT, dentro del toolbox de un se encuentran los métodos de regularización. Es decir, es posible estimar un modelo Logit y aplicar técnicas de regularización, que permitan controlar problemas de sobreajuste y mejoran la capacidad de generalización sin salir de lo que se busca: una ecuación.
Así, los dos métodos de regularización más comunes en regresión logística son la regularización L1 (Lasso) y la regularización L2 (Ridge):
1. Regularización L1 (Lasso):
L1 añade una penalización a la función de costo al sumar el valor absoluto de los coeficientes de las variables predictoras multiplicados por un hiperparámetro lambda (α)
Esta penalización tiene el efecto de forzar algunos coeficientes a cero, lo que resulta en una selección de variables más robusta y puede llevar a la eliminación de características menos importantes. Esto simplifica el modelo y evita el sobreajuste.
2. Regularización L2 (Ridge):
L2 agrega una penalización a la función de costo al sumar el cuadrado de los coeficientes de las variables predictoras multiplicados por un hiperparámetro lambda (α).
A diferencia de L1,L2 no fuerza coeficientes a cero, pero los reduce. Esto puede reducir la magnitud de los coeficientes, lo que hace que el modelo sea más robusto al sobreajuste sin necesariamente eliminar variables.
Ambos métodos de regularización permiten controlar la complejidad del modelo al penalizar coeficientes altos, lo que a su vez reduce el riesgo de overfitting. La elección entre L1 y L2 depende de las características del problema y de si se desea realizar selección de variables (L1) o simplemente reducir la magnitud de los coeficientes (L2).
A menudo, se utiliza una combinación de ambas penalizaciones, lo que se conoce como , para obtener lo mejor de ambos mundos. El valor del hiperparámetro α controla la intensidad de la regularización, y debe ser ajustado a través de técnicas como la validación cruzada para encontrar el valor óptimo.
¿En qué proyectos he utilizado estas técnicas?
✔️Portafolios ‘low bad rate’
✔️Problema cuya mayor preocupación es conocer qué está haciendo el modelo para ajustar políticas
✔️Portafolios donde se espera poca variabilidad debido a características naturales del mismo.
✔️Entre otros.
