Los modelos aditivos generalizados (GAM) proporcionan un marco general para extender un modelo lineal estándar permitiendo funciones no lineales de cada una de las variables, manteniendo la aditividad. Veamos qué significa esto exactamente,
Los modelos lineales son sencillos de describir e implementar y tienen ventajas sobre otros enfoques en términos de interpretación e inferencia. Pero tienen limitaciones en el poder de predicción, es decir, en la precisión con la que podemos predecir la salida. Supongamos que tenemos datos que consisten en la entrada de P características (X1, X2,….., Xp), y una salida Y. Por lo tanto, el modelo lineal correspondiente (también conocido como modelo de regresión multi lineal) para predecir la salida:
Y = β0 + β1X1 + β2X2 +—+ βpXp + Ɛ
Donde β0, β1,….,βp son parámetros de la ecuación y Ɛ es el error irreducible , para permitir relaciones no lineales entre cada característica y la respuesta(output) es sustituir cada componente lineal βjXj por una función no lineal (suave) fj(Xj) que corresponde a la jésima característica . Entonces escribiríamos el modelo como
Y = β0 + f1(X1) + f2(X2) + f3(X3) +…..+ fp(Xp)+Ɛ
Este es un ejemplo de un GAM. Se llama un modelo aditivo porque calculamos una fj separada para cada Xj, y luego sumamos todas sus contribuciones. Ahora la pregunta es ¿cómo encontrar esta función no lineal? Resulta que hay varios métodos, pero vamos a ver específicamente en Splines naturales para el ejemplo de abajo:
Salario = β0 + f1(año)+f2(edad)+f3(educación)+ Ɛ – – – – -(1)
Antes de la discusión sobre splines naturales vale la pena señalar que la relación que existe en los datos del mundo real es a menudo no lineal, y muchas veces muy compleja, es decir, incluso una función no lineal estándar no resultará ser una buena aproximación de la relación. Ahora bien, los splines naturales son polinomios de grado ‘d’ a trozos cuyas primeras derivadas ‘d-1’ son continuas con restricciones de límite adicionales, En lugar de ajustar un polinomio de alto grado en todo el rango del espacio de características, la regresión polinómica a trozos implica ajustar polinomios de bajo grado por separado, para ser concretos, en la ecuación (1) estamos prediciendo el salario sobre la base de los años, la edad y la educación. Ahora bien, sabemos que a medida que aumenta la «edad», aumenta el «salario», pero después de la jubilación el salario disminuye, lo que significa que hasta una determinada «edad» la relación es creciente y después disminuye, por lo tanto, ajustamos un polinomio hasta, por ejemplo, la edad de 60 años, que da una relación creciente, y después de 60 años, otro polinomio para captar la relación decreciente, por lo que no podemos extraer con flexibilidad la relación entre la característica y la respuesta. Las restricciones (continuidad de las derivadas) nos impiden unir suavemente estos dos polinomios.
Ahora volviendo a los GAM, aquí «año» y «edad» son variables cuantitativas, y «educación» es una variable cualitativa con five niveles: <HS, HS, <Coll, Coll ,>Coll, que se refiere a la cantidad de educación secundaria o universitaria que un individuo ha completado. Ajustamos las dos primeras funciones utilizando splines naturales. Ajustamos la tercera función utilizando una constante separada para cada nivel, mediante el enfoque de variables ficticias (para cada nivel de educación creamos una característica separada con valor binario 0 o 1, por ejemplo, en caso de que la persona tenga educación secundaria (HS), ‘HS’ será 1 y para cualquier otra característica de niveles será 0. )
La figura 1 muestra los resultados de fitting el modelo utilizando mínimos cuadrados para predecir los salarios sobre la base de «años» manteniendo la edad y la educación constante. El salario tiende a aumentar ligeramente con el año; esto puede deberse a la inflación.
La figura 2 indica que, manteniendo la educación y el año fijos, el salario tiende a ser más alto para los valores intermedios de la edad, y más bajo para los muy jóvenes y los muy mayores.
La figura 3 indica que, manteniendo el año y la edad fijos, el salario tiende a aumentar con la educación: cuanto más educada es una persona, mayor es su salario, en promedio.
La principal limitación de los GAM es que el modelo está restringido a ser aditivo. Con muchas variables, pueden perderse interacciones importantes.