Les modèles additifs généralisés (MAG) fournissent un cadre général pour étendre un modèle linéaire standard en permettant des fonctions non linéaires de chacune des variables, tout en maintenant l’additivité. Voyons ce que cela signifie exactement,
Les modèles linéaires sont simples à décrire et à mettre en œuvre et présentent des avantages par rapport aux autres approches en termes d’interprétation et d’inférence. Mais ils ont des limites dans le pouvoir de prédiction, c’est-à-dire la précision avec laquelle nous pouvons prédire la sortie. Supposons que nous ayons des données qui consistent en une entrée de P caractéristiques (X1, X2,….., Xp), et une sortie Y. Par conséquent, le modèle linéaire correspondant (également connu sous le nom de modèle de régression multi linéaire) pour prédire la sortie :
Y = β0 + β1X1 + β2X2 +—+ βpXp + Ɛ
Où β0, β1,….,βp sont des paramètres de l’équation et Ɛ est l’erreur irréductible , afin de permettre des relations non linéaires entre chaque caractéristique et la réponse(sortie) est de remplacer chaque composante linéaire βjXj par une fonction non linéaire (lisse) fj(Xj) qui correspond à la jième caractéristique . Nous écririons alors le modèle comme
Y = β0 + f1(X1) + f2(X2) + f3(X3) +…..+ fp(Xp)+Ɛ
C’est un exemple de MAG. On l’appelle un modèle additif parce que nous calculons un fj distinct pour chaque Xj, puis nous additionnons toutes leurs contributions. Maintenant, la question est de savoir comment trouver cette fonction non linéaire ? Il s’avère qu’il existe plusieurs méthodes, mais nous allons spécifiquement regarder les Natural Splines pour l’exemple ci-dessous :
Salaire = β0 + f1(année)+f2(âge)+f3(éducation)+ Ɛ – – – – -(1)
Avant de discuter des splines naturelles, il convient de noter que la relation qui existe dans les données du monde réel est souvent non linéaire, et beaucoup de temps très complexe, c’est-à-dire que même une fonction non linéaire standard ne se révélera pas être une bonne approximation de la relation. Maintenant, les splines naturelles sont des polynômes de degré ‘d’ par morceaux dont les premières dérivées ‘d-1’ sont continues avec des contraintes de limites supplémentaires , Au lieu de fitter un polynôme de haut degré sur toute la gamme de l’espace des caractéristiques, la régression polynomiale par morceaux implique de fitter des polynômes de faible degré séparés, pour être concret, dans l’équation (1) nous prédisons le salaire sur la base des années, de l’âge et de l’éducation. Ici, nous ajustons indépendamment les fonctions en gardant les autres caractéristiques constantes, c’est-à-dire, la prédiction du « salaire » sur la base de « l’âge » en gardant « l’année » et « l’éducation » constantes, Maintenant, nous savons que lorsque « l’âge » augmente, le « salaire » augmente mais après la retraite, le salaire diminue, ce qui signifie que jusqu’à un certain « âge », la relation est croissante et après laquelle elle est décroissante, donc, nous ajustons un polynôme jusqu’à disons 60 ans qui donne une relation croissante et puis après 60 ans, un autre polynôme pour capturer la relation décroissante, donc il nous empêche d’être flexibles pour extraire la relation entre la caractéristique et la réponse. Les contraintes(continuité des dérivés) nous incapable de joindre en douceur ces deux polynômes.
Maintenant revenons aux MAG, ici ‘année’ et ‘âge’ sont des variables quantitatives, et ‘éducation’ est une variable qualitative avec five niveaux : <HS, HS, <Coll, Coll ,>Coll, se référant à la quantité d’éducation secondaire ou collégiale qu’un individu a complétée. Nous fitons les first deux premières fonctions en utilisant des splines naturelles. Nous fitons la troisième fonction en utilisant une constante séparée pour chaque niveau, via l’approche de la variable muette (pour chaque niveau d’éducation, nous créons une caractéristique séparée avec une valeur binaire 0 ou 1, par exemple, dans le cas où la personne a le lycée (HS) comme éducation, ‘HS’ sera 1 et pour chaque autre caractéristique des niveaux, il sera 0. )
La figure 1 montre les résultats du fitting du modèle utilisant les moindres carrés pour prédire les salaires sur la base des » années » en gardant l’âge et l’éducation constants. Le salaire tend à augmenter légèrement avec l’année ; cela peut être dû à l’inflation.
La figure 2 indique qu’en maintenant l’éducation et l’année fixées, le salaire tend à être le plus élevé pour les valeurs intermédiaires de l’âge, et le plus bas pour les très jeunes et les très vieux.
La figure 3 indique que, en maintenant l’année et l’âge fixés, le salaire tend à augmenter avec l’éducation : plus une personne est éduquée, plus son salaire est élevé, en moyenne.
La principale limite des MAG est que le modèle est restreint pour être additif. Avec de nombreuses variables, des interactions importantes peuvent être manquées.
.