Generalisierte additive Modelle (GAMs) bieten einen allgemeinen Rahmen für die Erweiterung eines linearen Standardmodells, indem sie nichtlineare Funktionen für jede der Variablen zulassen und gleichzeitig die Additivität beibehalten. Sehen wir uns an, was das genau bedeutet,
Lineare Modelle sind einfach zu beschreiben und zu implementieren und haben Vorteile gegenüber anderen Ansätzen in Bezug auf Interpretation und Schlussfolgerung. Aber sie haben Einschränkungen bei der Vorhersagekraft, d.h. wie genau wir die Ausgabe vorhersagen können. Nehmen wir an, wir haben Daten, die aus einer Eingabe von P Merkmalen (X1, X2,….., Xp) und einer Ausgabe Y bestehen. Daher ist das entsprechende lineare Modell (auch bekannt als multi lineares Regressionsmodell) zur Vorhersage der Ausgabe:
Y = β0 + β1X1 + β2X2 +—+ βpXp + Ɛ
Wobei β0, β1,….,βp Parameter der Gleichung sind und Ɛ der irreduzible Fehler ist, um nicht-lineare Beziehungen zwischen jedem Merkmal und der Antwort (Output) zu berücksichtigen, ist jede lineare Komponente βjXj durch eine (glatte) nicht-lineare Funktion fj(Xj) zu ersetzen, die dem j-ten Merkmal entspricht. Wir würden dann das Modell schreiben als
Y = β0 + f1(X1) + f2(X2) + f3(X3) +…..+ fp(Xp)+Ɛ
Dies ist ein Beispiel für ein GAM. Es wird als additives Modell bezeichnet, weil wir für jedes Xj ein separates fj berechnen und dann alle ihre Beiträge zusammenzählen. Die Frage ist nun, wie man diese nichtlineare Funktion findet. Es gibt verschiedene Methoden, aber für das folgende Beispiel werden wir uns speziell mit Natural Splines beschäftigen:
Lohn = β0 + f1(Jahr)+f2(Alter)+f3(Ausbildung)+ Ɛ – – – – – -(1)
Vor der Diskussion über natürliche Splines ist es erwähnenswert, dass die Beziehung, die in realen Daten besteht, oft nichtlinear und oft sehr komplex ist, d.h. selbst eine nichtlineare Standardfunktion wird sich nicht als gute Annäherung an die Beziehung erweisen. Natürliche Splines sind stückweise Polynome des Grades „d“, deren erste „d-1“-Ableitungen stetig sind, mit zusätzlichen Randbedingungen. Anstatt ein Polynom hohen Grades über den gesamten Merkmalsraum zu fitten, werden bei der stückweisen Polynomregression separate Polynome niedrigen Grades gefittet, z. B. in der Gleichung (1) zur Vorhersage des Lohns auf der Grundlage von Jahren, Alter und Ausbildung. Hier passen wir die Funktionen unabhängig voneinander an, wobei wir andere Merkmale konstant halten, d. h. die Vorhersage des „Lohns“ auf der Grundlage des „Alters“, wobei wir das „Jahr“ und die „Ausbildung“ konstant halten. Nun wissen wir, dass mit zunehmendem „Alter“ der „Lohn“ steigt, aber nach dem Eintritt in den Ruhestand der Lohn sinkt, d. h. bis zu einem bestimmten „Alter“ steigt die Beziehung und danach sinkt sie, weshalb wir ein Polynom bis zum Alter von, sagen wir, 60 Jahren anpassen, das eine steigende Beziehung ergibt, und dann nach 60 Jahren ein anderes Polynom, um die sinkende Beziehung zu erfassen. Die Einschränkungen (Kontinuität der Ableitungen) sind nicht in der Lage, diese beiden Polynome nahtlos zu verbinden.
Wenn wir nun zu den GAMs zurückkehren, sind „Jahr“ und „Alter“ quantitative Variablen, und „Bildung“ ist eine qualitative Variable mit fünf Stufen: <HS, HS, <Coll, Coll ,>Coll, die sich auf den Umfang der Highschool- oder College-Ausbildung bezieht, die eine Person abgeschlossen hat. Die ersten beiden Funktionen werden mit natürlichen Splines angepasst. Die dritte Funktion wird mit Hilfe einer separaten Konstante für jedes Bildungsniveau über den Dummy-Variablen-Ansatz erstellt (für jedes Bildungsniveau wird ein separates Merkmal mit dem binären Wert 0 oder 1 erstellt, z. B. für den Fall, dass eine Person die High School (HS) als Bildung hat, wird „HS“ 1 sein und für jedes andere Merkmal der Niveaus wird es 0 sein. )
Abbildung 1 zeigt die Ergebnisse der Anpassung des Modells unter Verwendung der kleinsten Quadrate zur Vorhersage der Löhne auf der Grundlage von „Jahren“, wobei Alter und Bildung konstant gehalten werden. Der Lohn steigt mit dem Jahr tendenziell leicht an; dies könnte auf Inflation zurückzuführen sein.
Abbildung 2 zeigt, dass bei gleichbleibender Bildung und gleichem Alter die Löhne bei mittleren Alterswerten tendenziell am höchsten und bei sehr jungen und sehr alten Menschen am niedrigsten sind.
Abbildung 3 zeigt, dass bei konstantem Jahr und Alter der Lohn tendenziell mit der Bildung ansteigt: Je gebildeter eine Person ist, desto höher ist im Durchschnitt ihr Lohn.
Die wichtigste Einschränkung von GAMs ist, dass das Modell nur additiv sein kann. Bei vielen Variablen können wichtige Wechselwirkungen übersehen werden.