Elnöksége és viszálya Jacksonnal
Amikor Monroe elnök második mandátuma 1824-ben a végéhez közeledett, hivatalos tanácsadói között, akik közül hárman – John Quincy Adams külügyminiszter, John C. Calhoun hadügyminiszter és William H. Crawford pénzügyminiszter – az utódlásra törekedtek, nem volt jó hangulat. Henry Clay, a képviselőház elnöke és Andrew Jackson tábornok is jelölt volt. Calhount jelölték az alelnöki posztra. A másik négy jelölt közül Jackson 99, Adams 84, Crawford 41, Clay pedig 37 elektori szavazatot kapott az elnökségre; mivel senki sem rendelkezett többséggel, a döntést a képviselőház hozta meg, amely választásában a három legtöbb szavazatot kapott jelöltre szorítkozott. Clay, aki évek óta elítélően viszonyult Jacksonhoz, Adams mellett tette le a voksát, akinek megválasztása így már az első szavazólapon biztosítva volt. Néhány nappal később Adams felajánlotta Claynek az államtitkári tisztséget, amit Clay elfogadott. Jackson hívei “korrupt alkut” vádoltak, és Adams hivatali idejét négyéves kampánnyá változtatták, hogy megnyerjék emberüknek azt, amit ők jogosnak tartottak, az elnökséget.
Adams karrierje eddig a pontig szinte egyöntetűen sikeres volt, de elnöksége (1825-29), amely alatt az ország virágzott, a legtöbb tekintetben politikai kudarc volt a jacksonisták heves ellenállása miatt. Adams keményen dolgozott, reggel négy és hat óra között kelt, és reggeli előtt gyakran sétált egyet a városban vagy úszott egyet a Potomac folyóban. Egyszer majdnem megfulladt, amikor a blúzának ujjai megteltek vízzel, és elnehezítették. De tudta, hogy nem a nép embere. Beiktatási beszédében elismerte, hogy “kevésbé rendelkezik az önök bizalmával… mint bármelyik elődöm”. Más előremutató javaslatok mellett egy nemzeti egyetem és egy nemzeti csillagászati obszervatórium létrehozását támogatta; azt kívánta, hogy a nyugati területeket a szövetségi kormány vagyonkezelje és csak fokozatosan fejlessze; és az ország útjainak szövetségi támogatással történő hatalmas bővítését javasolta. A kongresszus általában süket fülekre talált kezdeményezéseivel szemben.
1828-ban Jacksont választották elnökké Adamsszel szemben, 178 elektori szavazattal Adams 83 szavazatával szemben. Jackson kormányzása alatt kibékíthetetlen ellentétek alakultak ki hívei és Adams hívei között, utóbbiak a Nemzeti Republikánusok néven váltak ismertté, akik az antiszabadkőművesekkel együtt a whigek előfutárai voltak. Adams heves ellenszenve Jackson és az általa képviselt dolgok iránt töretlen maradt. Amikor 1833-ban a Harvard College díszdoktori címet adományozott Jacksonnak, Adams nem volt hajlandó részt venni az ünnepségen alma materében. Kijelentette, hogy “nem lesz jelen, hogy tanúja legyen annak a szégyennek, hogy a legmagasabb kitüntetéseket egy barbárnak adományozzák, aki egy grammatikai mondatot sem tudott leírni, és alig tudta leírni a saját nevét.”
Adams 1829-ben visszavonult a magánéletbe a massachusettsi Quincy városában, de csak rövid időre. 1830-ban, nagyrészt a szabadkőműves-ellenes mozgalom (egy politikai erő, amely eredetileg a szabadkőművesség ellenében alakult) tagjainak támogatásával, a nemzeti képviselőház tagjává választották. Amikor felvetették neki, hogy e tisztség elvállalása lealacsonyítaná az egykori elnököt, Adams azt válaszolta, hogy senkit sem lehet lealacsonyítani azzal, hogy képviselőként a kongresszusban vagy városának választmányi tagjaként szolgálja a népet. A képviselőházban 1831-től 1848-ban bekövetkezett haláláig szolgált. De nem adta fel az elnöki tisztségbe való újraválasztás reményét – akár a Szabadkőműves-ellenes Párt jelöltjeként (amelyben nagyon aktív volt mindaddig, amíg a pártnak politikai lehetőségei voltak), akár a Nemzeti Republikánus Párt, akár a kettő egyesülése, vagy akár a későbbi Whig Párt jelöltjeként -, mindig az “egész nemzet embereként” gondolkodott. Fokozatosan ezek a remények elhalványultak.