Swarthmore College vznikla ze snahy liberální hicksitské větve Společnosti přátel (kvakerů) zřídit místo „v péči přátel, kde by bylo možné získat vzdělání rovnocenné s nejlepšími vzdělávacími institucemi v naší zemi“. Roční shromáždění v Baltimoru, Filadelfii a New Yorku pomohla založit vysokou školu na 300 akrech zalesněného pozemku šest mil západně od Filadelfie, kde by studenti měli výhody „zdravého života na venkově i intelektuální a morální výchovy“.
Zájemci z těchto shromáždění shrnuli potřeby, které viděli pro hicksitskou vysokou školu. Zásadní byly tři: koedukace v souladu s kvakerským učením o rovnosti pohlaví; důraz na přírodní vědy, které byly považovány za zdroj mnoha praktických znalostí; a místo, kde by kvakerské děti mohly získat „hlídané“ vzdělání.
Mezi přední zastánce nové školy patřili:
-
Benjamin Hallowell (1799-1877)
Pedagog a kvakerský duchovní, který napsal první pamflet obhajující vznik Swarthmore College. Hallowell, který za války v roce 1812 odmítal studium z důvodu svědomí, kdysi počítal budoucího generála Roberta E. Leeho mezi své studenty na škole, kterou založil ve Virginii. V roce 1859 byl jmenován prvním rektorem univerzity v Marylandu a tuto funkci přijal pod podmínkou, že na školní farmě nebudou využíváni otroci a že bude sloužit bez nároku na plat. -
Lucretia Coffin Mottová (1793-1880)
Kvakerská duchovní a významná osobnost reformního hnutí 19. století, která svůj život zasvětila zrušení otroctví, právům žen, školským a vězeňským reformám, mírnosti, míru a náboženské toleranci. Její dům ve Filadelfii byl zastávkou podzemní dráhy a její podpora vzdělávání žen vedla také k založení institucí, z nichž se stala Lékařská fakulta v Pensylvánii a Mooreova vysoká škola umění. -
Martha Ellicott Tysonová (1795-1873)
Obhájkyně boje proti otroctví, zastánkyně práv žen a starší Hicksitského kvakerského shromáždění v Baltimoru. Je také autorkou prvního životopisu vynálezce a vědce Benjamina Bannekera. V roce 1860 vedlo setkání, které uspořádala ve svém domě, ke kampani za založení vysoké školy. -
Samuel Willets (1795-1883)
Úspěšný kvakerský podnikatel, který podporoval hnutí proti otroctví a vzdělávání žen. Jeho významná finanční podpora pomohla založit školu a obnovit Parrish Hall po požáru v roce 1881. Ve své závěti odkázal koleji 100 000 dolarů na vzdělání „chudých a zasloužilých dětí“.
Přestože ve správní radě od roku 1938 působí i nekvakeři a Přátelé dnes tvoří mezi studenty, vyučujícími a zaměstnanci malou menšinu, kolej si stále vysoce cení mnoha zásad tohoto společenství. Mezi nimi je na prvním místě odpovědnost jednotlivce za hledání a uplatňování pravdy a za testování jakékoli pravdy, o níž se člověk domnívá, že ji našel.