Swarthmore College perustettiin Ystäväin seuran (kveekarit) liberaalin hicksiläisen haaraosaston pyrkimyksestä perustaa ”ystävien hoivissa oleva paikka, jossa voi saada maamme parhaiden oppilaitosten kaltaisen koulutuksen”. Baltimoren, Philadelphian ja New Yorkin vuosikokoukset auttoivat perustamaan opiston 300 hehtaarin metsäiselle maalle kuuden mailin päässä Philadelphiasta länteen, jossa opiskelijat saisivat nauttia ”terveellisestä maalaiselämästä sekä älyllisestä ja moraalisesta koulutuksesta.”
Näissä kokouksissa kiinnostuneet ystävät tekivät yhteenvedon tarpeista, joita he näkivät hicksiläiselle opistolle. Kolme niistä oli olennaisia: yhteiskoulutus, joka oli sopusoinnussa kveekareiden opetuksen kanssa sukupuolten tasa-arvosta; luonnontieteiden painottaminen, jota pidettiin suuren käytännön tiedon lähteenä; ja paikka, jossa kveekarilapset voisivat saada ”vartioitua” opetusta.
Uuden koulun johtavia kannattajia olivat:
-
Benjamin Hallowell (1799-1877)
Kouluttaja ja kveekaripappi, joka kirjoitti ensimmäisen Swarthmore Collegen perustamista puoltavan pamfletin. Hallowell, joka kieltäytyi aseistakieltäytyjänä vuoden 1812 sodan aikana, luki tulevan kenraalin Robert E. Leen oppilaidensa joukkoon Virginiaan perustamassaan koulussa. Vuonna 1859 hänet nimitettiin Marylandin yliopiston (josta tuli Marylandin yliopisto) ensimmäiseksi presidentiksi, ja hän otti viran vastaan sillä ehdolla, että koulun maatilalla ei käytettäisi orjatyövoimaa ja että hän toimisi ilman palkkaa. -
Lucretia Coffin Mott (1793-1880)
Kveekaripappi ja 1800-luvun uudistusliikkeiden merkittävä hahmo, joka omisti elämänsä orjuuden lakkauttamiselle, naisten oikeuksille, koulu- ja vankilauudistuksille, maltillisuudelle, rauhalle ja uskonnon suvaitsevuudelle. Hänen kotinsa Philadelphiassa oli maanalaisen rautatien pysäkki, ja hänen tukensa naisten koulutukselle johti myös Pennsylvanian lääketieteellisen korkeakoulun (Medical College of Pennsylvania) ja Mooren taidekorkeakoulun (Moore College of Art) perustamiseen. -
Martha Ellicott Tyson (1795-1873)
Sorjuudenvastainen puolestapuhuja, naisten oikeuksien kannattaja ja Baltimoren kveekarikokouksen (Hicksite Quaker Meeting of Baltimore) vanhin. Hän on myös kirjoittanut ensimmäisen elämäkerran keksijästä ja tiedemiehestä Benjamin Bannekerista. Vuonna 1860 hänen kotonaan pidetty kokous johti kampanjaan collegea varten. -
Samuel Willets (1795-1883)
Menestyvä kveekariliikemies, joka tuki orjuuden vastaista liikettä ja naisten koulutusta. Hänen huomattava taloudellinen tukensa auttoi koulun perustamisessa ja Parrish Hallin jälleenrakentamisessa vuoden 1881 tulipalon jälkeen. Testamentissaan hän testamenttasi opistolle 100 000 dollaria ”köyhien ja ansioituneiden lasten” koulutukseen.
Vaikka opiston johtokunnassa on vuodesta 1938 lähtien toiminut muitakin kuin kveekareita, ja vaikka ystävät muodostavat nykyään pienen vähemmistön opiskelijoista, opettajakunnasta ja henkilökunnasta, opisto arvostaa edelleen korkealle monia kveekarijärjestön periaatteita. Niistä tärkeimpänä on yksilön vastuu totuuden etsimisestä ja soveltamisesta sekä sen totuuden testaamisesta, jonka uskoo löytäneensä.