Underground Railroad
南北戦争が始まるずっと前から、アンドーバーでは反奴隷制度運動が多くの支持者を集めていた。熱心な奴隷制度廃止論者であり、ウィリアム・ロイド・ガリソンの友人だったウィリアム・ジェンキンスや、他にも数人が逃亡奴隷のために地下鉄道 (秘密結社)の停車駅を提供した。『アンクルトムの小屋』の著者ハリエット・ビーチャー・ストウが長くここの住人だったことは注目すべきである。「ストウの家」と呼ばれたその家は現在、フィリップス・アカデミー・アンドーバー校が所有している。その遺骸はフィリップス・アカデミーの墓地に埋葬されている。1861年に南軍がサムター砦を砲撃したとき、志願兵79名の中隊が結成された。1865年に戦争が終わる時までにアンドーバーから600人が北軍に入隊した。