ウィリアム・スワード
一方、スワードの息子達は亡き妹の親友で良家の令嬢であるオリーブに好意を示しており、二人の交際には大きな反対をしなかった。(オリーブはスワードの死後、スワードの息子達と遺産相続で揉める事もなく相応の遺産を貰い実家に戻り、再婚もせず生涯を終えた)
スワードは若い時から奴隷制に激しく反対した。奴隷制の拡張に反対し、南部の州が逃亡奴隷を逃がすようにした者達を引き渡すよう要求していたことに抵抗した。スワードの見解はジョージア州で働いていた時に目撃した奴隷制の現状によって一部形成されていた。スワードは次にニューヨーク州のフロリダとゴーシェンで法律を研究し、オーバーンにいた義父イライジャ・ミラー判事の実務に加わった。29歳のときに、ホイッグ党からニューヨーク州上院に反メイソンの立場で立候補し、当選したので、政治家になるために法律実務は中断した。さらに1838年、ニューヨーク州知事に選ばれ、1842年までの2期を務めた。スワードは州上院議員および州知事として、進歩的な政策を推進した。その中には刑務所の改善、教育費予算の増加、移民にたいして母国語で教える学校や元々の宗教の会員が教える学校のアイデアなどがあった。
1846年、スワードは2つの事件でどちらもアフリカ系アメリカ人が殺人で告発されている事件の弁護を引き受けた時に、故郷での論争の真っ只中に入った。