I 1872 ble huset til Douglass i Rochester i New York brent ned til grunnen, og han flyttet til Washington, D.C.. Douglass holdt nå mange taler, blant annet ved Bates College i Maryland. Fra 1877 bodde han i sitt endelige hjem i Cedar Hill i Washington, samme år som han ble utnevnt til US Marshall i hovedstadsprovinsen.