En cuanto a su vida privada, Douglass tuvo cuatro hijos, dos de los cuales, Charles y Rossetta, le ayudaron con la publicación de su diario; además, fue ordenado pastor de la Iglesia Episcopal Metodista Africana.