El 30 de septiembre de 1863, el hermano de Whitman, George, fue capturado por los confederados de Virginia, y otro hermano, Andrew, murió de tuberculosis causada por el alcoholismo en diciembre.