En 1864, después de la muerte de su esposa, se comprometió con la ex-espía estadounidense confederada Rose O'Neal Greenhow, pero poco después del compromiso, Greenhow murió ahogada en Carolina del Norte.