Antes de marchar a West Point, se trasladó a Baltimore para pasar un tiempo con su tía viuda, Maria Clemm (hermana de su padre), su hija, Virginia Eliza Clemm (prima del poeta), su hermano William Henry, y su abuela inválida, Elizabeth Cairnes Poe.