Isabellas yngre søster, Mary Anna, giftet seg i juli 1857 med Thomas J. Jackson som senere fikk kallenavnet «Stonewall» som konføderert offiser. Hill og Jackson hadde truffet hverandre under den mexicansk-amerikanske krigen og utviklet senere et tettere vennskap da begge bodde i Lexington i 1850-årene.