En febrero de 1860, Virgil desposa a Ellen Sysdem antes de unirse al ejército unionista, teniendo ambos una hija.