Han hadde giftet seg i 1841 med Marie Laure Villeré som var fra en av de mest prominente familiene i Louisiana, og fikk tre barn, men han ble enkemann allerede i 1850.