El 8 de diciembre de 1836, Fitz Roy se casó con Mary Henrietta O'Brien una joven con la cual había estado comprometido por mucho tiempo, tuvieron tres hijas y un hijo.