Establecieron un hogar en el 18 de Duke Street (Westminster, Londres), y tuvieron tres hijos: Isambard Brunel Junior (1837-1902), Henry Marc Brunel (1842-1903) y Florence Mary Brunel (1847-1876).