Han var gift to ganger. Først med Elizabeth, datter av bankmannen Abel Smith i Nottingham, og med henne fikk han to døtre. Deretter var han gift med Mary, datter av Henry Lannoy Hunter, en advokat fra Beech Hill i Reading i Berkshire; med henne fikk han fire sønner og fire døtre. Én av disse fire sønnene var Henry Manning, som ble anglikansk prest, en leder av Oxfordbevegelsen, konvertitt til katolisismen, så katolsk prest og så erkebiskop av Westminster (1865) og kardinal.