Manning nació en Totteridge, Hertfordshire, el tercero y el menor de los hijos de William Manning, que fue comerciante en la parte occidental de la India, que fue director y gobernador del Banco de Inglaterra entre 1812 - 1813, y que permaneció en el Parlamento durante treinta años, representando como “Tory” a Plympton Earle, Lymington, Evesham, Worcestershire, y a Penryn, Cornwall consecutivamente.