Manning pasó su juventud principalmente en Coombe Bank, Sundridge, Kent, donde tuvo por compañeros a Charles y Christopher Wordsworth, quienes fueron Obispos de St Andrews y de Lincoln respectivamente.