Henry Ponsonby nació el 10 de diciembre de 1825, sus padres fueron el general del ejército británico sir Frederick Cavendish Ponsonby y lady Emily Charlotte Bathurst. Ascendió al rango de teniente coronel en la Grenadier Guards (en español: Guardia de Granaderos) y luchó en la Guerra de Crimea. Sirvió como asistente personal del príncipe Alberto a partir de 1856. Después del fallecimiento del príncipe en 1861, se convirtió en asistente de la reina Victoria, hasta que fue nombrado su secretario privado el 8 de abril de 1870, tras la muerte del secretario previo, el general Charles Grey. En 1878, fue nombrado además como encargado de las finanzas personales de la reina.