John Ponsonby stammte aus einer Familie mit langer militärischer Tradition. Sein Vater war General Sir Henry Frederick Ponsonby (1825–1895), von 1870 bis kurz vor seinem Tod Privatsekretär der Queen Victoria, und sein Großvater "Major General" Sir Frederick Cavendish Ponsonby (1783–1837), der im Krieg auf der iberischen Halbinsel unter Arthur Wellesley, 1. Duke of Wellington gegen Napoleon gekämpft hatte. Zur Familie Ponsonby gehörten auch die Earls of Bessborough, die durch Heirat mit den Dukes of Devonshire verwandt waren und der bei Waterloo gefallene "Major General" Sir William Ponsonby (1772–1815). Sir Johns Großmutter mütterlicherseits, Lady Elizabeth Grey, war eine Tochter von Charles Grey, 2. Earl Grey, der von 1830 bis 1834 Premierminister war.