Lane-Fox est le fils aîné de Lady Charlotte Osborne (décédée en 1836) et de Sackville Lane-Fox (1797-1874), un homme politique britannique du Parti conservateur . Son frère cadet, Charles Pierrepont Darcy Lane-Fox, est blessé à la Bataille de l'Alma alors qu'il est officier dans la guerre de Crimée.