Si Henry Cavendish ay ipinanganak noong 10 Oktubre 1731 sa Nice, Pransiya kung saan ang kanyang pamilya ay nakatira sa mga panahong it. Ang kanyang ina ay si Lady Anne Grey na anak ni Henry Grey, Unang Duke ng Kent at ang kanyang ama ay si Lord Charles Cavendish na anak ni William Cavendish, Ikalawang Duke ng Devonshire. Matutunton ang angkan ni Cavendish sa paglipas ng walong siglo sa mga panahon ng Norman at malapit na kaugnay ng mga artistokratang mga pamilya sa Britanya.