Генри Кавендиш родился 10 октября 1731 года в Ницце в семье лорда Чарльза Кавендиша, сына второго герцога Девоншира Вильяма Кавендиша, и леди Анны Грей, дочери первого герцога Кента Генри Грея. Семья Кавендишей была тесно связана с многими аристократическими семьями Великобритании, её история насчитывает около восьми веков и восходит к эпохе норманнов. Леди Анна умерла, предположительно от туберкулёза, вскоре после рождения младшего брата Генри Фредерика, так что ни один из мальчиков не знал мать.