Er entstammte einer adligen Familie: Sein Großvater Frederic Augustus Thesiger, 2. Baron Chelmsford war Teilnehmer der Äthiopienexpedition von 1868 und später Oberbefehlshaber im Zulukrieg gewesen; sein Onkel Frederic John Napier, 3. Baron Chelmsford, war Vizekönig von Indien 1916–1921.