Cadogan var den åttende sønn og yngste barnet av George Cadogan, 5. jarl av Cadogan, og hans første kone Lady Beatrix Jane Craven.