George Cavendish var den eldste sønnen til Thomas Cavendish (død 1524), som var senior regnskapsfunksjonær ved Skattkammeret , og hans hustru Alice Smith av Padbrook Hall. Han var barnebarns sønn av sir John Cavendish som hertugene av Devonshire og hertugene av Newcastle arvet familienavnet Cavendish fra. Hans bror var William Cavendish (1505–1557), den tredje ektemannen til Bess av Hardwick, og som var i tjeneste hos den mektige Thomas Cromwells.