George ble sannsynligvis født ved sin fars gods Cavendish i Suffolk, men senere flyttet familien til London i sognet St Albans, Wood Street hvor Thomas Cavendish døde i 1524. På rundt samme tid giftet George seg med Margery Kemp av Spains Hall, en arving og niese av Thomas More.