Cavendish ble født i 1560 i Trimley St. Martin i nærheten av Ipswich i Suffolk. Han var etterkommer av Roger Cavendish, broren til Sir John Cavendish fra hvem hertugene av Devonshire har fætt sitt slektsnavn Cavendish. Da han var 15 år gammel begynte han på Corpus Christi College ved Cambridge University, men avsluttet studiene etter to år. Han var parlamentsmedlem for Shaftesbury i Dorset i 1584 og Wilton i 1586. I 1585 seilte han med Sir Richard Grenville til Virginia. Han gjennomførte deretter sin første jordomseiling fra 1586 til 1588, og la i 1591 ut på sin andre reise. I mai 1592 omkom han av ukjent årsak i Sør-Atlanteren.