Walsingham var sønn av Thomas de Grey, 5. baron Walsingham, og ble født på Stanhope Street i Mayfair, familiens bolig i London. Han fikk utdannelse fra Eton og Trinity College i Cambridge. Han var konservativt parlamentsmedlem for West Norfolk fra 1865 til 1870, da han overtok tittelen og eiendommen etter sin far og ble medlem av House of Lords. Fra 1874 til 1875 var han Lord-in-Waiting (regjeringens whip) i den andre regjeringsperioden til Benjamin Disraeli. Fra 1870 av drev han også familiens gods i Merton, Norfolk og tjente som trustee for British Museum og hadde flere andre offentlige oppgaver.