Ričards je rođen 18. decembra 1943. u bolnici Livingston u Dartfordu, Kent, Engleska. On je jedino dete Doris Maud Lidia (rođena Dupri) i Herberta Viliama Ričardsa. Njegov otac je bio fabrički radnik koji je bio ranjen u Drugom svetskom ratu tokom invazije na Normandiju. Ričardsovi deda i baka po ocu, Erni i Elajza Ričards, bili su socijalisti i građanski lideri, za koje je on smatrao da su „manje ili više stvorili Laburističku stranku Voltamstoa”, a oboje su bili gradonačelnici opštine Voltamstou u Eseksu, pri čemu je Elajza je postala gradonačelnica 1941. Porodica njegovog pradede potiče iz Velsa.