Williams ble født som den eneste sønnen av en offentlig tjenestemann. Han ble utdannet ved Chigwell School, og leste (antikkens klassiske litteratur) ved Balliol College ved Universitetet i Oxford. Han tok eksamen i 1951 og fikk sin grad med utmerkelse av første klasse, før han avtjente sin ett-årige verneplikt i det britiske flyvåpen. Mens han var på permisjon i New York møtte han sin fremtidige kone, Shirley Brittain-Catlin (datter av statsviteren George Catlin og romanforfatteren Vera Brittain), som studerte ved Columbia University. 22 år gammel reiste Williams tilbake til England sammen Shirley; de giftet seg i 1955. Shirley ble senere valgt inn i det britiske underhuset for Labour Party, men hoppet etterhvert over til det mer moderate Social Democratic Party.