Balliol College, Oxford
威廉姆斯出生于英国埃塞克斯郡滨海韦斯特克利夫（Westcliff-on-Sea），是一个公务员的独子。他曾就读于奇格威尔学校（Chigwell School），后来到牛津大学贝利奥尔学院学习古典人文科学，并于1951年以罕见的第一级荣誉学位毕业。之后，他加入英国皇家空军服役一年，还曾前往加拿大驾驶喷火战斗机。