是古董交易商玛丽安·安德鲁（Marian Andrew）及公司高级主管李察·诺曼·威廉斯（Richard Norman Williams）的儿子。他的曾曾曾曾曾祖父是康乃狄克参议员，远房亲戚是艺人费尼尔司·泰勒·巴纳姆，而另一名远房亲戚则是政治家罗伯特·崔特·潘恩。高中时，威廉斯参加了美式足球队。他毕业于康涅狄格州的和宾夕法尼亚州的富兰克林与马歇尔学院。