幸福的时间里，他与妻子育有一个女儿，名为丽贝卡（Rebecca）。然而，妻子政治生涯的不断发展使他们二人聚少离多，个人价值观的不同更是为他们之间的关系蒙上了阴影——威廉姆斯是一个坚定的无神论者，而他的妻子则是一位虔诚的天主教徒。在他与当时还是历史学家昆廷·斯金纳（Quentin Skinner）妻子的帕特丽夏·劳·斯金纳（Patricia Law Skinner）的外遇之后，他们两人的婚姻也走向了终点。1974年两人离婚后，威廉姆斯与斯金纳成婚，并育有两子。雪莉·威廉姆斯曾这样评价他们的婚姻：……有两件