Durante esta época, descrita como Williams como una de las más felices de su vida, el matrimonio tuvo una hija, Rebecca, pero el desarrollo de la carrera política de su esposa distanció a la pareja y las marcadas diferencias en sus valores personales —Williams era ateo, mientras que su esposa era una devota católica— aportaron tensión a su relación, que se rompió cuando Williams tuvo una aventura con Patricia Law Skinner, esposa del historiador Quentin Skinner.