A los 22 años, tras obtener una plaza en el All Souls College, Oxford, Williams volvió a Inglaterra con Shirley; se casaron en 1955.