I 1877 trakk Williams seg tilbake til New Haven i Connecticut der han ble utnevnt til professor for kinesisk språk og litteratur ved Yale University. Ved hjelp fra sin sønn Frederick Wells Williams reviderte han grundig «The Middle Kingdom» (1883), og dempet mange nedsettende merknader fra hans unge år i misjonen. Han uttalte seg også mot restriksjoner på innvandring av kinesere, noe som mange i USA gikk i mot ved å mane frem et skremmebilde om «den gule fare».