Williams hadde lært noe japansk sent i 1830-årene i et forsøk på å føre noen skipbrudne japanske sjøfolk tilbake til Japan, og i 1853 og 1854 ledsaget han Perryekspedisjonen til Japan som tolk. Hans «Journal of the Perry Expedition to Japan, 1853-1854», ble publisert posthumt i 1910.