Chamberlain ankom Japan den 29. mai 1873. Han underviste fra 1874 til 1882 ved Den keiserlige marineskole i Tokyo. Hans viktigste stilling var imidlertid som professor for japansk språk ved Det keiserlige universitet i Tokyo fra 1886. Her vant han seg et ry som lærd innen japansk språk og kultur.