Med Townsend Harris-traktaten av 1858 ble Yokohama og Nagasaki i Japan åpnet for utenlandsk handel og bosetting. Brown seilte til førstnevnte havneby og opprettet en skole som skulle utdanne hundrevis av unge menn fra alle samfunnslag. Han oversatte Det nye testamente og underviste og forkynte i tyve år. Han var en av grunnleggerne av The Asiatic Society of Japan, og var en sentral skikkelse for utformingen av det nye Japan.