Derfra ble han den 15. oktober 1938 sendt som misjonær til Japan. Til 1940 studerte han språket, og arbeidet i et fattigkvarter i Tokyo. Fra 1940 til 1942 var han sogneprest i Yamaguchi. Fra 1942 virket Arrupe som novisemester i Hiroshima, der han noen år senere opplevde atombombeangrepet. Han befant seg i et solid steinhus noe utenfor totalødeleggelsessonen da bomben falt, og der kunne han og novisene innrette et nødhospital for de overlevende.