Påvirket av en hjerneblødning i 1934 og et hjerneslag i 1937, frasa han seg den 5. februar 1937 ledelsen av bispedømmet og trakk seg tilbake til hjembyen. Han vendte tilbake til bispedømmet sitt etter atombombingen av Nagasaki for å føre tilsyn med gjenoppbyggingen av byen, og slo seg ned i Ōmura.