I april 1937 måtte han grunnet en anklage om homofili fratre sin stilling. Kort efter dette reiste han tilbake til Japan. Til tross for sin senere rehabilitering dro han aldri tilbake til Tyskland.