Breton ble gjort til titulærbiskop av den 12. mai 1941. men var uten biskoppelig ansvarsområde. Han fortsatte som misjonær i Tokyo fra 1942 til 1952, og ekspanderte misjonsposter, åpnet flere barneskoler og bygde nye kirker. Den 8. desember 1941 (dagen etter det japanske angrepet på Pearl Harbor) ble han arrestert av japansk politi. Han ble holdt i varetekt til 8. april 1942.