1923年（大正12年）11月初旬、ホフマンより「スグコイ ホフマン」という電報を受け、帰京する準備をしていたところ、萩へ赴任中だった司祭のエメ・ヴィリヨンが尋ねてきた。ヴィリヨンは、若きホイヴェルスに萩・津和野の教会を任せようと思い期待していたが、電報の内容を見るや落胆し、「イエズス会は駄目だ」と烈火のごとく怒った。ホイヴェルス自身も、出来るなら岡山に残り、布教活動をしたかった。