瑟发觉尤海姆的行为不太正常，决定让他住进精神病院。尤海姆没有，屡次出现异常行为，如常常从医院逃走等，于是埃莉瑟决定让他返回德国接受治疗。几年后，尤海姆的病情好转，回到了日本，可他性格大变，不再像从前那么开朗，也无法像从前那样工作。此外，随着1941年太平洋战争开战后，日军节节败退，物资供应短缺，制作糕点的原材料严重匮乏，使店铺的生计愈加难以维系。1944年，店铺不再续租，一家人只经营面包作坊（该作坊专门为德国海军士兵提供烤面包）。1945年6月，作坊因空袭而停产，尤海姆一家在神户市滩区六甲山上的安顿下来