Apostolic vicariate
1891年（明治24年）4月17日、日本北緯使徒座代理区より北海道と東北地方を分離して函館使徒座代理区が設立され、同年6月15日には函館司教区に昇格し、教区長にベルリオーズが就任した。ベルリオーズはフォーリーの担当地域が広く、また植物採集活動の範囲も次第に広域になったことを考慮し、1890年（明治23年）から1894年（明治27年）の間、青森県を他の司祭の担当とした。1893年（明治26年）には「新撰日本苔蘚譜」を著作したが、長年休む間も無く植物採集活動と布教活動を行っていたため、フォーリーの健康状態は少しずつ悪化した。