Apostolic vicariate
1876年（明治10年）10月にカトリック神田教会の助任司祭に赴任したが、1879年（明治12年）6月にはカトリック浅草教会へ転属し、カトリック本所教会設立や孤児院の運営に携わった。1881年（明治14年）には浅草教会主任司祭のラングレーが病に倒れ孤児の世話が出来なくなったため、フォーリーは孤児院の院長に任命される。しかし、院長の職務に不満だったフォーリーは「自分が日本に来たのは小さい子供たちの小便の世話をするために来たのではない」と言って嘆いた。その後、フォーリーは東京脱出を企て、意図的に孤児院にあった立派な日本庭園を上司に無断で破壊し、野菜畑に変えてしまった。この行為は予想通り多くの信徒の反感を招き、次第にフォーリーへの非難が激しくなっていった。それに対し、初めは黙殺の態度をとっていた日本北緯使徒座代理区教区長のピエール・マリー・オズーフも、ついにフォーリーを北海道及び青森県の巡回布教師という職を与え函館へ転出させた。