Da biskop Petitjean returnerte etter sin deltagelse på Vatikankonsilet i Roma i desember 1870, valgte han å flytte sin residens til Yokohama.