1862年7月31日，年文思主教因霍乱去世。1865年2月2日，郎怀仁主教由直隶东南代牧区调任江南代牧区宗座代牧，他立刻着手恢复受战乱毁坏的当地天主教会。1867年，他前往罗马，带回了虔诚的拯亡会和加尔默罗会修女，将她们安置在徐家汇耶稣会总院的对面（圣母院和圣衣院）。同一时期，他创办了徐家汇观象台，在1870年参加第一次梵蒂冈大公会议，但是在1874年中风，失去自理能力。