保禄是该堂的主保圣人。1925年5月20日，罗马天主教廷在越南设立的梵蒂冈驻越南办事处，负责越南、泰国、柬埔寨和老挝四国事务，就毗邻府柑教堂。该堂在建新堂时已经拆除。1951年，办事处迁至河内。1968年2月，400多名南越政权的支持者被越南南方民族解放阵线在大教堂围捕，带往小溪边枪杀。2014年10月8日，黎文洪总主教（Francis Xavier Lê Văn Hồng）主持了新主教府落成的剪彩和祝福仪式。它是用当地和海外的捐助建造的。