培里留在了南京以维持公使馆的正常运作，没有南下。中国共产党当局没有承认该公使馆，他仍在中共统治区持续停留，但双方来往有限且教廷仍持续承认于年底迁都台北的中华民国政府。1951年9月4日，黎培理被中国人民解放军南京市军事管制委员会在炮击天安门案中以从事间谍活动为由驱逐出境。他在香港停留了一年，1952年到达台北复馆，继续维持中华民国政府与的梵蒂冈邦交。此后，梵蒂冈和中华人民共和国政府一直没有建立外交关系。1958年，中国天主教爱国会自选自圣了一批主教，梵蒂冈拒绝批准。
晚年.