宗仁当选副总统后，白崇禧、李宗仁仍然积极进行内战。对此十分不满，又受西南军政长官公署军政长官张群的劝诱，于1949年2月辞去湖北省政府主席职务，6月任西南军政长官公署政务委员会委员兼秘书长。第二次国共内战末期，中国人民解放军逼近重庆，逃往香港，后来又转赴台湾。在台湾，从政坛完全引退。1958年10月2日，病逝于台北市。享年67岁。
家庭.其子张澄基为佛学家。