攻占南京城前一日，滕杰仍在办公、签发命令。随后，逃离南京，去往台湾，是为中华民国最后一位南京市市长。滕杰到台湾后，担任中国国民党国民大会党部书记长、第9届至第15届中国国民党中央评议委员。此外，他还历任国防研究院讲座、中央信托局理事会主席、光复大陆设计研究委员会委员、政治作战干部学校教授。
晚年经历.1981年，滕杰任台湾军火输出贸易公司董事长。1988年，蒋经国逝世。经历二月政争后，李登辉继任中国国民党主席。1990年1月，李登辉宣布以李元簇为其副手，搭挡竞选中华民国