948年12月22日，中国国民党中央常务委员会批准南京市市长沈怡辞职，由滕杰继任。12月24日，蒋介石特任命滕杰为南京市市长兼南京市党部主任委员，原任沈怡准免本职。1949年4月22日，解放军攻占南京城前一日，滕杰仍在办公、签发命令。随后，逃离南京，去往台湾，是为中华民国最后一位南京市市长。滕杰到台湾后，担任中国国民党国民大会党部书记长、第9届至第15届中国国民党中央评议委员。此外，他还历任国防研究院讲座、中央信托局理事会主席、光复大陆设计研究委员会委员、政治作战干部学校教授。