1963年曾以无党籍身份当选为第二、三届台湾省议员；1964年至1973年代表中国国民党任第五、六届屏东县县长；1972年获任命为台北市长；1976年担任内政部部长；1978年担任行政院政务委员，复出任中华民国体育运动总会会长及2000年3月31日担任亲民党高级顾问。1996年中华民国总统选举时，前司法院院长林洋港一度想找张丰绪搭档参选正副总统，但张丰绪后来婉拒其征询。2014年6月1日，张丰绪病逝于台北荣民总医院。