近台南纺织后甲总厂土地，使得与南纺财团关系密切的张丽堂遭到外界质疑图利财团。而1976年发生建设局长王钦诚涉入诈赌案，也使张丽堂声望受到波及，一度遭到省府民政厅提案申诫。1977年第八届市长选举中，张丽堂再获国民党提名竞选连任。遇上与党外势力合作的苏南成再度卷土重来。最后张丽堂以113,627票败给苏南成的131,504票，落选市长。
卸任后.1978年，张丽堂出任南台工专副校长。同年，受蒋经国院长征召，担任行政院研究发展考核委员会副主委。1981年8月出任国民党台南县党部主委