我决不辞职。如果日本驻屯军参谋长要我辞就辞，我到底是日本官吏，还是中国官吏？”同时打电报给行政院长汪精卫表明立场。日本人对张廷谔恨之入骨，一再要求罢免张廷谔，在这万分危机的时刻，张廷谔已作好了牺牲的准备。1935年6月何应钦和日本梅津美治郎签署的「何梅协定」将“于学忠及张廷谔一派之罢免”作为第一条第一款，中央政府以张“南下另有任用”为由卸职。
治理城市.张廷谔在市长任内除和日本人斗争外，在市政建设及整顿社会治安方面也作了不少事：张廷谔任天津市长仅半年多，曾被张季鸾誉为“政绩空