唐肃宗登基后，玄宗派遣张镐至肃宗行在所在。张镐至凤翔府，因奏识多有弘益，拜谏议大夫。至德二年（757年），五月任中书侍郎、同中书门下平章事。肃宗派遣僧人数百人在道场，晨夜诵佛，张镐谏曰：“帝王当修德以弭乱安人，未闻饭僧可致太平也！”。八月取代拥兵不进的贺兰进明，任河南节度使。十月张镐得知睢阳围急，以急行军前往救援，又命令谯郡太守闾丘晓前去救援。待张镐军至，睢阳城已陷三日。史思明要求归顺唐朝。张镐密奏指出史思明“凶残狡诈，诡计多端”，早有反唐的野心，肃宗不听，贬为荆州大都督府长史。不久，史思明再次起兵攻入邺城