入寇，代宗逃至陕西，郭子仪请以第五琦为粮料使、兼御史大夫，充关内元帅副使。不久，改京兆尹（首都市长）。大历元年（766年），同刘晏分理财政。大历五年（770年），因鱼朝恩事牵连，贬括州刺史。八年改饶州刺史。十三年再改湖州刺史。建中三年（782年）八月卒。赠太子少保。三子：第五峰，台州刺史；第五平，京兆兵曹参军；第五申，其子第五牟兼御史中丞。