子并打算在那里终老，于是在当地隐居了十多年，与人和世间俗事都断绝。郗愔后来却被辅政的司马昱和尚书仆射江虨等举荐，被征召为光禄大夫，加散骑常侍。郗愔奉召入朝到任，但到后就迁任太常，郗愔坚决辞让。郗愔又表示谦让，乐于外出地方，于是改任辅国将军、会稽内史。太和二年（367年），郗愔迁任平北将军，都督徐兖青幽及扬州之晋陵诸军事，领徐、兖二州刺史，假节镇京口。然而，当时大司马桓温觊觎京口的军队，常说：「京口酒可饮，兵可用。」故此虽然当日以郗氏在徐兖二州有故义而由郗愔担此职，但其实内心是很不愿意由郗愔掌有京口。