游养志，简静沉默，不以事物牵动心绪。郗愔与姊夫王羲之及高士许询都有超脱世俗的风范，如此三人都寄心于道家辟谷养生，修黄老之术。后来郗愔更以病离职，在章安建了房子并打算在那里终老，于是在当地隐居了十多年，与人和世间俗事都断绝。郗愔后来却被辅政的司马昱和尚书仆射江虨等举荐，被征召为光禄大夫，加散骑常侍。郗愔奉召入朝到任，但到后就迁任太常，郗愔坚决辞让。郗愔又表示谦让，乐于外出地方，于是改任辅国将军、会稽内史。太和二年（367年），郗愔迁任平北将军，都督徐兖青幽及扬州之晋陵诸军事，领徐、兖二州刺史，假节镇京口。