于新安山，在那里改姓孙，以耕作及读书为务，得到当地人信赖。但孔愉及后突然离开，山中人都以为他是神人，为他立祠奉祭；另外，琅邪王司马睿于永嘉元年（307年）移镇建康，以孔惀为参军，其族人怎样找也找不到孔愉，而孔愉直至建兴年间才主动出来应召，当了司马睿的丞相掾，后转驸马都尉、参丞相军事，并以助讨华轶的功劳封余不亭侯。建武元年（317年），因晋愍帝于长安被俘，司马睿改号晋王，此后孔愉就长期兼任中书郎。司马睿在即晋王次年即位为帝，但及后就渐渐亲近刁协及刘隗，似乎疏远了王导。当时孔愉就上陈王导忠贞，亦是让其中兴晋