只说：“刚才没有遵命离去，是因为我腹中很饿。”羊孚的弟弟羊辅娶王讷之的女儿王僧首为妻，等到王家见女婿的时候，羊孚送羊辅一起前往王家。当时王讷之的父亲东阳郡太守王临之还在世，殷仲堪是王临之的女婿，也在王家就坐。羊孚非常善于谈论玄学，于是就和殷仲堪谈论《庄子·齐物论》，殷仲堪率先发难，羊孚说：“您在四个回合后就与我的观点一致了。”殷仲堪笑着说：“要把自己的观点说清楚，何必一定相同。”四个回合后两人的观点果然一致了。殷仲堪赞叹说：“我再没有什么异议了。”殷仲堪对羊孚的卓绝才华感叹了很久。元兴元年（402年