后来王肃对其进行整理，凡二十七卷，现存十卷。在四库全书中为子部儒家类。《孔子家语》的争议很多。颜师古注《汉书》时，曾指出《孔子家语》二十七卷本“非今所有家语”。王柏《家语考》首先提出《孔子家语》是伪书，清代姚际恒《古今伪书考》、范家相《家语证伪》、孙志祖《家语疏证》，还有崔述、皮钖瑞、王聘珍、丁晏也都认为是伪书。孙志祖说：“至于《家语》，肃以前学者绝不及引……，其伪安国后序云以意增损，其言则已自供皇状然……夫叙孔子之书，而先言夺郑氏之学，则是传会古说攻驳前儒可知矣”。陈士珂《孔子家语疏证》则认为不是