于曾公亮并不完全依附于他，于是听任他被罢相。苏轼曾经神情严肃地责备曾公亮不能纠正当时弊病，曾公亮回答说：“皇上与王安石如同一个人，这是天意。”世人讥讽他保持禄位加固宠幸的行为。曾公亮的父亲当过刑部郎中，曾公亮自己的儿子曾孝宽又当上右丞相，到了南宋又有曾怀、曾从龙等人位极人臣，一家共出了四位宰相一位状元，人称“四相一魁”、“一门四相”或“曾半朝”。曾公亮的历史巨着《武经总要》是一部国防军事的百科全书，里面记载了世界上第一支“火药火箭”。