曰：“公隋朝宰辅，政乱不能匡救，遂令品物涂炭，君弑国亡。见李密、王充，皆拜伏舞蹈。今既老病，无劳相见也。”不久，归于长安，至朝堂请见，又不许。卒于长安家中，享年82岁。其子苏夔，有二子：十八学士之一的苏勖和台州刺史苏亶。苏亶的女儿是唐太宗的太子李承干的太子妃，苏亶的儿子苏瑰、孙子苏颋后来都做到了宰相。