626年，玄武门之变后，李世民即位为唐太宗。召回了杜淹，拜御史大夫，封安吉郡公，赐实封四百户。因为杜淹通晓古代典章，特诏东宫仪式簿领，由他主管。627年，杜淹判吏部尚书，参议朝政，成为宰相之一。前后推荐四十余人，后来多为知名官员。杜淹曾推荐刑部员外郎郅怀道，太宗问杜淹：“郅怀道才行怎么样？”杜淹回答：“怀道在隋朝作吏部主事，有清廉谨慎之名。隋炀帝三下江都时，行计已决，公卿都违心赞同巡游，郅怀道官位极卑，独称不可。臣亲眼所见。”太宗问：“卿当是对下江都怎么说的？”杜淹回答：“臣从行计。”太宗问：“事君