苏威以隐士被征召，被提拔到位高权重的职务，何不各自效仿他。”于是韦福嗣与杜淹一起进入太白山，对外宣扬要隐遁，实际想要企求时人的称誉。隋文帝杨坚听说后讨厌他们，将两人流放到江南。大赦天下后，杜淹回京。雍州司马高孝基上表推荐，朝廷授他承奉郎。大业末年，官至御史中丞。618年，隋朝灭亡，次年王世充在洛阳废皇泰主杨侗自立为郑国皇帝。以杜淹为吏部尚书，很是信任。杜如晦的大哥和弟弟杜楚客密谋在洛阳起事，事情泄露，哥哥被杀，杜楚客被关押。621年，李世民平定洛阳，差点杜淹作为郑国高官被杀，是杜楚客说服哥哥杜如晦营救。