淹年幼时，聪辩多才艺，有美名，与同乡韦福嗣是情投意合的朋友，开皇年间，他们互相谋划说：“皇上喜欢任用合乎正道的退隐人士，苏威以隐士被征召，被提拔到位高权重的职务，何不各自效仿他。”于是韦福嗣与杜淹一起进入太白山，对外宣扬要隐遁，实际想要企求时人的称誉。隋文帝杨坚听说后讨厌他们，将两人流放到江南。大赦天下后，杜淹回京。雍州司马高孝基上表推荐，朝廷授他承奉郎。大业末年，官至御史中丞。618年，隋朝灭亡，次年王世充在洛阳废皇泰主杨侗自立为郑国皇帝。以杜淹为吏部尚书，很是信任。杜如晦的大哥和弟弟杜楚客密谋在洛阳