年王世充在洛阳废皇泰主杨侗自立为郑国皇帝。以杜淹为吏部尚书，很是信任。杜如晦的大哥和弟弟杜楚客密谋在洛阳起事，事情泄露，哥哥被杀，杜楚客被关押。621年，李世民平定洛阳，差点杜淹作为郑国高官被杀，是杜楚客说服哥哥杜如晦营救。杜淹起初想投靠唐朝的太子李建成。负责选官的封德彝告诉了房玄龄，房玄龄怕太子得到会阴谋的杜淹对李世民不利，便推荐杜淹为天策府兵曹参军、文学馆学士。624年，庆州总管杨文干私运东宫铠甲，事发，唐高祖大怒，囚禁了李建成。杨文干害怕举兵谋反，被李世民平定。事后，齐王李元吉的劝说下，唐高祖