投靠唐朝的太子李建成。负责选官的封德彝告诉了房玄龄，房玄龄怕太子得到会阴谋的杜淹对李世民不利，便推荐杜淹为天策府兵曹参军、文学馆学士。624年，庆州总管杨文干私运东宫铠甲，事发，唐高祖大怒，囚禁了李建成。杨文干害怕举兵谋反，被李世民平定。事后，齐王李元吉的劝说下，唐高祖释放了李建成，而归罪于杜淹和东宫的属官韦挺将他流放到巂州。李世民知淹无罪，赠以黄金三百两。626年，玄武门之变后，李世民即位为唐太宗。召回了杜淹，拜御史大夫，封安吉郡公，赐实封四百户。因为杜淹通晓古代典章，特诏东宫仪式簿领，由他主管。