在隋朝大业年间起家为雍州从事，吏部侍郎高孝基很是器重他，赞扬他有应变之才，是栋梁之才。隋炀帝前往江都游玩时，代替王使君判留守事。秦王李世民平定京城时，引为秦王府兵曹参军。当时的太子李建成对杜如晦非常忌晦，他对齐王李元吉说：“秦王府中可惮之人，惟杜如晦与房玄龄耳。”被外调出秦王府。经房玄龄周旋，李世民又将他调回幕府。此后跟随李世民东征西讨，为其参谋军国大事，平定了薛仁果、刘武周、王世充、窦建德等诸路诸侯。以功勋累迁陕东道大行台司勋郎中，封建平县男，食邑三百户。不久以本官兼任文学馆学士。李世民的天策府建立后