秦王李世民平定京城时，引为秦王府兵曹参军。当时的太子李建成对杜如晦非常忌晦，他对齐王李元吉说：“秦王府中可惮之人，惟杜如晦与房玄龄耳。”被外调出秦王府。经房玄龄周旋，李世民又将他调回幕府。此后跟随李世民东征西讨，为其参谋军国大事，平定了薛仁果、刘武周、王世充、窦建德等诸路诸侯。以功勋累迁陕东道大行台司勋郎中，封建平县男，食邑三百户。不久以本官兼任文学馆学士。李世民的天策府建立后，杜如晦任从事中郎，被画像纪念的天策府十八学士中，以杜如晦为首，其画像上的赞语为：“建平文雅，休有烈光。怀忠履义，身立名扬。”