玄武门之变后，李世民被立为皇太子，杜如晦任太子右庶子（唐书为左庶子，杜如晦碑为右庶子），不久迁任兵部尚书，进封蔡国公，赐实封一千三百户。贞观二年，杜如晦以本官摄侍中，兼吏部尚书，总监东宫兵马事务。贞观三年，杜如晦代长孙无忌为尚书右仆射，与左仆射房玄龄共掌朝政，制定了唐朝各个部门的规模及典章，被人们赞为良相，史有「房谋杜断」之称。同年冬天杜如晦因病辞职，唐太宗对他的病情极为关注，频频派人慰问，给他寻找名医和治病药物，到贞观四年五月终因病重而去世，年仅四十六。唐太宗对他去世极为痛心，追赠他为司空，徙封莱