唐高祖平京師，秦王引為府兵曹參軍，徙陝州總管府長史。時府屬多外遷，王患之。房玄齡曰︰「去者雖多，不足吝，如晦王佐才也。大王若終守藩，無所事；必欲經營四方，捨如晦無共功者。」王驚曰︰「非公言，我幾失之。」因表留莫府。從征伐，常參帷幄機祕。方多事，裁處無留，僚屬共才之，莫見所涯。進陝東道大行臺司勳郎中，封建平縣男，兼文學館學士。天策府建，為中郎。王為皇太子，授左庶子，遷兵部尚書，進封蔡國公，食三千戶，別食益州千三百戶。俄檢校侍中，攝吏部尚書，總監東宮兵，進位尚書右僕射，仍領選。