與玄齡共筦朝政，引士賢者，下不肖，咸得職，當時浩然歸重。監察御史陳師合上《拔士論》，謂一人不可總數職，陰刺諷如晦等。帝曰︰「玄齡、如晦不以勳舊進，特其才可與治天下者，師合欲以此離間吾君臣邪。」斥嶺表。久之，以疾辭職，詔給常俸就第，醫候之使道相屬。會病力，詔皇太子就問，帝親至其家，撫之梗塞。及未亂，擢其子左千牛構兼尚舍奉御。貞觀四年薨，年四十六，帝哭為慟，贈開府儀同三司。及葬，加司空，諡曰成。手詔虞世南勒文於碑，使言君臣痛悼意。