时，与程知节、秦叔宝、牛进达等人在战场上投奔唐军，被拜为上开府，并在秦王李世民手下为将，任玄甲军左马军总管。此后随李世民破刘武周、宋金刚、窦建德、王世充等，赏赐金银、缯帛、骏马、宫人无数，封爵为泉陵县开国子。武德九年（626年）六月初四，吴黑闼跟随段志玄等秦王府诸将，伏兵于玄武门内（长安太极宫北面正门），杀死太子李建成、齐王李元吉，李世民继任皇太子，8月李渊退位，李世民即皇帝位，吴黑闼以功授右勋卫中郎将，进封新乡县开国公。不久迁任左卫中郎将。贞观二年（628年），吴黑闼被授持节宕州(今甘肃省宕昌县)