后依附翟让、李密、王世充等割据势力，唐高祖武德二年（619年）闰二月十九，王世充与唐军在谷州九曲（今河南宜阳）会战时，与程知节、秦叔宝、牛进达等人在战场上投奔唐军，被拜为上开府，并在秦王李世民手下为将，任玄甲军左马军总管。此后随李世民破刘武周、宋金刚、窦建德、王世充等，赏赐金银、缯帛、骏马、宫人无数，封爵为泉陵县开国子。武德九年（626年）六月初四，吴黑闼跟随段志玄等秦王府诸将，伏兵于玄武门内（长安太极宫北面正门），杀死太子李建成、齐王李元吉，李世民继任皇太子，8月李渊退位，李世民即皇帝位，吴黑闼以功授