丞、南郑县令；祖父吴罗，北齐洛阳县丞；父亲吴伯仁，隋朝任濮阳郡主簿。吴黑闼在隋末中原大乱时在家乡濮阳聚众自保，先后依附翟让、李密、王世充等割据势力，唐高祖武德二年（619年）闰二月十九，王世充与唐军在谷州九曲（今河南宜阳）会战时，与程知节、秦叔宝、牛进达等人在战场上投奔唐军，被拜为上开府，并在秦王李世民手下为将，任玄甲军左马军总管。此后随李世民破刘武周、宋金刚、窦建德、王世充等，赏赐金银、缯帛、骏马、宫人无数，封爵为泉陵县开国子。武德九年（626年）六月初四，吴黑闼跟随段志玄等秦王府诸将，伏兵于玄武