因秃顶，被人称为“黄秃子”。大约在13岁，黄百韬开始在河北工专中学部学习。不久在友人帮助下前往江西投军，辗转来到江苏。早年在江苏督军李纯部下当传令兵。李纯将心爱的一个婢女许给黄为妻，而且很快在此婢女协助下黄被李保送到其主持的金陵军官教育团学习，期间结识张宗昌等人。李纯死后，张宗昌率部南征，黄于是投降张宗昌。因为好学上进，不次擢升，北伐前夕，已在张宗昌麾下徐源泉部升到旅长。1928年二次北伐中张宗昌的直鲁联军兵败蒋介石，所部被蒋吞并。后来随徐源泉投效革命。因在中原大战中作战有功，徐源泉所部扩编为第十六路军，基