保送到其主持的金陵军官教育团学习，期间结识张宗昌等人。李纯死后，张宗昌率部南征，黄于是投降张宗昌。因为好学上进，不次擢升，北伐前夕，已在张宗昌麾下徐源泉部升到旅长。1928年二次北伐中张宗昌的直鲁联军兵败蒋介石，所部被蒋吞并。后来随徐源泉投效革命。因在中原大战中作战有功，徐源泉所部扩编为第十六路军，基干部队只有第十军，下辖第41、48师，徐源泉兼任第48师师长，41师长是张振汉。北伐期间，蒋部队曾遭到黄部顽强阻击，损失惨重，一度引起蒋注意。此时黄仅是张麾下一个营长。因此后来受到蒋特别召见，据说给蒋留下印