获举孝廉、茂才，太尉陈蕃、大将军窦武闻其才而连辟，但不仕，灵帝时入京为征为光禄勋议郎，转北地太守。
黄巾之乱.中平元年（184年）黄巾之乱爆发，几十天的时间各地都有所响应，京师震动。于是汉灵帝召开了群臣会议，皇甫嵩认为应该要解除党禁，并且拿出中藏钱及西园厩马，赏赐给将士，汉灵帝同意。接着召集全国精锐部队，任命皇甫嵩为左中郎将，持节，偕同北中郎将卢植和右中郎将朱儁等讨伐黄巾贼，而皇甫嵩和朱儁被任命先行讨伐肆虐颍川郡的黄巾贼。<br>皇甫嵩等率领四万余人，两人决定分兵前进，不料朱儁