作战无法讨平他们，又因黄巾之乱时得罪过宦官赵忠及张让，遂被二人表奏「连战无功，所费者多」，于当年秋季被征还，被收回皇甫嵩左车骑将军印绶，削户六千，改封都乡侯。中平四年（187年），凉州王国起兵叛乱，并在次年围陈仓。朝廷再度起用皇甫嵩为左将军，督前将军董卓各率二万人抵抗。当时董卓想速赴陈仓，但皇甫嵩认为陈仓守备坚固，足以守住王国进攻，可待屡攻不破的王国兵疲然后获得全胜，不战而屈人之兵，没有急急赶去为陈仓解围。而王国自该年冬季起到明年春季围困陈仓城共计八十多日，仍然无法攻破，士兵疲累不堪被逼退去，皇甫嵩遂决