晋爵为郡公爵，食邑千户。不久被任命为大将军。
灭陈平叛.581年，杨坚废北周静帝，自立为帝，改元开皇，建立隋朝，皇甫绩出任豫州刺史，增邑连前总共二千五百户。后任都官尚书。几年后，转任晋州刺史。要赴任时，皇甫绩向杨坚建言可以灭陈。其中有三个理由，分别是以大吞小、有道伐无道、陈国接纳叛臣萧岩，所以有理由讨伐，皇甫绩还请求自身前往讨伐，杨坚嘉奖其壮志，慰劳并派遣他去。平定后，皇甫绩被任命为苏州刺史。高智慧等人在江南作乱，苏州顾子元发兵响应，顾子元受命攻打皇甫绩。双方相持了八十天。