年后，转任晋州刺史。要赴任时，皇甫绩向杨坚建言可以灭陈。其中有三个理由，分别是以大吞小、有道伐无道、陈国接纳叛臣萧岩，所以有理由讨伐，皇甫绩还请求自身前往讨伐，杨坚嘉奖其壮志，慰劳并派遣他去。平定后，皇甫绩被任命为苏州刺史。高智慧等人在江南作乱，苏州顾子元发兵响应，顾子元受命攻打皇甫绩。双方相持了八十天。顾子元素来感激皇甫绩的大恩，在冬至时，顾子元派使者送上牛肉和酒。皇甫绩便写书信给顾子元，顾子元得书信后，跑到城下顿首谢罪。后来杨素的援军赶到，合兵击破叛军。开皇十二年（592年），皇甫绩被任命为信州