宇文仲与颜之仪见到郑译等人，犹豫后打算离宫，杨坚便逮捕他们。北周宣帝去世后，杨坚揽大权，皇甫绩有功，升任上开府，转任内史中大夫，晋爵为郡公爵，食邑千户。不久被任命为大将军。
灭陈平叛.581年，杨坚废北周静帝，自立为帝，改元开皇，建立隋朝，皇甫绩出任豫州刺史，增邑连前总共二千五百户。后任都官尚书。几年后，转任晋州刺史。要赴任时，皇甫绩向杨坚建言可以灭陈。其中有三个理由，分别是以大吞小、有道伐无道、陈国接纳叛臣萧岩，所以有理由讨伐，皇甫绩还请求自身前往讨伐，杨坚嘉奖其壮志，慰