颜之仪则和宦官谋划让大将军宇文仲辅政。宇文仲抵达北周宣帝御座前，郑译闻讯后率开府杨惠、刘昉、皇甫绩、柳裘一同入宫。宇文仲与颜之仪见到郑译等人，犹豫后打算离宫，杨坚便逮捕他们。北周宣帝去世后，杨坚揽大权，皇甫绩有功，升任上开府，转任内史中大夫，晋爵为郡公爵，食邑千户。不久被任命为大将军。
灭陈平叛.581年，杨坚废北周静帝，自立为帝，改元开皇，建立隋朝，皇甫绩出任豫州刺史，增邑连前总共二千五百户。后任都官尚书。几年后，转任晋州刺史。要赴任时，皇甫绩向杨坚建言可以灭陈。其中有三