部侍郎。数年出任鲁州长史。开皇年间召还，历任比部侍郎、刑部侍郎，有能干的名声。转任治书侍御史。担任河南道大使，安辑流民。回朝担任判大理少卿。翌年，转任尚书右丞。母亲去世，守丧去职。守丧期满，命令起用就职治事，转任尚书左丞。597年（开皇十七年）、汉王杨谅担任并州总管，皇甫诞担任并州总管司马，作为汉王的辅佐。604年（仁寿四年），隋炀帝即位，征召杨谅入朝，杨谅被王頍劝说、起兵作乱。皇甫诞多次劝谏，杨谅不听将他投入狱中。杨素率军征讨杨谅，杨谅到清源出击杨素。主簿豆卢毓想要把皇甫诞放出狱，夺取并州城，不让杨谅