地，杨暕怀恨在心。隋炀帝杨广即位，扬州长史王弘入朝担任黄门侍郎，趁机说辛公义的坏话，辛公义最终离职。扬州官吏百姓在门外申诉冤屈，络绎不绝。之后几年，隋炀帝醒悟，授任辛公义内史侍郎。辛公义为母亲柳玉岫守丧离职，不久，被起用担任司隶大夫，检校右御卫武贲郎将。大业十年（614年），辛公义跟随隋炀帝出征高丽，快到柳城郡时去世，虚岁六十二。