义被征召进入露门学，接受命令学习道义。辛公义每月召集在皇帝面前，受命与大儒谈论商讨，多次受到赞叹称异，当时的人都羡慕他。建德初年，辛公义被授宣纳中士，跟随平定北齐，屡次升任掌次上士、扫寇将军。杨坚担任丞相时，辛公义被授任内史上士，参与掌管机密重要的事务。开皇元年（581年），辛公义担任主客侍郎，兼管内史舍人的事务，被赐予安阳县男的爵位，食邑二百户。每次南陈使者前来隋朝，辛公义常常奉旨接待宴请南陈的使者。辛公义后转任驾部侍郎，被派往江陵安抚隋朝边境。开皇七年（587年），辛公义被派去考察各地的养马，得到十多万