柳玉岫抚养，柳玉岫亲自给他传授诗书经传。北周天和年间，辛公义因为是家世良好的子弟被选为太学生，以勤劳刻苦而闻名。周武帝宇文邕时期，辛公义被征召进入露门学，接受命令学习道义。辛公义每月召集在皇帝面前，受命与大儒谈论商讨，多次受到赞叹称异，当时的人都羡慕他。建德初年，辛公义被授宣纳中士，跟随平定北齐，屡次升任掌次上士、扫寇将军。杨坚担任丞相时，辛公义被授任内史上士，参与掌管机密重要的事务。开皇元年（581年），辛公义担任主客侍郎，兼管内史舍人的事务，被赐予安阳县男的爵位，食邑二百户。每次南陈使者前来隋朝，辛公义