担任礼部尚书，与祕书监牛弘撰写新的礼仪。吴兴郡沈重被人称为大学者，隋文帝曾经命令尝令辛彦之与沈重谈论学问。沈重不能抗衡，于是离开座位道歉说：“辛君的辩论是所谓的金城汤池一样坚固，没有可以进攻的形势。”隋文帝非常高兴。辛彦之后来担任随州刺史，当时州刺史大多向朝廷进贡珍贵的玩物，只有辛彦之向朝廷进贡祭祀用的物品。隋文帝称赞他，对朝中大臣说：“人怎能不学习！辛彦之进贡的东西，就是考察古事的功劳。”辛彦之后来又转任潞州刺史，前后都施行仁政。辛彦之又崇信佛道，在城内建立了两座佛塔，都是十五层。