世叙是北魏凉州刺史，父亲辛灵辅是北周渭州刺史。辛彦之虚岁九岁时父亲去世，他不结交志趣不同的人，广泛涉猎经书和史书，和天水郡牛弘志向相同热爱学习。辛彦之后来西入关中，在京兆郡安家。宇文泰见到辛彦之后很器重他，引荐他担任中外府礼曹，赐给衣服马匹珠宝玉器。当时西魏刚刚建立，各种制度才开始制定，朝廷中的权贵大多是武将出身，修订礼仪制度的只有辛彦之而已。辛彦之很快担任中书侍郎，等到周孝闵帝宇文觉接受禅让，辛彦之与少宗伯卢辩专门掌管礼仪法度。周明帝、周武帝时期，辛彦之历任典祀、太祝、乐部、御正四曹大夫，加开府仪同三司，