互相非常友善。辛绍先有天赋的卓绝品性，为父亲辛渊守丧时三年不吃甘美的食物，也不理发，头发最终掉光了，所以经常穿戴垂裙和黑色帽子。辛绍先从中书博士转任神部令。皇兴三年（469年），薛安都献出彭城归附北魏，当时北魏朝廷想要安抚刚刚归附的人，以辛绍先出任下邳郡太守，加号宁朔将军。辛绍先行政不求明察，仅仅把握大纲，只是教导百姓经营产业准备抵御贼寇，下邳郡因此得以安定。等到刘宋将领陈显达、萧道成、萧顺之等人来犯，萧道成对萧顺之说:“辛绍先不可轻易侵犯，应当慎重。”刘宋军队于是不经过下邳郡，径直奔向吕梁驻扎。太和十