内迁到中原，在晋阳安家。辛绍先明智机敏有见识和气量，和广平游明根、范阳卢度世、同乡李承等人之间互相非常友善。辛绍先有天赋的卓绝品性，为父亲辛渊守丧时三年不吃甘美的食物，也不理发，头发最终掉光了，所以经常穿戴垂裙和黑色帽子。辛绍先从中书博士转任神部令。皇兴三年（469年），薛安都献出彭城归附北魏，当时北魏朝廷想要安抚刚刚归附的人，以辛绍先出任下邳郡太守，加号宁朔将军。辛绍先行政不求明察，仅仅把握大纲，只是教导百姓经营产业准备抵御贼寇，下邳郡因此得以安定。等到刘宋将领陈显达、萧道成、萧顺之等人来犯，萧道成对