将毕义绪据守兰陵，席毗攻下昌虑、下邑。源雄派遣徐州刺史刘仁恩讨伐毕义绪，仪同刘弘、李琰讨伐席毗，全部获胜。581年，南朝陈见北方动荡，派遣陈纪、萧摩诃、任蛮奴、周罗睺、樊毅攻打江北地方。西自江陵，东至寿阳，很多人响应南陈，攻下城镇。源雄和隋朝吴州总管于顗、扬州总管贺若弼、黄州总管元景山击退陈军，收回失地。东潼州刺史曹孝达作乱，源雄派兵袭击，将曹孝达斩杀。源雄进位上大将军，担任徐州总管。后转任怀州刺史。587年八月，转任朔州总管。突厥时而入侵，源雄经常捕斩突厥军将。588年，隋朝征讨南朝陈，源雄在秦王