卫羽认为天下安宁许久，将士早已忘战，加上太山险阻，贼军狡猾。虽然有精兵，但难以和敌军作战，卫羽向第五种建议让他劝降贼军，第五种遵从他的意见，结果叔孙无忌被说服，率领他的党与三千多人投降。单超越来越恨第五种，便找机会捏造罪名陷害第五种。第五种获罪被流放到朔方郡。单超的外孙董援，当时任朔方郡太守，早已对第五种很不满。第五种担任卫相时的门下掾孙斌知道第五种到朔方后必定死路一条，于是集结豪侠之士（同县的朋友闾子直和甄子然）追赶第五种，一直追到太原，劫走第五种，逃亡途中，孙斌下马将马让给第五种，自己则徒步随行，第五种