我不降，就是要杀我，令两国开战，匈奴的覆灭就从我开始吧。」卫律知道苏武不可胁迫，报告了单于。单于越发想使他投降，就囚禁苏武，置于大地窖内，不给他吃喝。天下雪，苏武卧着嚼雪，同毡毛一起吞下，几日不死。匈奴以为他是神人，就将苏武流放至北海（位于今俄罗斯西伯利亚贝加尔湖），让他放牧公羊，说等公羊生小羊才可归汉。同时把他的部下常惠等人安置到别的地方。
牧羊北海.苏武到了北海，没有供应粮食，只能掘野鼠所储藏的果实吃。苏武拄着汉节牧羊，起居都拿着，以致节上毛全部脱落。过了五、六年，单于的弟