由于苏武与上官桀、桑弘羊有旧，燕王刘旦因苏武功高而官小数次上书，加上其子苏元参与谋反，廷尉上书请求逮捕苏武。霍光把奏章搁置，只将苏武免官。
宣帝时期.昭帝元平元年（前74年），宣帝即位。宣帝赐爵苏武关内侯，食邑三百户。后卫将军张安世推荐苏武通悉典章制度、出使持节不降。于是宣帝召苏武在宦者署听候宣召，多次进见。拜右曹典属国。因苏武是德高望重的老臣，只令他每月的初一和十五日入朝，尊称为「祭酒」。苏武把所得赏赐，全部施送给弟弟和过去的邻里朋友，家中不留一点财物。恭哀皇后父平恩侯许广汉、宣