苏武年轻时凭着父亲苏建的庇荫，与兄长苏嘉、弟弟苏贤皆官拜郎中，后升任栘中厩监