学习而闻名，任宁远军节度观察留后，熙宁年间他的儿子赵令铄在宗室选拔里以才干选中当官，而他就上表建立住处容纳这些有官职的远支宗室，又建议设立三舍训练学者。宋神宗採纳了他的奏疏，于汴京和洛阳置敦宗院、六宫各自建立宗学；之后到宋徽宗时以他是太祖子孙最年长者，于元符三年（1100年）袭封安定郡王，并授崇信军节度使，负责大宗重要事项。崇宁四年（1105年），赵世雄去世，赠职太尉，追封淄王，谥恭宪；族兄弟赵世福袭安定郡王。