雄罢相放外任，任观文殿大学士、四川制置使、知泸州，后知江陵府（治今湖北省荆州市）。他修建江陵城，使百姓免受敌扰。宋光宗即位，赵雄上万言书，力陈修身齐家以正朝廷之道。任武宁军节度使、开府仪同三司，爵卫国公，在湖北为帅。得病后，改判资州、潼川府（治今四川省三台县）、隆兴府（治今江西省南昌市）。绍熙四年（1193年）十二月庚戌，赵雄去世，赠少师。嘉定二年（1209年），谥号文定。赵雄喜欢喝酒，饮量超人。