见皇帝，必称“二帝在沙漠”。绍兴府知府张津献四十万缗羡余，赵雄奏请降旨绍兴，以这四十万缗钱取代百姓田税和身丁税所折帛钱之半。有人说他偏袒同乡，于是淳熙八年（1181年）八月庚戌，赵雄罢相放外任，任观文殿大学士、四川制置使、知泸州，后知江陵府（治今湖北省荆州市）。他修建江陵城，使百姓免受敌扰。宋光宗即位，赵雄上万言书，力陈修身齐家以正朝廷之道。任武宁军节度使、开府仪同三司，爵卫国公，在湖北为帅。得病后，改判资州、潼川府（治今四川省三台县）、隆兴府（治今江西省南昌市）。绍熙四年（1193年）十二月庚戌，赵雄去世