赵世卿便闭门在家请求去职。他上书十多次，皇帝没有答复。万历三十八年秋，赵世卿就上疏出城等候命令。第二年十月，索性乘车径直离去，朝臣上报，万历帝亦没有怪罪。家居住七年卒，赠太子少保。
事迹.赵世卿任尚书时，矿税使为害四方，江西税监潘相竟擅自逮捕皇族宗室。过去的关税收入每年四十多万两，自从被税使控制后，商贾不行，数年之间减少了三分之一，四方杂税也是如此，每年收入更少，国家费用不够，边防储备匮乏，而内府供需一天天繁多，每年增加二十万两金花银旧额，宫廷费用一天天充盈起来。世卿请恢复到过去百