派甘英出使罗马帝国，公元102年班超回朝，任尚、段禧接任西域都护；至公元107年7月29日，因西域诸国反，龟兹国人叛白霸和东汉与羌的战争，“朝廷以其险远，难相应赴”，从此废置西域都护，北匈奴重新占领了西域。123年班勇收复西域，改置西域长史府。十六国前凉建兴二十三年（335年）再次设置西域都护，治所在高昌（今新疆吐鲁番市东），历经前凉、前秦、后凉、北凉（段氏）、西凉、北凉（沮渠氏）沿置。
两次废置.西域都护的废置和匈奴的兴衰有一定关系；西域都护第一次废置是在公元10年，当时匈奴