至公元107年7月29日，因西域诸国反，龟兹国人叛白霸和东汉与羌的战争，“朝廷以其险远，难相应赴”，从此废置西域都护，北匈奴重新占领了西域。123年班勇收复西域，改置西域长史府。十六国前凉建兴二十三年（335年）再次设置西域都护，治所在高昌（今新疆吐鲁番市东），历经前凉、前秦、后凉、北凉（段氏）、西凉、北凉（沮渠氏）沿置。
两次废置.西域都护的废置和匈奴的兴衰有一定关系；西域都护第一次废置是在公元10年，当时匈奴与新朝关系破裂，匈奴大击北边，而西域亦瓦解；焉耆国因离匈奴近，先反