奔苦峪（安西东南玉门西南）避难。哈密人民大批流亡关内。成化二年（1466年），明朝兵部上奏请求收复哈密，于是命把塔木儿为右都督守哈密。当时土鲁番强盛，拥兵五万，其中速檀阿力威胁哈密、赤斤当地民众。甘肃巡抚娄良上报，兵部尚书白圭请求支援。于是举荐高阳伯李文、右通政刘文前往经略，部队刚抵达哈密时，哈密叛军已经溃散。然而，刘文不敢深入，仅仅调遣罕东、赤斤镇守苦峪，并带领大军返回，此举招致速檀阿力藐视明朝军队，并更加大胆地侵犯哈密。成化三年（1467年），命哈密故忠义王脱欢铁木儿外孙、都督同知把塔木儿为右都督，