长安朝见，安归推辞。楼兰在西域最东，隔着白龙堆沙漠临近汉朝。楼兰缺乏水源牧草，经常负责派向导和背水担粮的人，迎送汉朝派到西域的使者。楼兰多次受到汉朝官兵欺扰，对汉朝有戒惧，不愿再来往。匈奴指示楼兰拦杀汉朝使臣。安归的弟弟尉屠耆降汉，告知内情。骏马监傅介子出使大宛，汉昭帝命他责问楼兰、龟兹为何叛汉，两国表示服罪。傅介子从大宛回到龟兹，把出使乌孙路过龟兹的匈奴使臣杀死。汉昭帝封傅介子为中郎，改任平乐监。因楼兰、龟兹两国反复无常，傅介子劝大将军霍光派自己行刺龟兹王。霍光说：“龟兹路远，先到楼兰试试。”于是汉昭