顿单于时代，匈奴数度击败月氏，月氏部落开始西迁，离开河西走廊。前162年，老上单于再度击败月氏，佔领河西走廊。月氏部落大举西迁，击败大夏，建立王庭，称大月氏。而留在原居地的部众，称小月氏。小月氏与当地羌族融合，附属于匈奴右贤王之下。河西走廊成为休屠王与浑邪王的领土。东汉时，河西走廊一带的居民，被称为卢水胡。主要由小月氏组成。此外，湟中也有一支小月氏部落，称湟中月氏胡；在张掖的小部落，称义从胡。
考证.学者认为，羯人的祖先可能是由小月氏分支。