酒泉郡一带原是月氏的居处，在月氏被匈奴击破后，一部份的族人迁至葱岭以西，称大月氏。留在原地的族人，居住在西平、张掖一带，与羌人杂居，称小月氏。卢水胡可能是小月氏的后裔，但是因为居地在此地的胡人都被通称为卢水胡，因此卢水胡并不只是单指小月氏这支，也包括其他氐、羌等族人。在被匈奴击败后，此地由匈奴右贤王管理，成为匈奴休屠王与浑邪王的领地。汉朝击败匈奴后，将此地置郡，称酒泉郡。休屠王与浑邪王后来亲附中国，其部众仍居于北方八郡，其中包括河西之地，为南匈奴的前身。卢水胡由匈奴沮渠王控制，也受护羌校尉、凉州刺吏