汉初,匈奴强大,羌人臣属于匈奴。汉景帝时(前156~前141年),爰剑玄孙研所属的留何部归附汉朝,被内迁安置在狄道、安故、临洮、氐道、羌道等县(均在今甘肃西南部)。汉武帝时,汉朝势力进到河、湟地区,将羌人赶到西边,筑令居塞(今甘肃兰州附近),隔断羌人与匈奴的联系。元鼎五年(前112年)几十万羌人联合匈奴反叛,围攻枹罕(今甘肃临夏),汉朝派将军李息击平,随即设护羌校尉,治临羌(今西宁市以西),兼管民政和军务,总管羌人事务。汉宣帝元康三年(前63年),先零羌联合诸羌准备反叛,汉朝将军义渠安国召来羌人首领40多人尽行杀戮,同时杀害羌人1000多。羌人怨怒,围攻金城(今兰州)等地,汉朝派赵充国领兵6万击平。赵充国随即在湟水一带屯田,监管羌人。元帝时,爰剑第18世孙烧当部势力强大,联合诸羌进攻陇西,被汉朝击平。王莽时,占湟水以西羌人地方设置西海郡。王莽失败后,羌人又将此地收复回去。