国时为秦国版图，属临洮郡。汉武帝元鼎六年（前111年），汉征讨羌人，划甘南州东部属陇西郡，北部属金城郡，设白石、羌道两县。三国州境东部属魏。南部属蜀。西晋永嘉七年（313年），吐谷浑于枹罕建国（今临夏市），吐谷浑人开辟了“丝绸南路”，成为连接中原与西藏、印度的要道。隋时的临洮郡、桴罕郡、宕昌郡分别管辖今甘南的西北和东南部。唐朝初年废郡置州，甘南境内曾为洮州、芳州、迭州的全部和河州、宕州的部分。唐龙朔三年（663年），吐谷浑为吐蕃所灭。吐蕃管辖期间又开发了“唐蕃古道”，经过甘南。北宋熙宁六年（1073年），宋