汉昭帝始元元年（前86年）置金城县，取“金城汤池”之意，属天水郡。始元六年（前81年），析置金城郡，金城县为县治，成为丝绸之路主要的一站。东汉建武十二年（36年），金城郡并入陇西郡。永初四年（110年），金城郡大部被西羌所占，郡治由允吾迁至襄武（今陇西县）达十二年。东汉末年，析金城郡新置西平郡，金城郡治由允吾迁至榆中（今榆中县城西）。西晋兰州仍属金城郡。前凉永安元年（314年）置广武郡，金城郡治由榆中迁至金城，自此金城郡县同治。隋文帝开皇三年（583年），因城南有皋兰山，改金城郡为兰州，置兰州总管府