晋太元元年（376年），前秦攻灭前凉，置凉州刺史镇姑臧，豪右七千余户被徙往关中。十年，吕光据此地称凉州刺史，次年建后凉，立国都于姑臧。东晋义熙二年（406年），曾被后秦主姚兴任命为凉州刺史的南凉王秃发傉檀进驻姑臧，四年将南凉都城由乐都迁此。不久，北凉王沮渠蒙逊以步骑三万攻克姑臧，又于八年将北凉国都由张掖迁此，并在城南天梯山大造佛像。刘宋元嘉十六年（439年），北凉降于北魏。北魏收姑臧城内户口二十余万，改姑臧县为林中县，仍为武威郡治。此后，姑臧城便以武威城名称世。西晋末年，中原战乱，中土人士避难西入凉州，