På 300-tallet førte Toba-opprøret til et abrupt avbrudd av handelen langs Silkeveien. Gansu ble da behersket av en rekke dynastier som nedstammet fra eller var beslektet med tobaene. Fra en av tobaherskerne utgikk senere Suidynastiet (sent på 500-tallet). Suidynastiet samlet Kina til ett rike igjen, og utvidet rikets grenser vestover. Det bygde også vestlige forlengelser av Den kinesiske mur, i dagens Gansu. Det var også på denne tid at provinsen fikk sitt navn; det er sammensatt av navnene til de to prefekturene (州) (rundt Zhangye) og (rundt Jiuquan).