Ya en la época prehistórica, Gansu fue habitada por numerosas culturas paleolíticas, como la de Dadiwan (大地灣, Dàdìwān), de la que se han hallado numerosos objetos y que floreció en el extremo oriental de la provincia entre los años 6000 y 3000 a. C.; la de Majiayao (馬家窯, Mǎjiāyáo), entre el 3100 y el 2700 a. C.