Grottene ble påbegynt i året 493, samme året som den kinesiske hovedstad ble flyttet av keiser Xiaowen til Luoyang like i nærheten. Det ble arbeidet med stadig flere utsmykninger og figurer i over fire hundre år, selv om det meste var gjort ved midten av 700-tallet.