Under Liao-dynastiet ble det bygd beskyttende rammer fremfor flere av grottene som på den måten ble til templer. Disse ble ødelagte under en krig i 1122, men ble bygd opp igjen framfor grotte 5, 6 og 7 i 1651.