Etter den første keiserens død 210 f.Kr. fortsatte hans etterfølger Qin Er Shi byggingen, men en stor del av arbeidskraften fra palasset ble omdirigert for å ferdigstille den døde keiserens mausoleum. Palasset ble aldri ferdig og da dynastiet falt i 207 f.Kr. påstås det at Xiang Yu brente ned palasset. Men arkeologene har ikke funnet rester etter noen stor brann.