I 1420 ble tårnet flyttet og rekonstruert noe øst for sitt gamle sted. Det skjedde under Yongle-keiseren (Ming-dynastiet). I 1800 utførte Jiaqing-keiseren (Qing-dynastiet) omfattende renovasjoner. I 1924 fikk tårnet det nye navn («Tårnet til minne om skammen»), og man utstilte der gjenstander knyttet til åttenasjonsalliansens innmarsj i Beijing under bokseropprøret i 1900 og senere fra 30. mai-massakren i 1925.