Дворец являлся основной резиденцией Далай-ламы, вплоть до того как Далай-лама XIV, после вторжения Китая в Тибет, вынужденно покинул страну в 1959 году и получил политическое убежище в Индии (Дарамсала).