Keiser Xuanzong forfalt imidlertid snart i uvirksomhet og ble et viljeløst verktøy i hendene til to av sine nærmeste medarbeidere (Li Linfu, Yang Guozhong) og en bi-hustru ved navn Yang Guifei. Li Linfu klarte til og med å utvirke at tre av keiserens sønner ble henrettet i 737.