至元4年(1338年)には「バヤンと皇后ブダシリがトゴン・テムルを廃してエル・テグスを擁立しようとしている」旨をバヤンの甥のトクトが告発し、バヤンとトゴン・テムルの関係はいよいよ悪化した。