但移驻云顶山（当在今广元境内）的利州驻扎御前诸军都统制司却自行推举统制姚世安接任都统制之职。余玠率部至云顶山下，派新任都统制金某上山任职，姚世安闭关不纳。姚世安又通过避居云顶山现任宰相谢方叔的子侄，向谢方叔诬陷余玠。
晚年结局.宝祐元年（1253年）五月，理宗猜疑余玠，决定将他召回。当月，余玠暴卒于重庆府(另有一说是服毒自尽)。六月，诏加资政殿学士。七月，赠官五转。十一月，葬于溧阳荆山。二年（1254年）六月，侍御史吴燧奏论余玠聚敛罔利七罪，诏簿录余玠家财。七月，诏使余玠家财犒师振