务都很生疏，却掌管四川的军政大权，当地的老百姓和军队都很担忧。不久，四川出现叛乱，遍及隆庆、沔州等州府，元军同时又趁机发动攻势。余晦在朝中受到赵崇、吴燧、赵至等官员的多次弹劾。于是余晦和程逢辰被解了职，“另有任用”。王惟忠是余晦的同乡，但余晦和王惟忠有过节。王惟忠觉得余晦才能平庸而不太看得起他，余晦也认为王行事鲁莽。王惟忠在阆州失守，余晦与陈大方、丁大全等官员上书弹劾王惟忠。朝廷下王惟忠入大理狱。1254年农历10月25日，将王惟忠问斩，罪名是“顶冒补官，任知阆州判西安抚府日，丧师庇叛、遣援迟缓”。