Más tarde, ante este papa, fue acusado de favorecer las pretensiones de Clemente VIII, sucesor del antipapa Benedicto XIII, acusación que probablemente promovió el favorito del rey Álvaro de Luna, que pretendía la sede de Sevilla (que ocupaba Anaya) para su medio hermano, Juan de Cerezuela, por lo que Anaya fue retirado de la Sede, aunque conservando el rango episcopal, y fue nombrado un Administrador de la diócesis (Fray Lope de Olmedo).