Dopo la morte di Clemente IV e il lunghissimo conclave viterbese che la seguì, l'elezione di Gregorio X non piacque certo a Carlo, poiché il pontefice piacentino non gli mostrò mai particolare amicizia, cercando anzi un atteggiamento di corretta equidistanza con i suoi avversari. Morto Gregorio nel 1276 anche i tre papi che, nello stesso 1276, si susseguirono a distanza di pochi mesi uno dall'altro (Innocenzo V, Adriano V e Giovanni XXI), non furono graditi, per un motivo o per l'altro, al sovrano angioino; le cose poi peggiorarono ulteriormente per lui il 25 novembre 1277 con l'elezione di Niccolò III, un Orsini, da sempre nemico di Carlo, e che non mancò di manifestargli la sua ostilità, seppur ammantata da una formale correttezza. Accadde così che, per un decennio, l'Angioino non trovò più sostegno nei papi e ciò contribuì non poco a limitare la sua influenza, e non solo in Italia. Né valse a migliorare le cose l'ascesa al soglio di Pietro -il 22 febbraio 1281- di papa Martino IV, il vecchio amico Simon de Brion, per la cui elezione Carlo tanto si era adoperato anche in passato: oramai la situazione nel regno si era gravemente deteriorata e il supporto di questo pontefice amico non gli giovò particolarmente.