Hij steunde de pogingen van Karel van Anjou om het Latijnse Keizerrijk van Constantinopel te herstellen en excommuniceerde keizer Michaël VIII van Byzantium. De politiek van Martinus om Karel van Anjou te steunen heeft ertoe bijgedragen om de hereniging met Byzantium die paus Gregorius X in 1274 tot stand had gebracht, te vernietigen. De paus werd getroffen door de Siciliaanse Vespers (1282), die door keizer Andronicus II van Byzantium ondersteund werden. Deze brachten koning Peter III van Aragón op de troon van Sicilië, waarop paus Martinus IV Peter III excommuniceerde.