I hans regjeringstid erobret osmanene med deres navngjetne sultan Osman I nesten hele det bysantinske Lilleasia. Andronikos hentet seg Roger de Flor til hjelp. Hans styrker, kalt almogàvers, bestående av aragonesere og katalaner, skulle beseire tyrkerne, håpet han. Men ettersom Roger nokså tidlig ble antatt å utgjøre en trussel mot selve den keiserlige makt, ble han myrdet i 1305 av Andronikos' sønn og medregent Mikael (som mange ganger omtales som Mikael IX, selv om han aldri regjerte for egen hånd). Hans menn, det katalanske kompani, erklærte krig mot Andronikos og raserte frem til 1311 store deler av Trakia og Makedonia. De erobret Theben (som i kampene ble fullstendig ødelagt) og hertugdømmet Athen.