Det var på dette punktet, akkurat som krig synes avgjørende i Manuels favør, at ting begynte å gå galt for ham. Den bysantinske kommandanten Michael Palaiologos hadde fremmedgjort Bysants’ allierte ved sin holdning, og dette hadde bremset hærtoktet da grev Roberto III av Loritello nektet å snakke med ham. Selv om disse to ble forsont hadde hærtoktet mistet sin framdrift: Michael ble snart kalt tilbake til Konstantinopel, og tapet av ham var et stort tilbakeslag for hærens framgang. Vendepunktet var slaget om Brindisi hvor sicilianerne klarte å slå tilbake både fra land og til havs. Da fienden nærmet seg skal leiesoldatene som var blitt hyret inn med Manuels gull ha krevd høyere betaling. Da dette ble avvist skal de ha desertert. Selv de lokale baronene begynte å smelte vekk, og snart var Johannes Doukas etterlatt i håpløst undertall.