I 1040 begynte krigen å gå på tverke. Invasjonshæren hadde gjort flere erobringer, men pengene var ved å slippe opå, og det gav interne stridigheder. Normannernes talsmann var en lombardisk leiesoldat, Ardouin, som kunne tale gresk. Den bysantinske general Maniakes nektet å utlevere bytte fra et slag til Ardouin, og lot ham i stedet piske. Det ble for meget for normannerne. De reiste tilbake til fastlandet sammen med de lombardiske leietropper. En gruppe skandinaviske væringer som likeledes hadde deltatt i krigen, drog også hjem, og i 1041 ble general Maniakes kalt tilbake til Konstantinopel, hvorpå felttoget ble oppgitt.