A pesar de esta cautela, los normandos sufrieron tres derrotas antes los árabes: en el verano de 1072 son emboscados y muere Serlo de Hauteville; en 1076, en ausencia de Roger, los normandos son derrotados por el emir de Siracusa, y en 1081 el mismo emir rechaza a los normandos dirigidos por Jordán de Altavilla, hijo del conde.