El gobernante de Apulia, Manfredo, sospechó de la conducta del pontífice cuando visitó su nueva tierra, por lo que huyó con los sarracenos, que le ayudaron a derrotar a las tropas papales en Foggia el 2 de diciembre de 1254.