En 1258, el pontífice le condenó por adulterio y exigió que le devolviera la dote a la condesa Matilde, pero al fallecer la esposa repudiada en ese mismo año, las amenazas del papa quedaron en suspenso.