Un papa posterior, Paulo IV, lo destituyó de su cargo, según algunos por juzgar inapropiada su condición de casado, según otros por haber escrito madrigales, piezas de carácter profano.