Siendo cardenal tuvo relaciones íntimas con Giulia Farnese, casada con Orsino Orsini, pero no está acreditado que fuese padre de su hija, Laura Orsini, a la que, al contrario de lo que hizo con sus restantes hijos, no dio trato especial.