Estant a Nàpols, als anys posteriors a la victòria a la batalla de Lepant, va tenir relacions amb Diana de Falangola, de la que va néixer una nena anomenada Joana, el 1573. Don Juan li va confiar la cura a la seva germana, Margarida de Parma. La van enviar el convent de Santa Clara de Nàpols. Posteriorment es va relacionar amb Zenobia Saratosia, de la que va tindre un fill mort al poc de néixer, i amb Ana de Toledo, esposa de l'alcalde napolità.