Tras su matrimonio con Luisa de Lorena, sus aventuras fueron más discretas pero se le conocieron escarceos con jóvenes como las señoritas d’Assy, de La Mirandole, de Pont, de Stavay, y con una de las hermanas de Gabrielle d’Estrées.