Han giftet seg ikke igjen etter at konen døde, men ble far til 11 illegitime barn fra 1600 og utover. Elskerinnene var Luisa de Duing, Argentina Provana, Marguerite de Roussilon, Virginia Pallavicino, Anna Caterina Meraviglia og Anna Felizita Cusa.