De su enlace con Camila d'Este tuvo tres hijos: Nicola Maria, Pier Gentile y Ercole I Varano, el último de los cuales fue hecho duque de Camerino en 1535, pero depuesto en 1539, renunciando a los derechos en 1542.