También fue obispo de Parma y administrador apostólico de Benevento, y durante este tiempo tuvo cuatro hijos con Silvia Ruffini, una noble romana: Pablo, Constanza, Ranucio, y Pedro Luis, que más tarde serían legitimados por Julio II.