Tras la muerte de Julio III, su sucesor, el papa Pablo IV, confiscó todas las propiedades que se habían reunido; la villa fue dividida y la construcción principal y parte de los jardines se convirtieron en propiedad de la Cámara Apostólica.