Etter Pave Julius’ død konfiskerte hans etterkommer, Pave Paul IV, alle hans eiendommer. Villaen ble delt opp, og hovedbygningen og deler av hagen ble gitt til Camera apostolica. Villaen ble restaurert i 1769 på initiativ fra Pave Klemens XIV.