Villaen er egentlig et stort anlegg med over 30 bygninger, men det er ikke mye igjen av dem i dag. Forfallet startet muligens allerede med Konstantin som skal ha tatt med seg noen av de finere gjenstandene til Bysants. Det har blitt brukt som steinbrudd opp gjennom tidene, og i det 15. århundre skal kardinal Ippolito II d'Este ha brakt kunstverk til sin nye villa i nærheten – Villa d'Este.