Su vecindad con el Palazzo Medici data en torno al año 1475 Clarice Orsini, mujer de Lorenzo, decide adquirirlo a los monjes de San Marcos y más tarde Lorenzo situó allí su colección de esculturas antiguas compradas en su mayor parte en Roma.