I 1534 ble det bestemt å bygge en egen biblioteksbygning, og i 1537 fikk arkitekten Jacopo Sansovino oppdraget. I 1545 styrtet lesesalens hvelving sammen, og arkitekten ble sendt i fengsel. Takket være innflytelsesrike venners forbønn kom han fri igjen, og kunne fortsette arbeidet, men måtte dekke skadene av egen lomme. Etter hans død fullførte Vincenzo Scamozzi bygningen mellom 1582 og 1588.