Giorgio Vasari startet byggingen av palasset i 1560 på oppdrag fra Cosimo I de' Medici som administrasjonskontorer. Navnet betyr kontor. Bygget stod ferdig i 1581. Ettersom årene gikk ble deler av palasset brukt som lagerplass for noen av de mange kunstgjenstander som Mediciene samlet seg. Etter Medicienes styre var over, forble kunstskattene i Firenze, og et av verdens første museer ble skapt. Galleriet hadde vært åpent for besøkende på forespørsel siden det 16. århundre og i 1765 ble det offisielt åpnet for publikum.