Slottet var tidligere de tyrolske grevenes hovedslott. Det er berømt for sin rike samling av malerier, håndskrifter, rustninger, våpen mm., som ble samlet det av erkehertug Ferdinand II av Østerrike, sønn av keiser Ferdinand I og gift med Philippine Welser. Han var stattholder i Tirol fra 1563. Samlingen ble flyttet til Wien i 1806, og er nå kjent som Amrassamlingen (Ambraser Sammlung).