Karl III av Spania grunnla museet i 1750-åra. Bygningen var oppført som en barrak for kavaleriet og brukt av byens universitet. Den ble utvidet på slutten av 1700-tallet.