Las primeras referencias históricas de este edificio datan del año 1558, cuando Felipe II designó una comisión para que buscase un lugar idóneo para su emplazamiento, integrada por arquitectos, médicos y canteros, entre otros gremios.