La construcción del edificio se inició en 1543 bajo el patronazgo del emperador Carlos I, participando en la misma el maestro cantero Domingo de la Carrera y el escultor Pierres Durand, más conocido como Pierre Picart.