Para algunos, el diseño del edificio se debió al italiano Giovanni Battista Castello, conocido como el Bergamasco, que más tarde trabajó en El Escorial; para otros lo trazó, al menos en su plan original, Enrique Egas el Mozo.