Para algunos, el diseño del edificio se debió al italiano Giovanni Battista Castello, conocido como "el Bergamasco", que más tarde trabajó en El Escorial; para otros lo trazó, al menos en su plan original, Enrique Egas, el Mozo.