Rodrigo Gil de Hontañón y fray Martín de Santiago esbozaron los planos del palacio, y Pedro de Ibarra y Pedro de Miguel y Aguirre empezaron la construcción el 18 de enero de 1539.