El edificio actual lo empezó a construir en 1536 siguiendo cánones renacentistas el arquitecto Rodrigo Gil de Hontañón, secundado por Alonso de Pando.