La primera noticia documental que se conserva del edificio data del año 1122, poco después de que Alfonso VI de León reconquistase la ciudad, aunque no es hasta 1155 cuando aparece citado con la denominación de alcázar, en una carta custodiada en el archivo de la catedral.