Se conoce al palacio como "del Rey Niño" porque las crónicas de la época cuentan que en él estuvo instalado el futuro rey Alfonso XI, bajo la tutela del obispo Don Sancho, cuando le trasladaron a Ávila para protegerle hasta que se nombrase un tutor regente.