En 1913, cuando el obispo de Diego fue trasladado a Salamanca, el palacio quedó abandonado, aunque el sótano fue convertido provisionalmente en museo arqueológico.