A lo largo del tiempo se fue dividiendo y en él se establecieron diversos organismos públicos: actualmente alberga el edificio de Correos y la Biblioteca Pública del Estado (Ávila), la cual todavía conserva la puerta original del palacio, de estilo Fruchel, de granito y rematada por un escudo.