Desde 1540 se instaló en él el Archivo General de Simancas.