En 1785, Carlos III ordena su traslado a la Casa de la Panadería, en la Plaza Mayor de Madrid, donde ya estaba ubicada la biblioteca de la Real Academia de la Historia desde 1775.