En el ala privada donde hacían vida familiar los Borbones estaba la Librería de Cámara, pero por entonces ya ocupaban bastante los libros, sobre todo tras las amplias incorporaciones de 1806 y años de alrededor, con la entrada del rico fondo del I Conde de Gondomar, don Diego Sarmiento de Acuña (1567-1626), comprado en los años ochenta a sus herederos, los condes de Malpica, y traída desde Valladolid, aunque hasta Fernando VII no se pagaría con el bolsillo secreto de éste.