Su faceta de bibliófilo se refleja en piezas notables de su biblioteca, como el incunable "L´Antiquité Judaique" de Flavio Josefo, fechada entre 1460 y 1470, el "Libro de horas" de Gian Giacomo Trivulzio, obra milanesa de hacia 1500, o el "Tratado de la Pintura Sabia" de fray Juan Ricci, sin olvidar una de las joyas bibliográficas que reunió: el "Libro de descripción de verdaderos Retratos, de Ilustres y Memorables varones", manuscrito autógrafo de Francisco Pacheco, maestro y suegro de Velázquez y uno de los grandes teóricos españoles del siglo XVI.