El 20 de abril de 1569 —un día antes de fallecer— hizo testamento, dejando a su hijo mayor Hernán (Díaz) Ruiz, su biblioteca, en la que había numerosos libros de arquitectura, entre ellos los de Leon Battista Alberti y Alberto Durero y quizás varios centenares de folios del propio Hernán Díaz, que tras su muerte, algunos familiares se encargaron de, primero saquear y usar, y más adelante de ordenar, completar, numerar, y encuadernar, formando un volumen misceláneo dotado de cierta coherencia.