Matías empezó la colección sistemática de libros después de la llegada de su primer bibliotecario y amigo de Janus Pannonius, Galeotto Marzio, desde Ferrara hacia 1465.