Broder Lysholm Knudtzons store litterære og faglitterære interesser skapte en privat boksamling med mange sjeldenheter. En egen katalog over samlingen ble skrevet av Svend Mosling og trykt i Trondheim 1871. Knudtzon testamenterte hele biblioteket, med boksamling, hyller og kunstgjenstander til Det Kongelige Norske Videnskabers Selskab i Trondheim. Han ønsket at det skulle innredes et eget rom for oppbevaring av bøkene og kunstverkene. I 1869 overtok Selskabet arven. Knudtzons bibliotek ble i mange år brukt som Selskabets lesesal.