Etter hvert som museet vokste, økte behovet for et mer systematisert bibliotek som kunne støtte forskningen relatert til de stadig større samlingene. På 1800-tallet ble biblioteket gradvis utvidet gjennom innkjøp og donasjoner, og fikk et mer spesialisert fokus på fagområder som naturhistorie, marinbiologi og arkeologi, som var relevante for museets samlinger. Biblioteket spilte en viktig rolle i å støtte det vitenskapelige arbeidet ved Bergens Museum, som på den tiden var et ledende senter for marine og geologiske studier.