Musikkavdelingen ble åpnet som egen avdeling den 2. februar 1924, på bibliotekets 50-årsdag. Dette sies å være Nordens eldste offentlige musikksamling. Allerede i 1913 begynte utlånet av «god, utvalgt musikk» fra en samling på ca. 200 bind, utvalgt av komponisten og pianisten Borghild Holmsen. Det var første gang noter ble utlånt fra bibliotek i Norge. Biblioteksjef Arne Kildal fikk dette i stand, og det var også han som sørget for at det ble tegnet inn musikkavdeling i det nye bibliotekbygget. Med de kjøp og gaver som etter hvert er kommet til, har Bergen nå den største notesamling av landets folkebibliotek, og blant Nordens største.