Biblioteket ble opprettet som og åpnet dørene 21. desember 1909 i Øvre Langgate 26. Fra 1946 til 1992 lå biblioteket i det som i dag kalles Villa Møllebakken på Haugar like ved Haugar Vestfold Kunstmuseum. Bygningen, som opprinnelig var skipsreder Halfdan Wilhelmsens bolig, ble utvidet i 1905 og hadde adresse St. Olavs gate 6, ble overtatt av kommunen like før andre verdenskrig. Huset ble imidlertid rekvirert av tyske okkupasjonsmyndigheter 1940–1945, og utlånet åpnet først 12. juni 1946. Boksamlingene og virksomheten flyttet til ny bygning i Storgata i 1992.