Hovedbiblioteket lå i Nansetgata 29, og var tegnet av PAM Mellbye. Biblioteket åpnet 1. desember 1984 etter å ha holdt til i Menighetshuset (Kirkestredet 8) (1968–1984) og før det i Farrisfabrikkens bygning (1921–1968). Samtidig tok Larvik, som det første folkebibliotek i landet, i bruk biblioteksystemet Bibliofil, skapt av Sandefjord-mannen Torkel Hasle.