Larvik bibliotek holdt først til i en bakgårdsbygning til Kirkestredet 6 fra 1903 til 1921. Etter den andre verdenskrig har den rommet kontorer for skoletannlege, parkvesen, kirkene og på 2000-tallet Boligtjenesten for funksjonshemmede.