Store deler av bygningen i Nansetgata 29 ble 16. november 2019 totalskadd i en brann, som var påsatt. Larvik bibliotek etablerte et pop-up-bibliotek på Torget 10 i Larvik sentrum i påvente av et midlertidig lokale. Pop-up-biblioteket var åpent fra 21. februar til 28. november 2020, men stengt en periode fra 12. mars til 18. mai på grunn av koronapandemien. Et nytt, midlertidig bibliotek åpnet 11. desember 2020 i Nansetgata 12.