Biblioteket er del av Kulturhuset sekkefabrikken, som ligger i en historisk fabrikkbygning nede ved fjorden i gamle Slemmestad sentrum. Denne bygningen tilhørte opprinnelig Christiania Portland Cementfabrik, hjørnesteinsbedriften som tettstedet Slemmestad vokste fram rundt. I samme bygning ligger også Geologisentret og Cementmuseet. Her holder også Røyken historielag hus.