I begynnelsen hadde Kaffehuset lokaler flere steder i byen før de i 1912 flyttet inn i sitt eget bygg i Torggata 1. Dette bygget ble et sentralt møtested i Skien, kjent for sin varme atmosfære og gode servering. Kaffehuset ble raskt populært blant byens innbyggere, og det ble et symbol på samfunnsengasjement og sosialt ansvar.