De fem kvinnene som sto bak etableringen av Kaffehuset var Ida Thelin, Hilda Aubert, Fanny Stang, Sigrid Lie og Sofie Høyer. Disse kvinnene var pionerer innen sosialt arbeid og hadde en klar visjon om å forbedre livskvaliteten for byens arbeidere. De organiserte Kaffehuset som et aksjeselskap, hvor mange av byens borgere tegnet seg for aksjer for å støtte det gode formålet.