Bilgreis far etablerte seg som kunstsmed i Kristiania i 1898. Bilgrei startet i smia allerede som 12-åring med å hjelpe sin far med tegninger. Det var arkitekt han ville bli, men da faren døde bare ett år etter at sønnen Karl hadde begynt i lære hos ham som 15-åring overtok han verkstedet for å forsørge sin mor og sine yngre søsken.