Sjöberg ble født i 1885 i Vänersborg. Hans foreldre, Gustaf og Anna Sjöberg, eide en liten klesbutikk ved torget i Vänersborg. De hadde ganske god økonomi, men da Birger var tretten år måtte foreldrene stenge butikken på grunn av hard konkurranse. Han måtte da tenke på å forsørge seg selv.