Trolig hadde han en god oppvekst de første leveårene, men det året han fylte ti år, høsten 1876, døde både hans far og hans farfar. De satt på bygslet jord; moren med fire barn måtte gå fra gård og hjem og familien ble oppløst. Sivert bodde en tid hos sin søster, Marta (gift Sandvik), som da var lærer ved Breistrand skole på Dønna i Nordland. I 1882 kom han tilbake til Volda og den påfølgende vinteren begynte han på middelskole ved . Sommeren 1883 reiste han alene, bare 17 år gammel, til Kristiania, der han ble boende resten av livet hans.