Svalastoga var født i Vinje. Han var sønn til Bjørn Bjørnson Gardsjord (f. 1731, d. 1782) og Ingebjørn Rikardsdotter Svalastoga (f. 1730, d. 1776). Han var født på Svalastoga, en av områdets eldste gårder.