Tarjei var barnebarn av Anne Lillegård som hadde vært en av de to viktigste kildene til Draumkvedet, slik balladen ble skrevet ned av Landstad. Han lærte å spille fele av Olav Bergland og Tarjei Midbø, og ble etterhvert anerkjent som bærer av mange særegne slåtter fra Lårdal. Han opplevde også Myllarguten i tidlige ungdomsår.