Han ble inspirert til folkemusikk av Ellen Nordstoga og gikk i lære hos Sondre Bratland. Bergset gikk i Vinje i samme skoleklasse som Odd Nordstoga. Som femåring flyttet han til Vinje i Telemark og som åtteåring begynte han å ta timer i kveding hos Sondre Bratland. I 1986 ga han ut kassetten og ble for alvor kjent og publikumsyndling da han som 15-åring kvedet under Spellemannprisen 1986. Han ga i 1987 ut albumet , et album med tradisjonell folkemusikk. For dette vant han Spellemannprisen 1987 i klassen folkemusikk/gammaldans.