Borg nasceu em Gotemburgo, tendo partido para a Noruega em 1968 e esteve casado com Kirsti Sparboe entre 1972 e 1978. Ele é conhecido pela sua cooperação com os Dizzie Tunes, e com Grethe Kausland. Ele ganhou o Prémio Spellemannprisen em 1973, e representou a Noruega no Festival Eurovisão da Canção 1972 juntamente com Grethe Kausland.