Borg werd geboren in het Zweedse Göteborg en verhuisde in 1968 naar Noorwegen. In 1972 vertegenwoordigde hij samen met Grethe Kausland Noorwegen op het Eurovisiesongfestival. Met het nummer "Småting" eindigde Noorwegen op de veertiende plek. Een jaar later won hij een prestigieuze Spellemannprisen. Van 1972 tot 1978 was hij getrouwd met Kirsti Sparboe.