Borg war in den 1960er Jahren mit der Beatband "Streaplers" europaweit unterwegs und sang auch deutschsprachigen Schlager ein. Mit dem Titel "Erinnerst du dich an den Frühling" gewann er 1968 beim Internationalen Schlagerfestival der Ostseeländer. 1972 gewann er zusammen mit Grethe Kausland den Melodi Grand Prix und durfte daher beim Eurovision Song Contest teilnehmen. Mit dem Schlager "Småting" erreichte das Duo Platz 14. Ab dieser Zeit erschienen Alben von ihm, einige auch zusammen mit seiner damaligen Ehefrau Kirsti Sparboe. Ab 1974 hatte er auch Auftritte mit der Musik-Comedygruppe "Dizzie Tunes". Borg ist auch bekannt für seine Elvis-Imitationen oder seine Johnny-Cash-Darbietungen.