Borg sai vapaauinnissa neljä eri mitalia EM-kisoissa 1926 ja toisti saman seuraavan vuoden kilpailuissa voittaen yhteensä viisi kultaista, kaksi hopeista ja yhden pronssisen mitalin. Hän rikkoi 1 500 metrin vapaauinnissa maailmanennätyksen uiden matkan ensimmäisenä maailmassa alle 20 minuutissa, ja ennätys säilyi lähes kahdentoista vuoden ajan. Borg teki uransa aikana yhteensä 32 maailmanennätystä. Hän pelasi myös vesipalloa, ja kerran häneltä lyötiin ottelun aikana hammas pois.