Frei ble olympisk mester i turn under Sommer-OL 1948 i London. Han vant den individuelle konkurransen i ringer foran sin landsmann Michael Reusch og Zdeněk Růžička fra Tsjekkoslovakia. Han var også med på det sveitsiske laget som kom på andreplass i lagkonkurransen i mangekamp bak Finland.