Frantzen vant en olympisk bronsemedalje i fotball under OL 1936 i Berlin. Han var med på det norske laget som kom på tredjeplass i fotballturneringen bak Italia og Østerrike. Norge vant kvartfinalen over hjemmefavoritten Tyskland med 2-0, men i semifinalen tapte de med 1-2 til Italia som siden vant finalen. I bronsefinalen, som ble spilt 13. august 1936 med 95 000 tilskuere, møtte de Polen. Norge vant bronsefinalen med 3-2.