Lee ble olympisk mester i boksing under OL 1952 i Helsingfors. Han vant vektklassen, lett tungvekt opp til 81,0 kg. Han beseiret Harry Siljander fra Finland i semifinalen og argentinske Antonio Pacenza i finalen.