Han kvalifiserte seg imidlertid for Sommer-OL 1984 i Los Angeles. Lewis ble nummer fem etter å ha tapt mot amerikaneren Tyrrell Biggs på poeng.