1999 nahm Worapoj erstmals an den Südostasienspielen teil und konnte diese im Fliegengewicht (-51 kg) auf Anhieb gewinnen. Nach einer mehrjährigen Pause kehrte er 2003 bei den Südostasienspielen wieder in die internationale Szene zurück und gewann, diesmal im Bantamgewicht (-54 kg), auch diese Meisterschaften. 2004 gewann Worapoj das zweite asiatische Olympiaqualifikationsturnier in Karatschi und konnte somit an den Olympischen Spielen 2004 in Athen teilnehmen. Aufgrund seiner seltenen Teilnahmen an internationalen Meisterschaften ging Worapoj als Außenseiter in die Olympischen Spiele und erreichte daher überraschend mit Siegen über den Gewinner der Asienspiele 2002 Won Il Kim, Südkorea (RSC 3.), Khavazi Khatsygov, Weißrussland (33:18), den Silbermedaillengewinner der Afrikaspiele 2003 Nestor Bolum, Nigeria (29:14), und den amtierenden Weltmeister Aghasi Məmmədov, Aserbaidschan (27:19), das Finale. In diesem stand ihm der kubanische Titelverteidiger Guillermo Rigondeaux gegenüber, dem er sich mit 22:13 Punkten geschlagen geben musste und damit die olympische Silbermedaille gewann.