W lipcu 2003 r., Lee startował na Mistrzostwach Świata w Bangkoku. Lee odpadł w 1/8 finału, przegrywając z późniejszym złotym medalistą Giennadijem Gołowkinem. W lutym 2004 r, Lee zdobył brązowy medal w kategorii średniej na Mistrzostwach Europy w Puli. W 1/8., Lee pokonał na punkty (18:8) reprezentanta Anglii Darrena Barkera. W ćwierćfinale Irlandczyk pokonał na punkty (28:20) reprezentanta Serbii i Czarnogóry Nikolę Sjekloćę. Lee przegrał (17:28) w następnym pojedynku z Niemcem Lukasem Wilaschkiem, zdobywając brązowy medal. Po zdobyciu medalu na Mistrzostwach Europy, Lee wziął udział w Igrzyskach Olimpijskich, które rozgrywane były w Atenach. W swojej pierwszej walce reprezentant Irlandii pokonał na punkty (38:23) Meksykanina Alfredo Angulo, awansując do 1/8 finału w kategorii średniej. Lee odpadł w następnym pojedynku, przegrywając po bardzo wyrównanej walce z Francuzem Hassanem N'Jikamem. W tej walce potrzebna była dogrywka, żeby wyłonić zwycięzcę, bo przed dogrywką był remisowy rezultat 27:27.