W lutym 2004 r., Noël wystartował na Mistrzostwach Europy w Puli. W swojej pierwszej walce, Francuz wyeliminował Estończyka Sergeia Melisa (31:9). W 1/8 finału zmierzył się z Węgrem Vilmosem Balogiem, którego pokonał na punkty (5:0). W ćwierćfinale rywalem Francuza był Dorel Simion, brązowy medalista olimpijski z Sydney. Noël zwyciężył na punkty (45:28), dochodząc do półfinału, gdzie w razie porażki był zapewniony brązowy medal i udział podczas Igrzysk Olimpijskich w Atenach. W walce o finał, Francuz wyeliminował Litwina Rolandasa Jasevičiusa, który przegrał przez RSCO w 2. rundzie. W finale rywalem Francuza był dwukrotny złoty medalista olimpijski, Oleg Saitow. Rosjanin zwyciężył na punkty (41:22), zdobywając złoty medal. W sierpniu, Francuz rywalizował podczas najważniejszej imprezy na świecie - Igrzysk Olimpijskich. W pierwszym swoim pojedynku, Noël zmierzył się z reprezentantem Haiti Andre Berto. Francuz pokonał Berto na punkty (36:34), przechodząc do kolejnej rundy. W swojej drugiej walce, Noël zmierzył się z Ukraińcem Wiktorem Poliakowem. Francuz odpadł z turnieju, przegrywając na punkty (25:32).