Anfang 2003 erreichte Lemaire das Finale beim Tournoi de Paris und unterlag dem Japaner Keiji Suzuki. Bei den Europameisterschaften in Düsseldorf unterlag er im Achtelfinale Iveri Jikurauli. Vier Monate später bei den Weltmeisterschaften in Osaka bezwang er im Viertelfinale den Kasachen Asqat Schitkejew und im Halbfinale den Italiener Michele Monti. Im Finale verlor er gegen Kōsei Inoue. Anfang 2004 belegte er den dritten Platz beim Tournoi de Paris. Bei den Europameisterschaften in Bukarest unterlag er im Halbfinale Ariel Zeevi. Mit einem Sieg über Zoltán Pálkovács sicherte sich Lemaire eine Bronzemedaille. Auf Pálkovács traf Lemeire auch in seinem Auftaktkampf bei den olympischen Spielen in Athen. Danach besiegte er den Russen Dmitri Maximow. Im Viertelfinale unterlag Lemaire dem Deutschen Michael Jurack. Nach einem Sieg in der Hoffnungsrunde gegen den Kubaner Oreydis Despaigne verlor er gegen Ariel Zeevi und belegte den siebten Platz. 2005 gewann Ghislain Lemaire seinen fünften französischen Meistertitel. Bei den Mittelmeerspielen in Almeria bezwang er im Finale den Ägypter Bassel El-Gharbawy. 2006 schied Lemaire im Achtelfinale der Europameisterschaften in Tampere gegen den Deutschen Dimitri Peters aus.