2002 siegte Lounifi bei den Afrikameisterschaften in Kairo im Halbleichtgewicht, im Finale bezwang er Amar Meridja. Auch im Jahr 2003 kämpfte Lounifi bei internationalen Turnieren im Halbleichtgewicht, für die Weltmeisterschaften 2003 in Osaka hungerte er sich wieder ins Superleichtgewicht herunter. Er bezwang im Achtelfinale den Japaner Tadahiro Nomura und im Viertelfinale den Israeli Gal Yekutiel. Nach seiner Halbfinalniederlage gegen den Südkoreaner Choi Min-ho gewann er den Kampf um eine Bronzemedaille gegen den Nordkoreaner Pak Nam-choi. 2004 erkämpfte Lounifi bei den Afrikameisterschaften in Tunis eine Bronzemedaille im Halbleichtgewicht. Bei den Olympischen Spielen in Athen gewann er seinen ersten Kampf im Superleichtgewicht gegen Pak Nam-choi. In seinem zweiten Kampf schied er gegen den Russen Jewgeni Stanew aus. 2005 wurde Anis Lounifi in Port Elizabeth noch einmal Dritter der Afrikameisterschaften.