В 2000 году Олембе вместе с командой стал победителем Кубка африканских наций. В следующем году принял участие в Кубке конфедераций, где африканцы заняли третье место в группе. В 2002 году он во второй раз выиграл Кубок африканских наций. По ходу турнира он забил три гола и вместе с нигерийцем Агаховой и соотечественником Мбома стал лучшим бомбардиром соревнований. Также он принимал участие в чемпионате мира 2002 и главном африканском первенстве в 2004 и 2006 году.