De moderne olympiske lekers far, Pierre de Coubertin, hadde ideen til panafrikanske leker allerede i 1920. Kolonimaktene som hadde kolonisert Afrika i denne perioden var skeptisk til denne ideen, fordi de var redde for at det samlende aspektet ved sport ville bidra til at afrikanske land ville kreve sin uavhengighet. Det ble gjort forsøk på å arrangere slike leker i Alger i Algerie i 1925 og i Alexandria i Egypt i 1928, men til tross for en betydelig innsats fra arrangørene ble det ikke noe av lekene. IOKs første afrikanske medlem, den greskfødte egyptiske sprinteren Angelo Bolanaki, donerte penger til å bygge et stadion, men det skulle likevel ta tre årtier før lekene var i gang.