En 1986, il retente sa chance en Europe. En France avec les Chamois niortais FC, puis passe par le FC Mulhouse et Lille OSC, mais c'est son passage à l'Olympique de Marseille (OM) qui est le plus réussi. Le président du club, Bernard Tapie, parvient à le recruter au détriment de l'AS Monaco, également intéressé, en faisant croire au club du Rocher que l'international ghanéen refuse les prises de sang lors de la visite médicale (obligatoire avant tous les transferts de joueurs) en raison de sa séropositivité (ce dont Abedi Pelé ne souffrait pas, en réalité). Après un premier passage infructueux entre 1987 et le début d'automne 1988, il se relance 2 saisons au LOSC, revient à l'OM à l'été 1990 et Marseille domine non seulement le championnat de France, mais aussi joue les premiers rôles sur le plan européen. Abedi Pelé devient titulaire dans cette équipe à l'arrivée sur le banc de Raymond Goethals, s'illustre notamment de façon très remarquée en quart de finale de Coupe des clubs champions européens contre l'AC Milan au printemps 1991 et devient incontournable. Après une première finale perdue en 1991, il remporte le titre le plus prestigieux sur le continent européen : la Ligue des champions en 1993 où en finale contre l'AC Milan il est passeur sur l'unique but de ce match marqué par Basile Boli. Son talent est reconnu en remportant trois années consécutivement le titre de ballon d'or africain en 1991, 1992 et 1993 (trophée récompensant le meilleur joueur africain de l'année). En sélection, il fait partie de l'équipe qui termine finaliste de la CAN 1992 (suspendu, il ne disputa pas la finale contre la Côte d’Ivoire), sélection avec laquelle il est capitaine entre 1992 et 1998, et où il bat les records de sélections et de buts inscrits. En revanche, il n'aura jamais la possibilité de disputer au cours de sa carrière la Coupe du monde.