A.- A._ a travaillé en Suisse de 1982 à 1988 et versé des cotisations à l'AVS/AI.
Le 24 juillet 1989, il a présenté une demande de prestations de l'assurance-invalidité; il faisait état de troubles consécutifs à un accident survenu le 21 juillet 1988, date à laquelle il a cessé de travailler.
Par décision du 5 août 1992, la Caisse de compensation SPIDA (ci-après : la caisse) lui a accordé une rente entière d'invalidité pour la période du 1er juillet 1989 au 31 mars 1991. La caisse se fondait notamment sur un prononcé du 14 mai 1992 de la Commission AI du canton du Valais, pour admettre que l'assuré eût été en mesure de reprendre, dès le mois de mars 1991, une activité légère et adaptée, à temps complet, avec un rendement normal, en réalisant un gain représentant au moins les deux tiers de son revenu antérieur.
Par jugement du 8 mars 1993, le Tribunal des assurances du canton du Valais a partiellement admis le recours interjeté par l'assuré contre la décision de la caisse du 5 août 1992, en ce sens qu'il l'a annulée et renvoyé la cause à l'administration, pour complément d'instruction, notamment auprès d'un Centre d'observation médicale de l'assurance-invalidité (COMAI). La cour cantonale a considéré que l'on ne pouvait péremptoirement prétendre que l'assuré était à même de réaliser les deux tiers de son revenu antérieur, le 31 mars 1991 déjà.
A la suite du retour définitif de A._, le 29 mars 1994, dans son pays d'origine, le dossier a été transmis à l'Office AI pour les assurés résidant à l'étranger (OAI). Par décision du 17 mai 2000, l'OAI a accordé une rente entière d'invalidité au prénommé pour la période du 1er juin 1991 au 31 décembre 1993 et s'est référé à la décision de la caisse du 5 août 1992 en ce qui concerne la période du 1er juillet 1989 au 31 mars 1991.
B.- A._ a recouru contre cette décision devant la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission de recours). Il a conclu à l'octroi d'une rente entière d'invalidité, à partir du 1er janvier 1994.
Par jugement du 9 avril 2001, la commission de recours a rejeté le recours. Elle s'est fondée, notamment, sur trois rapports d'expertise psychiatrique de la doctoresse B._ (21 octobre 1990, 11 mars 1992 et 12 avril 1999), sur un rapport d'expertise du COMAI de Lucerne (1er octobre 1996), et sur quatre rapports du médecin de l'OAI, le docteur C._ (31 décembre 1996, 9 juin et 22 novembre 1997 et 9 décembre 1998).
C.- A._ interjette recours de droit administratif contre ce jugement. Il conclut, sous suite de frais et dépens, à l'octroi d'une rente entière d'invalidité à partir du 1er janvier 1994.
L'OAI conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination.

Considérant en droit :
1.- L'octroi rétroactif d'une rente d'invalidité dégressive et/ou temporaire règle un rapport juridique sous l'angle de l'objet de la contestation et de l'objet du litige. Lorsque seule la réduction ou la suppression des prestations est contestée, le pouvoir d'examen du juge n'est pas limité au point qu'il doive s'abstenir de se prononcer quant aux périodes à propos desquelles l'octroi de prestations n'est pas remis en cause (<ref-ruling> ss consid. 2; VSI 2001 p. 156 consid. 1).
Par ailleurs, selon la jurisprudence, une décision par laquelle l'assurance-invalidité accorde une rente d'invalidité avec effet rétroactif et, en même temps, prévoit la réduction de cette rente, correspond à une décision de révision au sens de l'<ref-law> (<ref-ruling> sv. consid. 2d et les références; VSI 2001 p. 157 consid. 2; cf.
consid. 3 ci-après).
2.- a) Il résulte du rapport du COMAI et des rapports du docteur C._ que le recourant a présenté une incapacité de travail de 100 % du 21 juillet 1988 au 30 septembre 1993, attribuable à des divers troubles physiques, et que dès le 1er octobre 1993 - date à partir de laquelle la CNA lui a alloué une rente pour une incapacité de gain de 25 % - il était apte à travailler à 70 % dans une activité de substitution légère, la reprise de son ancienne occupation étant exclue. En particulier, le psychiatre consultant du COMAI avait confirmé les conclusions des deux premières expertises de la doctoresse B._ (21 octobre 1990 et 11 mars 1992), dont il ressortait que l'assuré ne présentait aucun trouble psychique susceptible de diminuer sa capacité de travail.
b) Dans son troisième rapport d'expertise du 12 avril 1999, la doctoresse B._ a retenu un état régressif caricatural, sans aucun trouble psychopathologique sous-jacent, et diagnostiqué un processus d'invalidation avec majoration des symptômes physiques et régression psychique pour des raisons psychologiques. Elle a précisé qu'il n'y avait pas de maladie psychiatrique ou de trouble de la personnalité au sens rigoureux des manuels de référence et de classification des troubles mentaux et a conclu à l'exigibilité de toute activité adaptée, en ajoutant que "compte tenu du tableau présenté d'invalidité de fait, aucune activité ne sera réalisée par cet assuré". Dans son rapport d'expertise du 11 mars 1992, la doctoresse B._ avait d'ailleurs relevé que l'explication de cette "invalidité de fait" ne résidait pas dans le champ médical, mais dans le domaine familial, affectif et social, ainsi que dans l'attente d'un certificat médical d'incapacité de travail pour prolongation du permis de séjour. Il résulte sans ambiguïté de cette appréciation que le recourant ne présente pas d'affection psychique proprement dite susceptible de diminuer sa capacité de travail (<ref-ruling>).
c) C'est en vain, dans ce contexte, que le recourant conteste l'actualité des rapports des médecins de la CNA et du COMAI en ce qui concerne ses problèmes psychologiques et qu'il se réfère à cet égard au rapport d'expertise psychiatrique du 12 avril 1999, pour en conclure qu'une rente de l'assurance-invalidité doit lui être octroyée. Le point de vue de la doctoresse B._, selon lequel il est illusoire de penser qu'il retrouvera une activité lucrative et que, partant, une prise en charge par l'assurance-invalidité est souhaitable, n'est - en l'absence d'un diagnostic de troubles psychiques proprement dits - d'aucun secours au recourant. Il est, en effet, étranger à la notion d'invalidité définie à l'<ref-law>.
d) Par ailleurs, le recourant ne saurait valablement opposer aux conclusions de l'expert et des médecins de l'OAI celles de ses médecins traitant, les docteurs D._ (rapport du 12 mai 1997) et E._ (rapports du 24 décembre 1998), pour les motifs, pertinents, avancés par les premiers juges, auxquels il sera renvoyé par économie de procédure.
e) Le recourant ne saurait rien non plus tirer de l'appréciation du 27 octobre 1997 du docteur F._ de l'hôpital psychiatrique X._, selon laquelle sa capacité de travail est nulle en raison d'un trouble somatoforme douloureux persistant et son droit à une rente AI complète doit être envisagée. Il ressort cependant d'une lettre explicative du 4 juillet 1998 du docteur F._, adressée à l'OAI, que le diagnostic précité a été retenu faute d'avoir pu réunir des informations suffisantes sur le recourant pour aboutir à un diagnostic de personnalité satisfaisant. En particulier, le patient omettait de donner des indications le concernant; il entrait en colère chaque fois que les médecins essayaient de connaître les différentes étapes de sa vie; enfin la relation thérapeutique a été difficile et le personnel se sentait terrorisé. Dans ces circonstances, en dépit des allégations du recourant, le rapport du 27 octobre 1997 du docteur F._ n'est pas de nature à faire doute du bien-fondé de l'appréciation du dossier médical à laquelle ont procédé les premiers juges.
f) Eu égard aux conclusions conjointes des médecins du COMAI, du docteur C._ et de la doctoresse B._ - dont la valeur probante est incontestable (<ref-ruling> consid. 3a et 353 sv consid. 3b/bb et ee) - il y a ainsi lieu de retenir que le recourant présentait une incapacité de travail de 100 % du 21 juillet 1988 (date de son accident) jusqu'au 30 septembre 1993. A partir de là, l'incapacité de travail dans une activité adaptée légère était de 30 %.
3.- a) Conformément aux règles posées par la jurisprudence en matière d'objet de la contestation et d'objet du litige et à l'<ref-law>, il importe d'établir l'existence d'un changement important des circonstances propre à justifier le prononcé de rentes échelonnées ou limitées dans le temps. Or un tel examen ne peut intervenir que par le biais d'une comparaison entre les différents états de faits successifs.
b) En l'espèce, l'OAI a mis le recourant au bénéfice d'une rente entière d'invalidité pour la période du 1er juin 1991 au 31 décembre 1993 et a simultanément supprimé cette prestation dès le 1er janvier 1994. Or, seule la suppression de la rente entière à partir du 1er janvier 1994 est contestée, non l'octroi de la rente entière pour la période antérieure. Mais cela ne change rien au fait que le juge est appelé, selon les circonstances du cas d'espèce (cf. <ref-ruling> consid. 4a in fine), à examiner cette question dès lors qu'elle fait partie de l'objet du litige.
A l'instar de l'OAI, les premiers juges ont considéré que le passage d'une rente entière d'invalidité à la suppression de cette prestation était justifié par le fait que la santé du recourant s'était améliorée dans l'intervalle.
Cette considération découle des conclusions des médecins du COMAI et du docteur C._, selon lesquels, à partir du mois d'octobre 1993, le taux d'incapacité de travail de l'assuré n'était plus que de 30 %. Dans un tel cas, la suppression de la rente prend effet au 1er janvier 1994 (<ref-law>; VSI 2000 p. 313 sv. consid. 2d).
La capacité de gain du recourant s'étant notablement améliorée, il y a lieu d'examiner si cette amélioration est suffisante pour justifier la suppression de la rente d'invalidité allouée au recourant.
4.- a) Pour déterminer le revenu réalisable sans invalidité, il faut prendre en compte le salaire annuel de 48 960 fr. qu'aurait réalisé le recourant en 1992 dans le cadre de sa dernière activité d'aide-monteur en installations sanitaires. Comme l'année 2000 est l'année de référence pour la comparaison des revenus (cf. <ref-ruling> consid. 1b), il convient de procéder à une adaptation en fonction de l'évolution des salaires de 1992 à 2000, soit une augmentation de 2,6 % en 1993, 1.5 % en 1994, 0.9 % en 1995, 1.3 % en 1996, 0.5 % en 1997, 0.7 % en 1998, 0.3 % en 1999 et 1.3 % en 2000 (La Vie économique 12/95, Données économiques actuelles p. 15, tableau B 4.4 et 4/2002, p. 77, tableau B 10.2). Le revenu sans invalidité à prendre en compte est de 54 611 fr. ou de 4551 fr. par mois.
b) Lorsque l'assuré n'a pas - comme en l'espèce - repris d'activité professionnelle, il y a lieu de se référer aux données statistiques, telles qu'elles résultent des enquêtes sur la structure des salaires de l'Office fédéral de la statistique pour estimer le revenu d'invalide (<ref-ruling> sv. consid. 3b/aa et bb).
Compte tenu de l'activité légère de substitution que pourrait exercer le recourant, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé, à savoir 4268 fr. par mois (Enquête 1998, TA 1, niveau de qualification 4). Ce salaire mensuel hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 1999 et en 2000 (41, 8 heures; La Vie économique, 9-2001 p. 84, tabelle B 9.2) un revenu d'invalide de 4460 fr. par mois (4268 x41, 8 : 40). Comme l'année 2000 est l'année de référence pour la comparaison des revenus, ce montant doit être adapté à l'évolution des salaires des années 1999 (0.3 %) et 2000 (1.3 %), ce qui donne 4532 fr. par mois (cf. La Vie économique, 9-2001 p. 85, tabelle B 10.2).
Attendu qu'il est raisonnablement exigible du recourant qu'il exerce à 70 % une activité légère de substitution, le salaire mensuel hypothétique est dès lors de 3172 fr. (ou 38 064 fr. par an).
Même si l'on procédait à la déduction maximale de 25 % autorisée par la jurisprudence (<ref-ruling> consid. 5b/aa-cc), afin de tenir compte de certains empêchements propres au recourant, le revenu d'invalide déterminant s'élèverait à 28 548 fr. et le taux d'invalidité résultant de la comparaison des revenus serait de 47,72 %.
Ce taux n'atteint pas le seuil ouvrant le droit du recourant à une rente (<ref-law>).
5.- Dans ces circonstances, les conditions de l'<ref-law> sont réunies (<ref-ruling> consid. 2) et la rente d'invalidité entière allouée au recourant par l'OAI pour le période du 1er juin 1991 au 31 décembre 1993 a été à juste titre supprimée à partir du 1er janvier 1994.
6.- Vu la nature du litige, la procédure est gratuite (art. 134 OJ). Le recourant, qui succombe, n'a pas droit à des dépens (art. 159 OJ a contrario).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger et à l'Office fédéral des
assurances sociales.
Lucerne, le 30 avril 2002
Au nom du
Tribunal fédéral des assurances
p. la Présidente de la IVe Chambre :
La Greffière :