A.- N._ a été mise au bénéfice d'une demi-rente ordinaire d'invalidité, assortie d'une rente complémentaire pour son enfant à partir du 1er janvier 1994 (décision de l'Office cantonal AI du Valais du 29 novembre 1995, remplacée par une décision du 5 juin 1996 prenant en compte les périodes de prestations effectuées au Portugal). Selon les constatations médicales de l'époque (cf. en particulier le rapport de la Policlinique X._ du 16 juin 1995), l'assurée présentait de minimes altérations somatiques sous forme essentiellement de séquelles de tendinite du jambier postérieur droit, ainsi que des troubles psychiques (somatisations dans le cadre d'un état dépressif masqué). Ces derniers entraînaient une incapacité de travail de 50 % dans son activité d'aide de cuisine, alors que, du point de vue somatique, sa capacité de travail était intacte.
L'assurée a définitivement quitté la Suisse pour son pays d'origine au cours de l'année 1996. Elle n'a jamais repris d'activité lucrative. Par décision du 24 décembre 1997, l'Office AI pour les assurés résidant à l'étranger (ci-après : l'office) lui a accordé, à partir du 1er septembre 1997, une demi-rente ordinaire simple pour son second enfant, né le 18 septembre 1997.
Dans le cadre d'une procédure de révision, l'office a recueilli divers renseignements médicaux, notamment un rapport du docteur A._, psychiatre, du 20 avril 1998, selon lequel l'assurée ne présentait pas de plaintes de type psychopathologique, un examen neurologique sommaire n'ayant pas révélé non plus d'altérations. Par décision du 8 février 1999, l'office a dès lors supprimé, avec effet au 1er avril 1999, le droit de l'assurée à une rente d'invalidité.
B.- Par jugement du 23 juin 1999, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger (ci-après : la commission) a admis le recours formé par l'assurée contre cette décision et renvoyé la cause à l'office pour complément d'instruction sous la forme d'une expertise pluridisciplinaire auprès du Servizio Accertamento Medico dell'Assicurazione Invalidità (SAM) de Bellinzone, suivant en cela une proposition faite par ledit office en cours de procédure.
Le 4 septembre 2000, se fondant sur les conclusions des experts du SAM (rapport du 10 décembre 1999) et en tenant compte des différents rapports établis par les médecins portugais de l'assurée, l'office a derechef statué que la demi-rente d'invalidité de cette dernière était supprimée à partir du 1er avril 1999.
C.- Par jugement du 5 novembre 2001, la commission a rejeté le recours formé par l'assurée contre cette décision.
D.- N._ interjette recours de droit administratif contre ce jugement en concluant implicitement à son annulation ainsi qu'au maintien d'une demi-rente d'invalidité après le 1er avril 1999.
L'office conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit :
1.- a) Le litige porte sur la suppression par voie de la révision (art. 41 LAI) de la demi-rente d'invalidité allouée à l'assurée depuis le 1er janvier 1994.
b) Il n'y a pas lieu de prendre en considération les nouvelles pièces produites par la recourante le 27 février 2002 (certificat médical de la doctoresse B._ du 7 janvier 2002 et examens écographiques) après l'échéance du délai de recours. En effet, la production de nouvelles écritures ou de nouveaux moyens de preuve après l'échéance du délai de recours n'est pas admissible, sauf dans le cadre d'un nouvel échange d'écritures ordonné par le tribunal.
Demeure réservée la situation où de telles pièces constituent des faits nouveaux importants ou des preuves concluantes au sens de l'art. 137 let. b OJ et pourraient dès lors justifier la révision de l'arrêt du tribunal, ce qui n'est toutefois pas le cas en l'espèce (ATF 127 V 353 consid. 4a).
2.- Les dispositions légales et conventionnelles ainsi que la jurisprudence applicables au présent cas ont été correctement rappelées dans le jugement entrepris, de sorte qu'il suffit d'y renvoyer.
3.- a) A l'instar de l'intimé, les premiers juges ont considéré que l'état de santé de la recourante s'était amélioré dans une mesure propre à justifier la suppression de sa demi-rente d'invalidité à partir du 1er avril 1999. Ils ont fondé leur point de vue sur les conclusions de l'expertise aménagée au SAM (rapport du 10 décembre 1999).
b) Pour sa part, la recourante soutient qu'elle présente toujours une incapacité de travail de 50 %. Elle étaye son opinion sur les constatations des doctoresses B._ (rapports du 27 mars 2000), C._ (rapport du 31 juillet 2000) et D._ (rapport du 5 février 1999).
4.- a) Les experts du SAM ont posé le diagnostic de fibromyalgie à caractère primaire, obésité et tendance à l'hypertension artérielle. Sur le plan rhumatologique, les examens effectués n'ont pas permis de mettre en évidence un processus inflammatoire articulaire ou des signes de spondylarthropathie séronégative. Sur le plan psychiatrique, les experts du SAM ont exclu toute altération d'ordre psychique ou psycho-social, en particulier un trouble dépressif, même larvé et sont d'avis que l'expertisée est dotée d'une capacité mentale intacte. Selon eux, les affections diagnostiquées chez la recourante n'ont aucune influence sur sa capacité de travail qui est rétablie à 100 % depuis le 8 février 1999, date de la première décision de l'intimée de suppression de la rente.
Pour rendre leurs conclusions, les experts du SAM se sont fondés sur les résultats des examens pluridisciplinaires qu'ils ont pratiqués pendant la durée du séjour de l'assurée (électrocardiogramme, examens de laboratoire, examens radiologiques, consultations psychiatrique et rhumatologique), ainsi que sur l'ensemble du dossier médical à disposition; ils ont également pris en considération les plaintes de l'assurée. Aussi bien leur rapport remplit-il toutes les exigences posées par la jurisprudence pour qu'on puisse lui accorder pleine valeur probante (cf. ATF 125 V 352 consid. 3a et l'arrêt cité) et il n'y a pas de motifs de s'écarter des conclusions qui y sont contenues.
b) Au demeurant, celles-ci ne sont, contrairement à l'opinion de la recourante, pas contredites par les avis médicaux des médecins qu'elle a consultés au Portugal. Dans son rapport du 31 juillet 2000, la doctoresse C._ pose un diagnostic identique à celui des experts du SAM puisqu'elle fait état d'un syndrome fibromyalgique pour lequel la recourante suit un traitement. Si le médecin fait certes état des plaintes de la patiente (manque de force et douleurs au niveau du bras droit, difficultés à effectuer des mouvements avec le bras droit), il n'en tire cependant aucune conséquence quant à une éventuelle incapacité de travail de cette dernière. De même, la doctoresse B._ constate certes une arthrose débutante de l'articulation acromio-claviculaire gauche, ainsi que l'existence de "phénomènes inflammatoires-tendinite" (rapports du 27 mars 2000), elle n'en déduit toutefois aucune incapacité de travail, que ce soit dans une activité professionnelle ou ménagère. Quant à la doctoresse D._, elle relève, dans son rapport du 5 février 1999, des périodes d'exacerbation du syndrome fibromyalgique en relation avec un stress psychologique et l'existence d'une tendinite bicipitale droite; hormis la mention d'une incapacité légère à modérée pour certaines tâches quotidiennes, sans autre précision, elle ne mentionne pas d'empêchement quant aux activités que pourrait exercer la patiente sur le plan professionnel ou dans son ménage.
Au vu de ces rapports médicaux, on constate qu'aucun des trois médecins précités n'a mis en évidence une atteinte à la santé qui empêcherait, à leur avis, la recourante d'exercer une activité professionnelle ou ménagère. Cette dernière ne peut, par ailleurs, rien déduire en sa faveur des autres renseignements médicaux recueillis par l'intimée en 1997 dans le cadre de la procédure de révision, dès lors qu'aucun des médecins consultés n'a constaté une altération invalidante de son état de santé (cf. notamment les rapports du médecin de la sécurité sociale portugaise du 19 juin 1997 et du docteur C._ du 8 octobre 1997).
En particulier, il apparaît que le docteur A._, psychiatre, avait, en avril 1998 déjà, retenu que la recourante ne présentait aucun trouble psychique (rapport du 20 avril 1998). Par conséquent, il n'y a pas lieu de s'écarter des conclusions du SAM selon lesquelles la recourante dispose, depuis le mois de février 1999, d'une capacité de travail entière dans toute activité qu'elle a exercée précédemment.
c) Par rapport à la situation qui prévalait au moment de l'octroi de la demi-rente en janvier 1994, où seule subsistait une capacité de travail de 50 % en raison de troubles psychiques, on doit dès lors admettre que l'état de santé de la recourante s'est amélioré de manière significative et lui permet désormais de disposer d'une capacité de gain entière.
Partant, les conditions de l'art. 41 LAI sont réunies.
C'est donc à bon droit que l'administration et les premiers juges ont considéré que la demi-rente d'invalidité allouée à la recourante depuis le 1er janvier 1994 doit être supprimée; cette réduction prend effet, conformément à l'art. 88bis al. 2 let. a RAI, le 1er avril 1999, soit le premier jour du deuxième mois ayant suivi la notification de la décision de révision rendue par l'intimée le 8 février 1999 (cf. ATF 106 V 18 et RCC 1987 p. 279).
Le recours est donc mal fondé.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I.Le recours est rejeté.
II.Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger, ainsi qu'à l'Office fédéral
des assurances sociales.
Lucerne, le 10 juin 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :