A.- Par décision du 16 août 1994, la Caisse interprofessionnelle AVS, allocations familiales et prévoyance professionnelle du canton de Fribourg (CIFA) a alloué à M._, à partir du 1er mai 1994, une rente entière simple d'invalidité assortie de rentes complémentaires pour son épouse et sa fille.
L'assuré étant retourné dans son pays d'origine, le Portugal, son dossier a été transmis à la Caisse suisse de compensation.
Par courrier du 27 mars 1998, l'assuré, par son mandataire, a informé l'Office AI pour les assurés résidant à l'étranger de son divorce prononcé le 10 mars précédent.
Par décision du 29 mai 1998, l'office AI a supprimé, à partir du 1er avril précédent, le droit de l'assuré à une rente complémentaire pour l'épouse. Quant au montant de la rente d'invalidité, il a fait l'objet d'un nouveau calcul tenant compte des bonifications pour tâches éducatives.
Le 29 novembre 1999, l'assuré a informé l'office AI de son remariage célébré le 23 novembre précédent avec une ressortissante portugaise et a requis l'octroi d'une rente complémentaire pour son épouse.
Par décision du 9 mars 2000, l'office AI a rejeté la demande, motif pris que l'épouse de l'assuré ne pouvait justifier d'une année entière au moins de cotisations à l'AVS/AI.
B.- Par jugement du 6 février 2001, la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger a rejeté le recours de l'assuré contre cette décision.
C.- Celui-ci interjette recours de droit administratif contre ce jugement en concluant, sous suite de dépens, à l'octroi d'une rente complémentaire pour son épouse à partir du 1er décembre 1999. Il requiert en outre l'assistance judiciaire.
L'office intimé conclut au rejet du recours, ce que propose également l'Office fédéral des assurances sociales.

Considérant en droit :
1.- a) Aux termes de l'<ref-law>, dans sa teneur introduite par la dixième révision de l'AVS, les personnes mariées qui peuvent prétendre une rente ont droit, si elles exerçaient une activité lucrative immédiatement avant la survenance de l'incapacité de travail, à une rente complémentaire pour leur conjoint, pour autant que ce dernier n'ait pas droit à une rente de vieillesse ou d'invalidité. La rente complémentaire n'est toutefois octroyée que si l'autre conjoint peut justifier d'au moins une année entière de cotisations (let. a) ou a son domicile et sa résidence habituelle en Suisse (let. b).
Selon la let. c al. 1 des dispositions transitoires de la dixième révision de l'AVS, les nouvelles dispositions s'appliquent à toutes les rentes dont le droit prend naissance après le 31 décembre 1996. Elles s'appliquent également aux rentes simples de vieillesse en cours de personnes dont le conjoint a droit à une rente de vieillesse après le 31 décembre 1996 ou dont le mariage est dissous après cette date. Cette disposition est applicable par analogie à l'assurance-invalidité (ch. 2 al. 1 des dispositions transitoires de la modification de la LAI du 7 octobre 1994).
b) En l'espèce, le montant de la rente d'invalidité allouée au recourant après son divorce prononcé le 10 mars 1998 a fait l'objet d'un nouveau calcul fondé sur le nouveau droit.
Par ailleurs, il est constant que la seconde épouse de l'intéressé n'a pas son domicile ni sa résidence habituelle en Suisse (<ref-law>). Il convient donc d'examiner si elle a payé des cotisations durant une année entière au moins.
2.- a) Les premiers juges ont considéré que tel n'était pas le cas, dès lors que, même si l'intéressée s'est acquittée de cotisations à la sécurité sociale portugaise pendant au moins une année, cela ne suffit pas pour satisfaire aux exigences de l'<ref-law>, lequel suppose le paiement de cotisations à l'AVS/AI suisse.
De son côté, le recourant est d'avis que la disposition légale précitée n'exige pas que le conjoint de l'assuré au bénéfice d'une rente d'invalidité ait payé des cotisations en Suisse durant au moins une année. Selon lui, l'intéressé peut aussi prétendre une rente complémentaire pour son conjoint lorsque celui-ci s'est acquitté de cotisations à la sécurité sociale portugaise durant une année au moins. Il se fonde pour cela notamment sur l'art. 12 al. 1, première phrase de la convention de sécurité sociale entre la Suisse et le Portugal du 11 septembre 1975 (ci-après : la convention), dans sa teneur en vigueur depuis le 1er novembre 1995. Cette disposition a la teneur suivante :
Pour déterminer les périodes de cotisations qui doivent servir de base au calcul de la rente ordinaire de l'assurance-invalidité suisse due à un ressortissant suisse ou portugais, les périodes de cotisations et les périodes assimilées accomplies selon les dispositions légales portugaises sont prises en compte comme des périodes de cotisations suisses en tant qu'elles ne se superposent pas à ces dernières.
b) La loi s'interprète en premier lieu selon sa lettre.
Selon la jurisprudence, il n'y a lieu de déroger au sens littéral d'un texte clair par voie d'interprétation que lorsque des raisons objectives permettent de penser que ce texte ne restitue pas le sens véritable de la disposition en cause. De tels motifs peuvent découler des travaux préparatoires, du but et du sens de la disposition, ainsi que de la systématique de la loi (<ref-ruling> consid. 4a, 92 consid. 1d, 198 consid. 2c et les références).
En l'occurrence, il n'y a pas de raison objective de considérer que le texte de la let. a de l'<ref-law> n'est pas clair ni qu'il ne restitue pas le sens véritable de la disposition en cause. D'ailleurs, le recourant concède qu'en lisant "le texte suisse ordinairement appliqué en Suisse", il faut comprendre des cotisations aux assurances sociales suisses. En revanche, affirme-t-il, s'il s'applique, comme en l'occurrence, à un cas relevant du droit international, ce texte doit être interprété selon les conventions de sécurité sociale (en particulier l'art. 12 al. 1 de la convention), ce qui implique que le paiement de cotisations à la sécurité sociale portugaise durant une année au moins suffit pour ouvrir droit à une rente complémentaire pour le conjoint.
Cette argumentation est mal fondée, dès lors que l'on ne saurait qualifier un texte légal à la fois de texte clair et de texte pas absolument clair en fonction des diverses éventualités dans lesquelles il peut trouver application.
c) Autre est la question de savoir si la convention déroge au texte clair de l'<ref-law> en faveur des ressortissants de l'une des parties contractantes.
L'art. 2 de la convention reconnaît le principe de l'égalité de traitement entre lesdits ressortissants en ce qui concerne notamment la législation fédérale sur l'assurance-invalidité (art. 1er al. 1 let. A/b). Le recourant en déduit que, si une année entière au moins de cotisations à l'AVS/AI ouvre droit à une rente complémentaire pour le conjoint de nationalité suisse, il en va de même pour le conjoint de nationalité portugaise ayant payé des cotisations à la sécurité sociale portugaise durant la même période.
Cette conclusion est erronée. Le principe de l'égalité de traitement consacré à l'art. 2 al. 1 de la convention a pour but de pallier les discriminations fondées sur la nationalité, contenues dans la législation suisse, comme les conditions supplémentaires imposées aux ressortissants étrangers pour avoir droit à certaines prestations (Greber, Droit suisse de la sécurité sociale, Lausanne 1982, p. 114). En l'occurrence, l'<ref-law> ne contient pas de discrimination entre les ressortissants suisses et portugais, dans la mesure où il fait dépendre le droit à une rente complémentaire pour le conjoint d'une durée de cotisations à l'AVS/AI suisse d'une année au moins. Dans ces conditions, il n'y a pas lieu de déroger à cette disposition légale par le biais de l'art. 2 al. 1 de la convention.
Quant à l'art. 12 al. 1 de la convention, également invoqué par le recourant, il concerne le calcul de la rente ordinaire d'invalidité. Il ne saurait donc avoir une portée sur les conditions du droit à la rente complémentaire pour le conjoint.
d) Cela étant, l'office intimé était fondé, par sa décision du 9 mars 2000, à dénier au recourant le droit à une rente complémentaire pour son épouse. Le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
3.- S'agissant d'un litige qui concerne l'octroi ou le refus de prestations d'assurance, la procédure est en principe gratuite (art. 134 OJ). Dans la mesure où elle vise à la dispense des frais de justice, la demande d'assistance judiciaire est dès lors sans objet.
Par ailleurs, sur le vu du questionnaire rempli par le recourant et des renseignements complémentaires fournis par son mandataire le 23 mai 2001, les conditions auxquelles l'art. 152 al. 1 et 2 OJ subordonne la désignation d'un avocat d'office sont réalisées. En effet, les moyens dont dispose le recourant n'apparaissent pas supérieurs à ceux qui sont nécessaires pour subvenir aux besoins normaux d'une famille modeste (cf. RAMA 1996 n° U 254 p. 209 consid. 2).
Le recourant est rendu attentif au fait qu'il devra rembourser la caisse du tribunal s'il devient ultérieurement en mesure de le faire (art. 152 al. 3 OJ; SVR 1999 IV n° 6 p. 15).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'assistance judiciaire est accordée. Les honoraires (y compris la taxe sur la valeur ajoutée) de Me Morisod sont fixés à 2000 fr. pour la procédure
fédérale et seront supportés par la caisse du
tribunal.
IV. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger, et à l'Office fédéral
des assurances sociales.
Lucerne, le 30 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :