A.- a) J._, marié, père de cinq enfants, de nationalité française, domicilié à Y._, a exercé une activité professionnelle en Suisse comme travailleur frontalier. En dernier lieu, il a travaillé en qualité de maçon au service de l'entreprise X._. Le 13 février 1995, il a été victime d'un accident du travail, qui a entraîné des lésions multiples de la colonne cervicale et dorsale, ainsi qu'une contusion de l'épaule droite. Après avoir présenté par alternance des périodes d'incapacité de travail totales ou partielles, il a subi une incapacité totale de travail depuis le 17 décembre 1996. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) lui a versé les indemnités journalières correspondantes. A ce jour, il n'a pas repris d'emploi.
Le 18 mars 1996, J._ a présenté une demande de prestations de l'assurance-invalidité. Son médecin traitant, le docteur A._, a posé à l'intention de l'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office cantonal) le diagnostic de séquelles de traumatisme rachidien dorsal et cervical. Il a estimé que l'assuré serait apte à exercer une activité professionnelle à condition d'éviter le port de lourdes charges et l'exécution de travaux pénibles (rapport du 10 juillet 1996).
Dans un rapport du 17 mars 1997, qui faisait suite à un examen médical final du 12 mars précédent, le médecin d'arrondissement de la CNA, le docteur B._, a conclu que l'assuré disposait d'une capacité de travail entière, dans la mesure où l'activité n'exige pas le port de charges sur le dos ou avec les membres supérieurs et pour autant que le patient n'accomplisse pas des travaux de force en position avec le tronc fléchi et ne soit pas appelé à mobiliser de façon répétitive la colonne cervicale.
b) Du 2 juin 1997 au 25 juillet 1997, l'assuré a suivi un stage d'observation professionnelle, tout d'abord pendant trois semaines au Centre d'intégration professionnelle (COPAI), puis, pendant cinq semaines, dans l'entreprise de menuiserie Z._ SA, ("stage en entreprise"). Selon un rapport du COPAI du 8 août 1997, le stage a démontré que l'assuré a conservé une capacité résiduelle de travail susceptible d'être mise en oeuvre comme aide-menuisier d'atelier, avec un rendement de 75 à 85 pour cent, comme aide-monteur de tableaux électriques, avec le même rendement diminué, ou encore comme réparateur dans un service après vente d'articles électroménagers ou sportifs légers, dans ce cas avec un rendement normal. Il était précisé que le rapport de l'entreprise Z._ SA confirmait les aptitudes et l'intérêt de l'assuré pour la menuiserie. Le médecin-conseil du COPAI, le docteur C._, a établi un rapport, le 1er septembre 1997, dans lequel il a considéré que l'assuré devrait être à même de retrouver une capacité de travail à plein temps, avec un rendement un peu diminué. Une formation complémentaire, en réduisant les activités physiques pures, permettrait théoriquement d'arriver à un rendement complet.
Dans une note de synthèse du 11 septembre 1998, le docteur D._, médecin-conseil de l'office cantonal, s'est rallié à l'appréciation des docteurs B._ et C._.
c) Par décision du 20 avril 1999, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger a alloué à l'assuré, pour la période du 1er février 1996 au 31 mai 1997, une rente entière d'invalidité, assortie d'une rente complémentaire pour son épouse et de cinq rentes pour enfant. Il a considéré que la capacité de gain de l'assuré s'était améliorée dès le mois de mars 1997. En effet, ce dernier pourrait obtenir, en travaillant comme aide-menuisier ou comme ouvrier d'usine, un revenu annuel de 36 000 fr. au moins, compte tenu d'une baisse de rendement de 20 pour cent. S'il n'avait pas été atteint dans sa santé, l'assuré aurait réalisé comme maçon, au 1er janvier 1997, un gain de 59 540 fr. par an. L'invalidité atteignait donc 40 pour cent et était insuffisante pour justifier le droit à une rente au-delà du 31 mai 1997, dès lors que le requérant n'était pas domicilié en Suisse.
B.- J._ a recouru contre cette décision en concluant au maintien d'une rente entière d'invalidité.
En cours d'instance, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger a rendu une nouvelle décision, du 31 août 1999, par laquelle il a augmenté le montant des rentes précédemment allouées, pour tenir compte des périodes d'assurance accomplies par l'assuré en France.
Statuant le 28 juin 2000, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger a rejeté le recours.
C.- J._ interjette un recours de droit administratif dans lequel il conclut, sous suite de dépens, au versement d'une rente entière d'invalidité dès le 1er juin 1997. Il a par ailleurs présenté une requête d'assistance judiciaire pour la procédure fédérale.
L'office intimé se réfère à une prise de position de l'office cantonal et conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- a) Selon l'art. 28 al. 1 LAI, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 pour cent au moins, à une demi-rente s'il est invalide à 50 pour cent au moins, ou à un quart de rente s'il est invalide à 40 pour cent au moins; dans les cas pénibles, l'assuré peut, d'après l'art. 28 al. 1bis LAI, prétendre une demi-rente s'il est invalide à 40 pour cent au moins.
Les rentes correspondant à un degré d'invalidité inférieur à 50 pour cent ne sont versées qu'aux assurés qui ont leur domicile et leur résidence habituelle en Suisse (art. 28 al. 1ter LAI).
Selon l'art. 28 al. 2 LAI, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
b) Selon la jurisprudence, une décision par laquelle l'assurance-invalidité accorde une rente d'invalidité avec effet rétroactif et, en même temps, prévoit la réduction ou la suppression de cette rente, correspond à une décision de révision au sens de l'art. 41 LAI (<ref-ruling> sv. consid. 2d et les références). Aux termes de cette disposition, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci (cf. <ref-ruling> consid. 2 et les références; voir également <ref-ruling> consid. 2b).
2.- a) A l'instar de l'administration, les premiers juges se fondent principalement sur les conclusions du rapport du COPAI et sur l'avis exprimé par le médecin d'arrondissement de la CNA pour admettre que le recourant est apte à exercer une activité légère à plein temps, avec un rendement de 80 pour cent environ.
Le recourant reproche à la commission de recours d'avoir écarté d'autres certificats médicaux qu'il a produits à l'appui de son recours de première instance.
C'est ainsi qu'il a fait l'objet, le 3 décembre 1999, d'un examen neurologique par le docteur E._, neurologue FMH. Ce médecin a diagnostiqué des algies faciales proches d'un Cluster headache, de nature probablement post-traumatique, et une diplopie au regard latéral extrême des deux côtés, d'étiologie indéterminée; la sévérité des algies faciales, leur menace perpétuelle de survenance et leur interférence avec le sommeil aggravent les séquelles douloureuses des traumatismes rachidiens et réduisent certainement la capacité de travail du sujet du fait d'une diminution de résistance et d'une plus grande difficulté d'adaptation (rapport du 6 décembre 1999). Dans un rapport du mois de décembre 1999, le docteur F._, privat-docent à la Faculté de médecine à R._ et médecin consultant à la Clinique universitaire d'orthopédie, qui a lui-même demandé un rapport de consultation neurologique au docteur E._, reconnaît qu'il n'est pas à même de prendre position sur les conclusions de ce neurologue. Mais il semble bien, à son avis, que les séquelles neurologiques de l'accident dont a été victime l'assuré n'ont pas été suffisamment prises en compte. Ce praticien conclut que le patient n'est probablement pas apte à assumer un travail à 60 pour cent et "qu'un maximum de 50 pour cent de capacité de travail devrait lui être reconnu". Enfin, dans un rapport du 18 janvier 1999, également produit par le recourant devant la commission de recours, le docteur G._, spécialiste en rhumatologie, exprime l'avis que la capacité de travail de l'assuré ne dépasse pas 50 pour cent.
Dans une note du 8 février 2000, le médecin-conseil de l'office cantonal, le docteur D._, a pris position sur les rapports des docteurs E._ et F._.
Selon lui, les limitations objectives décrites par le docteur E._ sont quasi inexistantes. Quant aux troubles neurologiques, ils apparaissent modérés et relèvent essentiellement des plaintes de l'assuré. Le médecin-conseil constate que les appréciations respectives du COPAI et des docteurs B._ et C._ ont été émises en dehors de tout conflit juridique, alors que les rapports des docteurs F._ et E._, établis à la demande de l'assuré, sont postérieurs à la décision de l'assurance-invalidité. Finalement, conclut le médecin-conseil, l'assuré a démontré en situation pratique et non théorique qu'il était capable - quel que soit son état de santé - de travailler dans une mesure se situant entre 75 et 85 pour cent dans un emploi adapté; en pareille situation, les constatations du COPAI doivent l'emporter sur l'appréciation médico-théorique des médecins consultés par l'assuré.
b) Le juge des assurances sociales doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut liquider l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre. C'est ainsi qu'il importe, pour conférer pleine valeur probante à un rapport médical, que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions du médecin soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a et les références).
Ces principes, développés à propos de l'assurance-accidents, sont applicables à l'instruction des faits d'ordre médical dans toutes les branches d'assurance sociale (Spira, La preuve en droit des assurances sociales, in Mélanges en l'honneur de Henri-Robert Schüpbach, Bâle 2000, p. 268).
Quand la situation médicale est élucidée, l'assuré peut être admis dans un COPAI aux fins de déterminer si et, le cas échéant, dans quelle mesure il est à même, concrètement, de mettre en valeur sa capacité de travail et de gain. Les informations recueillies au cours d'un tel stage peuvent donc se révéler utiles, en complément des données médicales, pour fixer le degré de l'invalidité (voir à ce sujet, L'instruction des possibilités de gain des personnes prétendant une rente, compte-rendu d'une séance du 10 novembre 1989 consacrée aux problèmes de l'expertise médicale et professionnelle, RCC 1990 p. 59 ss; Karl Abegg, Coup d'oeil sur l'activité des centres d'observation professionnelle de l'AI [COPAI], RCC 1985 p. 246 ss; voir aussi les ch. m. 6007 ss de la circulaire de l'OFAS sur la procédure dans l'assurance-invalidité [CPAI]).
c) En l'occurrence, il n'y a pas de raison d'écarter d'emblée l'avis du docteur E._ au sujet de l'existence de troubles neurologiques propres à influer sur la capacité de travail du recourant. Ce médecin, en effet, a procédé à des examens approfondis, après avoir eu connaissance des dossiers de l'assurance-invalidité et de l'assurance-accidents.
De même, il n'existe a priori aucun motif de mettre en doute la crédibilité du rapport du docteur F._ : l'appréciation selon laquelle la capacité de travail de l'assuré ne dépasse pas 50 pour cent n'a pas été émise à la légère, mais au terme d'un examen orthopédique approfondi de ce praticien, qui a reçu à trois reprises le patient, les 9, 18 et 30 novembre 1999.
L'argument selon lequel le recourant a démontré, pendant le stage d'observation professionnelle qu'il a suivi, qu'il était en mesure de travailler à plein temps avec un rendement diminué de 20 pour cent en moyenne, n'apparaît en l'occurrence pas décisif. Tout d'abord, il s'est écoulé un laps de temps relativement important (presque deux ans et demi) entre le séjour de l'assuré au COPAI et le moment où il a été soumis à l'examen d'un neurologue. On ne peut donc pas exclure que l'état de santé du recourant se soit aggravé postérieurement à ce stage. Ensuite, il n'est pas toujours aisé pour les COPAI de porter, dans un cas concret, une appréciation qui corresponde aux exigences et à la réalité du marché du travail (cf. Abegg, loc. cit. , p. 250 sv.). En l'espèce, il existe en tout cas un élément qui donne à penser que ces exigences ont été sous-estimées.
En effet, le stage suivi par le recourant dans l'entreprise Z._ SA n'a pas confirmé le taux de rendement de 75 à 85 pour cent attesté par les spécialistes du COPAI. Dans son rapport du 7 août 1997, cet employeur a noté que le stagiaire a obtenu (dans une activité légère de menuiserie d'atelier) un rendement, qualitatif et quantitatif, de 60 pour cent par rapport aux exigences minimales qui seraient normalement fixées lors de l'engagement d'un collaborateur; un rendement supérieur pourrait être envisagé, mais seulement pour certains travaux, au demeurant non précisés. Cette différence de rendement constatée de part et d'autre, qui est de l'ordre de 15 à 25 pour cent, est suffisamment sensible pour jeter un doute sur les possibilités réelles du recourant de travailler dans une proportion de 80 pour cent, comme le retiennent l'office cantonal et la commission de recours.
d) Dans ces conditions et compte tenu également des divergences d'opinion émises par les médecins, il apparaît nécessaire de renvoyer la cause à l'office intimé pour qu'il procède à une instruction complémentaire sous la forme d'une expertise médicale, par exemple dans un Centre d'observation médicale de l'assurance-invalidité (COMAI; voir à ce sujet <ref-ruling>).
3.- Vu la nature du litige, la procédure est gratuite (art. 134 OJ a contrario).
Par ailleurs, l'intimé, qui obtient gain de cause, a droit à une indemnité de dépens (art. 159 al. 1 OJ). La demande d'assistance judiciaire qu'il a déposée dans la présente procédure est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement de la
Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger du 28 juin 2000, ainsi que
les décisions de l'Office de l'assurance-invalidité
pour les assurés résidant à l'étranger des 20 avril
1999 et 31 août 1999, sont annulés.
II. La cause est renvoyée à cet office pour complément d'instruction et nouvelle décision au sens des motifs.
III. Il n'est pas perçu de frais de justice.
IV. L'Office de l'assurance-invalidité pour les assurés résidant à l'étranger versera au recourant une indemnité de 2500 fr. (y compris la taxe à la valeur ajoutée)
au titre de dépens pour la procédure fédérale.
V. La Commission fédérale de recours statuera sur les
dépens pour la procédure de première instance, au
regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger et à l'Office fédéral des
assurances sociales.
Lucerne, le 19 juin 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :