A.- a) J._, marié, père de cinq enfants, de nationalité française, domicilié à Y._, a exercé une activité professionnelle en Suisse comme travailleur frontalier. En dernier lieu, il a travaillé en qualité de maçon au service de l'entreprise X._. Le 13 février 1995, il a été victime d'un accident du travail, qui a entraîné des lésions multiples de la colonne cervicale et dorsale, ainsi qu'une contusion de l'épaule droite. Après avoir présenté par alternance des périodes d'incapacité de travail totales ou partielles, il a subi une incapacité totale de travail depuis le 17 décembre 1996. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) lui a versé les indemnités journalières correspondantes. A ce jour, il n'a pas repris d'emploi. Le 18 mars 1996, J._ a présenté une demande de prestations de l'assurance-invalidité. Son médecin traitant, le docteur A._, a posé à l'intention de l'Office cantonal genevois de l'assurance-invalidité (ci-après : l'office cantonal) le diagnostic de séquelles de traumatisme rachidien dorsal et cervical. Il a estimé que l'assuré serait apte à exercer une activité professionnelle à condition d'éviter le port de lourdes charges et l'exécution de travaux pénibles (rapport du 10 juillet 1996). Dans un rapport du 17 mars 1997, qui faisait suite à un examen médical final du 12 mars précédent, le médecin d'arrondissement de la CNA, le docteur B._, a conclu que l'assuré disposait d'une capacité de travail entière, dans la mesure où l'activité n'exige pas le port de charges sur le dos ou avec les membres supérieurs et pour autant que le patient n'accomplisse pas des travaux de force en position avec le tronc fléchi et ne soit pas appelé à mobiliser de façon répétitive la colonne cervicale. b) Du 2 juin 1997 au 25 juillet 1997, l'assuré a suivi un stage d'observation professionnelle, tout d'abord pendant trois semaines au Centre d'intégration professionnelle (COPAI), puis, pendant cinq semaines, dans l'entreprise de menuiserie Z._ SA, ("stage en entreprise"). Selon un rapport du COPAI du 8 août 1997, le stage a démontré que l'assuré a conservé une capacité résiduelle de travail susceptible d'être mise en oeuvre comme aide-menuisier d'atelier, avec un rendement de 75 à 85 pour cent, comme aide-monteur de tableaux électriques, avec le même rendement diminué, ou encore comme réparateur dans un service après vente d'articles électroménagers ou sportifs légers, dans ce cas avec un rendement normal. Il était précisé que le rapport de l'entreprise Z._ SA confirmait les aptitudes et l'intérêt de l'assuré pour la menuiserie. Le médecin-conseil du COPAI, le docteur C._, a établi un rapport, le 1er septembre 1997, dans lequel il a considéré que l'assuré devrait être à même de retrouver une capacité de travail à plein temps, avec un rendement un peu diminué. Une formation complémentaire, en réduisant les activités physiques pures, permettrait théoriquement d'arriver à un rendement complet. Dans une note de synthèse du 11 septembre 1998, le docteur D._, médecin-conseil de l'office cantonal, s'est rallié à l'appréciation des docteurs B._ et C._. c) Par décision du 20 avril 1999, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger a alloué à l'assuré, pour la période du 1er février 1996 au 31 mai 1997, une rente entière d'invalidité, assortie d'une rente complémentaire pour son épouse et de cinq rentes pour enfant. Il a considéré que la capacité de gain de l'assuré s'était améliorée dès le mois de mars 1997. En effet, ce dernier pourrait obtenir, en travaillant comme aide-menuisier ou comme ouvrier d'usine, un revenu annuel de 36 000 fr. au moins, compte tenu d'une baisse de rendement de 20 pour cent. S'il n'avait pas été atteint dans sa santé, l'assuré aurait réalisé comme maçon, au 1er janvier 1997, un gain de 59 540 fr. par an. L'invalidité atteignait donc 40 pour cent et était insuffisante pour justifier le droit à une rente au-delà du 31 mai 1997, dès lors que le requérant n'était pas domicilié en Suisse. B.- J._ a recouru contre cette décision en concluant au maintien d'une rente entière d'invalidité. En cours d'instance, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger a rendu une nouvelle décision, du 31 août 1999, par laquelle il a augmenté le montant des rentes précédemment allouées, pour tenir compte des périodes d'assurance accomplies par l'assuré en France. Statuant le 28 juin 2000, la Commission fédérale de recours en matière d'assurance-vieillesse, survivants et invalidité pour les personnes résidant à l'étranger a rejeté le recours. C.- J._ interjette un recours de droit administratif dans lequel il conclut, sous suite de dépens, au versement d'une rente entière d'invalidité dès le 1er juin 1997. Il a par ailleurs présenté une requête d'assistance judiciaire pour la procédure fédérale. L'office intimé se réfère à une prise de position de l'office cantonal et conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé à son sujet.