A.- C._, ressortissante italienne, souffre de surdité congénitale.
Par décision du 20 février 1984, la Caisse cantonale genevoise de compensation (ci-après: la caisse) l'a mise au bénéfice d'une formation scolaire spéciale dispensée par la Société X._, avec effet rétroactif au 29 août 1983.
Par décision du 25 juillet 1985, la caisse a, d'une part, prolongé la durée de la formation précitée jusqu'au 31 décembre 1985 et, d'autre part, pris en charge la préparation à une activité en atelier protégé dans le cadre de la Société X._, ainsi que les frais de repas de midi, ce pour la période du 1er janvier 1986 au 30 juin de la même année.
Le 3 juillet 1986, C._ a déposé une demande de rente de l'assurance-invalidité.
Par décision du 25 septembre 1986, la caisse lui a alloué une rente d'invalidité extraordinaire simple, dès le 1er septembre 1986. Cette décision était fondée sur un prononcé du 6 août 1986 par lequel la Commission de l'AI du canton de Genève avait fixé le taux de l'invalidité permanente de l'assurée à 80%.
A la suite du départ définitif de C._ de la Suisse, le 31 août 2000, son dossier a été transféré à l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après : l'Office).
Par décision du 22 septembre 2000, l'Office a nié le droit de C._ à des prestations de l'assurance-invalidité suisse; d'une part elle ne pouvait pas prétendre une rente extraordinaire au-delà du 31 août 2000, attendu qu'elle était domiciliée en Italie à partir de cette date; d'autre part, elle n'avait pas non plus droit à une rente ordinaire, dans la mesure où elle n'avait pas cotisé pendant une année au moins avant la survenance du cas d'assurance.
B.- Par jugement du 6 avril 2001, la Commission fédérale de recours en matière d'AVS/AI pour les personnes résidant à l'étranger a rejeté le recours formé contre cette décision par C._.
C.- Représentée par son père, c._ interjette un recours de droit administratif dans lequel elle conclut, implicitement, au versement d'une demi-rente ordinaire d'invalidité.
L'Office conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Selon l'<ref-law>, ont droit aux rentes extraordinaires les assurés qui, lors de la survenance de l'invalidité, comptent une année entière au moins de cotisations (sur la notion d'année entière de cotisations, voir <ref-ruling> consid. 1b). Dans le cas d'une rente, l'invalidité est réputée survenue au moment où le droit à la rente prend naissance selon l'<ref-law>, mais au plus tôt dès le mois qui suit le dix-huitième anniversaire de l'assuré (<ref-law>; voir aussi <ref-ruling> consid. 4a).
En l'espèce, les mesures de réadaptation et la formation scolaire spéciale entreprises par la recourante se sont achevées le 30 juin 1986. Le droit de la recourante à une rente ordinaire de l'assurance-invalidité aurait pu prendre naissance, au plus tôt, dès le mois qui a suivi son dix-huitième anniversaire, soit à partir du 1er septembre 1986. A ce moment là, elle n'avait pas encore cotisé à l'AVS/AI, de sorte qu'elle n'a eu droit qu'à une rente extraordinaire de l'assurance-invalidité.
Dans ce contexte, le moyen de la recourante tiré du fait qu'elle aurait, par la suite, travaillé quatorze ans en Suisse ne lui est d'aucun secours, la date décisive étant le 1er septembre 1986.
2.- Par ailleurs, la recourante ne peut pas prétendre, au delà du 31 août 2000, une rente extraordinaire, attendu qu'elle ne remplit plus la condition de domicile et de résidence en Suisse (<ref-law> auquel renvoie l'<ref-law>; <ref-ruling> consid. 1b et les arrêts cités). Dans un arrêt G. non publié du 20 juin 2001, I 259/01, le Tribunal fédéral des assurances a d'ailleurs considéré que cette réglementation ne contenait pas de lacune que le juge aurait pour mission de combler.
3.- Il s'ensuit que le recours, manifestement infondé, doit être liquidé selon la procédure simplifiée (art. 36a al. 1 let. b OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Commission fédérale de recours en matière d'assurance- vieillesse, survivants et invalidité pour les personnes
résidant à l'étranger et à l'Office fédéral des
assurances sociales.
Lucerne, le 10 septembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
La Greffière :