A.- Par décision du 4 août 1998, l'Office AI du canton de Neuchâtel (ci-après : l'OAI) a mis F._ au bénéfice d'une rente entière d'invalidité du 1er août 1996 au 28 février 1998 - le degré de son invalidité n'excédant plus 25 % depuis lors - en raison d'affections psychique (dépression) et physique (glaucome bilatéral).
Par décision du 27 mai 1999, l'OAI a rejeté la nouvelle demande de prestations déposée par l'assuré le 22 janvier 1999, au motif que l'état de santé de ce dernier s'était en réalité amélioré.
Le 21 février 2000, F._ a déposé une nouvelle demande de prestations, tendant à l'octroi d'une rente et de mesures de réadaptation d'ordre professionnel. Il alléguait notamment souffrir d'apnées du sommeil. Dans le cadre de l'instruction de cette nouvelle demande, l'OAI a confié à la Clinique X._ un mandat d'expertise pluridisciplinaire.
Dans leur rapport du 3 janvier 2001, les docteurs A._ et B._, ont conclu à une incapacité de travail de 40 %, susceptible d'évoluer favorablement à moyen terme. Il se sont notamment fondés sur les résultats d'examens ophtalmologique (Dr C._), pneumologique (Dr D._) et psychiatrique (Dr E._). Par décision du 9 mars 2001, l'OAI a octroyé à l'assuré un quart de rente d'invalidité, correspondant à un taux d'invalidité de 40 %, dès le 1er octobre 1999.
B.- Par jugement du 13 septembre 2001, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par F._ contre cette décision.
C.- Ce dernier interjette recours de droit administratif contre ce jugement. Il conclut à son annulation et au renvoi de la cause à l'administration pour instruction complémentaire sur le plan médical et nouvelle décision, sous suite de frais. L'OAI a conclu au rejet du recours.
L'Office fédéral des assurances sociales ne s'est pas déterminé.
D.- Le 11 décembre 2001, F._ a complété son recours par la production d'une liasse de pièces comprenant notamment deux correspondances du Service de neurologie du Centre hospitalier Y._ et un certificat médical émanant du docteur G._, spécialiste FMH en pneumologie, faisant état d'une incapacité de travail de 100 %.
Le 17 janvier 2002, F._ a encore produit un lot de pièces comportant diverses correspondances avec l'OAI.
Considérant en droit :
1.- Il n'est pas contesté en l'espèce que l'incapacité de gain du recourant s'est modifiée depuis le 1er mars 1998 de manière à influencer son droit à une rente (art. 41 LAI). Cette évolution est, au demeurant confirmée par les pièces figurant au dossier. Partant, demeure seul litigieux son droit à une demie rente ou une rente entière, en lieu et place du quart de rente accordé.
Le jugement entrepris expose correctement les principes applicables à l'évaluation de l'invalidité, au degré de l'invalidité ouvrant le droit, respectivement au quart, à la demi-rente et à la rente entière, ainsi qu'à l'appréciation des pièces médicales par le juge, si bien qu'il suffit d'y renvoyer sur ces différents points.
2.- a) Les premiers juges ont considéré, en substance, que le rapport d'expertise de la Clinique X._, du 3 janvier 2001, remplissait toutes les conditions posées par la jurisprudence pour lui reconnaître pleine force probante. Ils ont relevé que le recourant n'alléguait aucun élément objectif pertinent susceptible d'en remettre les conclusions en cause. Compte tenu d'une incapacité de travail attestée médicalement de 40 %, la diminution de la capacité de gain de l'assuré n'excèdait pas 40 %.
b) Pour l'essentiel, le recourant critique, l'objectivité des conclusions des experts. Il soutient, à cet égard, que l'opinion de ces derniers aurait été influencée par diverses pièces figurant au dossier, soit notamment des appréciations du médecin-conseil de l'OAI, dont il estime qu'elles auraient dû en être retranchées.
Se bornant à alléguer que les spécialistes de la Clinique X._ se sont "à l'évidence largement fondés sur les constatations erronées des médecins de l'AI", le recourant ne démontre toutefois pas concrètement en quoi l'appréciation de son incapacité de travail dans le rapport du 3 janvier 2001 ne serait pas convaincante. Il convient, au contraire, de relever que le rapport médical en question procède d'une analyse minutieuse de la documentation médicale et d'examens complets, qui ont permis aux spécialistes reconnus appelés à se prononcer sur sa capacité de travail, de le faire en toute connaissance de cause, ce qui constitue, comme l'ont rappelé à juste titre les premiers juges, l'une des conditions pour reconnaître pleine force probante à un rapport médical (ATF 125 V 352 consid. 3a). Pour le surplus, soigneusement motivées, les conclusions de ces médecins sont pleinement convaincantes.
Les pièces médicales produites par l'intéressé à l'appui de son recours de droit administratif ne permettent pas d'aboutir à une autre conclusion. Dans une attestation datée du 4 août 2001, la doctoresse H._, psychiatre et psychothérapeute FMH, indique certes qu'à son avis le diagnostic de troubles du comportement avec état d'angoisse dus à une situation familiale et socioprofessionnelle perturbée chez une personnalité névrotique, hyperthymique "justifie une demande AI à 50 %". Cette affirmation se rapporte toutefois à l'appréciation portée par ce médecin sur la capacité de travail de l'assuré dans un rapport du 23 février 1998, qu'elle tend à étayer. Or, il ressort des pièces du dossier que la doctoresse H._ n'est plus le médecin traitant de l'assuré, qu'elle n'a plus examiné depuis lors. Par ailleurs, la doctoresse H._ réaffirme dans cette pièce le caractère évolutif, dans un sens favorable, de l'atteinte psychique dont souffre le recourant. Partant, l'évaluation du docteur E._, qui conclut dans son rapport du 17 décembre 2000, soit près de trois ans plus tard, à une incapacité de travail de 40 % en relation avec les troubles psychiques, ne saurait être remise en question par ce seul avis médical.
c) Les pièces nouvelles, produites par le recourant le 11 décembre 2001 - dont il peut être tenu compte devant la cour de céans dès lors qu'elles portent des dates postérieures à l'échéance du délai de recours et se rapportent aux apnées du sommeil dont souffre le recourant (ATF 127 V 353 consid. 4) - ne permettent pas non plus de remettre en cause les conclusions du rapport de la Clinique X._.
Le 17 et 18 octobre 2001, le recourant a été soumis, auprès de Y._, à une polysomnographie. Cet examen a permis de mettre en évidence un index d'apnées anormal malgré l'utilisation d'une CPAP (Continuous Positive Airway Pressure). Il a, par ailleurs révélé un sommeil complètement destructuré pouvant expliquer, par une dyssomnie importante, la somnolence diurne dont se plaint le recourant.
Les médecins de Y._ ont préconisé une correction de la pression de l'appareil CPAP prescrit à l'assuré, en évoquant, par ailleurs, la possibilité que la dyssomnie résulte d'un état anxio-dépressif, qui pourrait expliquer la somnolence diurne (rapport de polysomnographie du docteur I._, du 26 novembre 2001).
Dans un certificat médical du 27 novembre 2001, le docteur G._ relève que l'atteinte à la qualité du sommeil détermine la fatigue et la somnolence diurne et est en partie responsable de l'état dépressif de son patient.
Le syndrome d'apnées du sommeil est donc responsable en association avec l'état dépressif d'une incapacité de travail qu'il considère comme complète.
Contrairement à l'avis du recourant et de son médecin traitant, ces éléments ne sont toutefois pas en contradiction avec les conclusions du rapport des médecins de la Clinique de réadaptation. Si le docteur D._ indique que l'utilisation régulière de la CPAP est de nature à supprimer les effets diurnes des apnées nocturnes, les médecins de Y._, qui suspectent un mauvais réglage de l'appareil et en préconisent l'adaptation, ne soutiennent nullement qu'un tel traitement n'est pas susceptible de réduire les troubles de la veille. Par ailleurs, le docteur E._, dans son rapport de consilium psychiatrique du 17 novembre 2000, indique, s'agissant de l'évaluation de l'incapacité de travail du recourant, que cette dernière résulte essentiellement du sentiment de fatigue, de fatigabilité - évoqué par l'expertisé en relation avec ses apnées du sommeil - et des troubles subjectifs d'accompagnement. On ne voit dès lors pas en quoi cette analyse, qui établit un lien entre l'incapacité de travail, les apnées du sommeil et les troubles psychiques, différerait de celle du docteur G._. Force est ainsi de constater que l'ensemble des facteurs dont se plaint le recourant a déjà été pris en compte dans le rapport de la Clinique X._. Enfin, le certificat médical très sommaire établi par le docteur G._ et les résultats des examens de Y._ attestent certes l'existence de somnolences, mais ne fournissent en revanche aucune indication permettant de justifier une pleine incapacité de travail. Sur ce point, ces pièces médicales n'apportent aucun élément concret en contradiction avec l'évaluation de la somnolence à laquelle est parvenue le docteur D._ (score peu élevé de 10, voire 11/24 sur l'échelle d'Epworth, au demeurant identique à celui relevé par le docteur G._ dans son rapport du 22 septembre 1999).
3.- Pour le surplus, le recourant ne conteste pas les données économiques sur la base desquelles les premiers juges ont estimé la perte de gain résultant de son incapacité de travail de 40 % attestée médicalement. La cour de céans n'ayant, par ailleurs aucune raison de s'en écarter, le degré d'invalidité de 40 % justifiant l'octroi d'un quart de rente (art. 28 al. 1 LAI) ne peut être que confirmé.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale neuchâteloise de compensation, au Tribunal administratif du canton de Neuchâtel ainsi
qu'à l'Office fédéral des assurances sociales.
Lucerne, le 11 mars 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :