A.- a) En raison des séquelles d'une maladie de Ledderhose affectant son pied gauche, L._, a été mise au bénéfice d'une demi-rente de l'assurance-invalidité à partir du 1er octobre 1993.
A la suite d'une fracture au pied droit, due à une entorse, la prénommée a demandé, le 12 août 1999, l'octroi
I 347/01 Tnd'une rente entière d'invalidité à l'Office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI).
Chargés par l'office AI d'une expertise de l'assurée, les docteurs A._, B._ et C._ du Service de rhumatologie et de médecine physique de l'Hôpital X._ ont retenu, entre autres affections, les diagnostics de maladie de Ledderhose bilatérale avec atteinte actuelle du pied droit, status post-fracture de la base du 5ème métatarsien droit, obésité importante et état dépressif léger. Ils ont considéré qu'il n'existait pas de dégradation de l'état de santé de la patiente "permettant de valider une augmentation de l'incapacité de travail", laquelle pouvait atteindre mais ne devait pas dépasser 50 % (rapport du 27 mai 1999).
Se fondant sur ces conclusions, l'office AI a maintenu le droit de l'assurée à une demi-rente par décision du 8 juillet 1999, laquelle a été confirmée, sur recours de celle-ci, par le Tribunal administratif du canton de Neuchâtel (jugement du 3 février 2000).
b) Le 27 avril 2000, L._ a demandé à l'office AI d'examiner son droit à une rente entière d'invalidité, au motif qu'elle présentait un état dépressif profond justifiant une incapacité de travail d'au moins 50 %. A l'appui de sa demande, elle a produit un certificat médical du 24 mai 2000 de la doctoresse D._ du Centre psycho-social Y._ selon lequel elle présentait une incapacité de travail de 50 % en raison d'une affection neuro-psychiatrique d'évolution chronique. Le 10 août 2000, cette praticienne a rendu un rapport médical complémentaire à la demande de l'office AI.
Par décision du 22 novembre 2000, considérant que le degré d'invalidité de l'assurée n'avait pas changé au point d'influencer son droit à la rente, l'office AI a rejeté sa demande de révision.
B.- Par jugement du 4 mai 2001, le Tribunal administratif du canton de Neuchâtel a rejeté le recours formé par L._ contre cette décision.
C.- L._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de dépens, à son annulation et au renvoi de la cause au tribunal cantonal pour instruction complémentaire et nouvelle décision.
L'office intimé conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Il est constant que la recourante est atteinte de troubles somatiques et présente un état dépressif lié à son handicap physique, ce qui a entraîné une incapacité de travail à raison de 50 %. Le droit à une demi-rente, reconnu à partir du 1er octobre 1993, a été maintenu par l'office AI (décision du 8 juillet 1999) et confirmé par le tribunal cantonal (jugement du 3 février 2000). Le présent litige porte sur le point de savoir si, depuis le 8 juillet 1999, l'état de santé de la recourante a subi une modification propre à influencer le degré d'invalidité et donc le droit à une rente.
2.- Selon l'<ref-law>, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à une rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Tout changement important des circonstances propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci. Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision initiale de rente et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 2 et la référence; voir également <ref-ruling> consid. 2b et 390 consid. 1b).
3.- a) A l'instar de l'intimé, les premiers juges ont nié l'existence d'une aggravation de l'état de santé de la recourante. Se fondant sur le certificat médical du 10 août 2000 de la doctoresse D._, ils ont considéré que l'intensité de la dépression dont souffrait la recourante ne s'était pas modifiée depuis 1991. En outre, ils ont estimé qu'une dépression d'intensité moyenne, telle que diagnostiquée par ce médecin, ne justifiait pas à elle seule une incapacité de travail de même importance que celle qui avait été reconnue à la recourante compte tenu de ses affections physiques et d'un état dépressif léger.
On ne saurait partager l'opinion des premiers juges.
En effet, contrairement à l'interprétation qu'ils ont faite du certificat médical de la doctoresse D._, cette dernière a constaté un changement dans l'état de santé psychique de l'assurée depuis le début de ses problèmes de santé. La praticienne relève que si depuis 1991, l'état dépressif de L._ persistait à un degré relativement modéré, celle-ci présentait, le 10 août 2000, un état dépressif d'intensité moyenne qui justifiait une incapacité de travail de 50 % sur le plan psychique.
Certes, les docteurs A._, B._ et C._ n'ont, le 27 mai 1999, diagnostiqué qu'un état dépressif léger. La recourante a toutefois commencé un traitement de son état dépressivo-anxieux le 19 novembre 1999 (certificat du 10 décembre 1999 de la doctoresse E._), ce qui constitue un élément supplémentaire dont on peut déduire une aggravation de son affection psychique. Dans ces circonstances, on peut admettre que l'état de santé psychique de la recourante s'est effectivement détérioré depuis l'automne 1999.
b) En outre, dès lors que les premiers juges ont admis que la recourante présentait une dépression d'intensité moyenne, - soit d'une intensité plus importante que celle retenue par les médecins de l'Hôpital X._ en mai 1999 -, ils ne pouvaient s'abstenir d'en déterminer les conséquences sur sa capacité de gain et admettre sans plus qu'un tel état dépressif ne justifiait pas une incapacité de travail de 50 %.
Pour autant, on ne peut, sans autre examen, s'en remettre au taux d'incapacité de travail déterminé par la doctoresse D._. En effet, ce taux ne tient compte que des troubles psychiques présentés par l'assurée, sans spécifier de quelle manière il doit être apprécié au regard de l'incapacité résultant de ses troubles physiques. Il ne saurait en aucun cas être simplement additionné au taux de 50 % retenu par les médecins de l'Hôpital X._, puisque ceux-ci ont déjà pris en considération, en plus des affections somatiques, l'influence d'un état dépressif léger sur la capacité de travail de la recourante. Les conclusions de la doctoresse D._ ne permettent donc pas de déterminer dans quelle mesure l'affection psychique aggravée de l'assurée a eu une influence effective sur sa capacité de travail, en particulier de dire si celle-ci a subi une modification par rapport au taux global retenu dans le rapport du 27 mai 1999 des docteurs A._, B._ et C._.
Au surplus, si la doctoresse D._ fait référence à l'activité d'infirmière en psychiatrie de la recourante, "qui effectue un travail pénible", elle ne se prononce pas sur la capacité résiduelle de travail dans une autre activité professionnelle éventuelle.
c) En conséquence, il s'impose de renvoyer la cause à l'administration afin qu'elle procède à un complément d'instruction dans le but de déterminer la capacité résiduelle de travail de la recourante, compte tenu de l'aggravation de son affection psychique. Vu la nature des troubles, une expertise pluridisciplinaire pourrait se révéler utile.
Le recours est dès lors bien fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du 4 mai 2001 du
Tribunal administratif du canton de Neuchâtel, ainsi
que la décision du 22 novembre 2000 de l'office de
l'assurance-invalidité du canton de Neuchâtel sont
annulés, la cause étant renvoyée à cet office pour
instruction complémentaire et nouvelle décision au
sens des considérants.
II. Il n'est pas perçu de frais de justice.
III. L'office intimé versera à la recourante la somme de 2500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
IV. Le Tribunal administratif du canton de Neuchâtel statuera sur les dépens de la procédure cantonale au regard du procès de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
administratif du canton de Neuchâtel et à l'Office
fédéral des assurances sociales.
Lucerne, le 20 mars 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :