A.- A._, rentière de l'AI, réside à l'Hôtel X._. Le 19 janvier 2000, elle a sollicité le versement d'une prestation complémentaire à l'AI.
Dans le calcul de la prestation complémentaire, la Caisse cantonale neuchâteloise de compensation (la caisse) a tenu compte des éléments suivants :
dépenses annuelles- minimum vital 16 460- cotisations AVS/AI/APG 396- loyer net (sans les charges) : 483 fr. par mois 5 796
------total (fr.) 22 652
revenus annuels- rente AI 24 120- autres rentes 6 233
------total (fr.) 30 353
Comme les revenus de l'assurée (30 353 fr.) excédaient ses dépenses (22 652 fr.), l'administration a rejeté la demande, par décision du 4 juillet 2000.
B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. Elle s'est bornée à alléguer qu'elle percevait une prestation complémentaire mensuelle supérieure à 500 fr. lorsqu'elle était domiciliée à Genève en 1996.
Dans sa réponse du 24 août 2000, la caisse a relevé, notamment, qu'elle avait pris en compte un loyer mensuel de 483 fr., charges comprises. Cette somme représentait le tiers des frais de pension (1450 fr.) payés à l'Hôtel X._, car la part de ce montant dévolue au loyer n'était pas connue.
Par jugement du 29 mars 2001, la juridiction cantonale a rejeté le recours.
C.- A._ interjette recours de droit administratif contre ce jugement dont elle demande implicitement l'annulation, en concluant au versement d'une prestation complémentaire. A l'appui de son recours, elle produit une copie de la réponse de la caisse du 24 août 2000, sur laquelle elle a porté diverses annotations manuscrites. De celles-ci, il ressort que le montant mensuel de 1450 fr.
versé à l'Hôtel X._ ne concerne que le prix de la chambre, sans petit-déjeuner ni repas.
La caisse intimée et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit :
1.- Les premiers juges ont exposé les conditions auxquelles les bénéficiaires de rentes AI peuvent prétendre une prestation complémentaire, si bien qu'il suffit de renvoyer aux consid. 2 et 3 de leur jugement.
2.- Lors du calcul des frais de loyer au sens de l'<ref-law>, l'intimée a appliqué le ch. 3022 des Directives de l'OFAS concernant les prestations complémentaires à l'AVS et à l'AI (DPC). Comme la part des frais dévolue au loyer était inconnue, elle a estimé que le loyer (frais accessoires inclus) représentait un tiers des frais de pension.
La question de savoir si l'intimée aurait néanmoins dû tenir compte de frais mensuels de loyer supérieurs à 483 fr. peut toutefois rester indécise. En effet, même si l'on imputait à ce titre la somme maximale prévue par la loi, soit 12 000 fr. par an (art. 5 al. 1 let. b ch. 1 LPC, dans sa teneur en vigueur jusqu'au 31 décembre 2000) au lieu du montant de 5796 fr. retenu dans la décision litigieuse, les dépenses annuelles reconnues de la recourante (16 460 + 396 + 12 000 = 28 856 fr.) resteraient en deçà de ses revenus annuels reconnus (24 120 + 6233 = 30 353 fr.).
Elle n'aurait ainsi pas droit à la prestation complémentaire qu'elle souhaite obtenir.
3.- Par ailleurs et contrairement à ce que la recourante persiste à penser, le versement d'une prestation complémentaire en sa faveur, en 1993, n'a aucune incidence sur la solution du litige.
A cet égard, la Cour de céans fait siens les considérants des premiers juges auxquels elle n'a rien à ajouter (cf. consid. 3 in fine du jugement attaqué).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 12 octobre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IVe Chambre :
Le Greffier :