A.- A._, rentière de l'AI, réside à l'Hôtel X._. Le 19 janvier 2000, elle a sollicité le versement d'une prestation complémentaire à l'AI. Dans le calcul de la prestation complémentaire, la Caisse cantonale neuchâteloise de compensation (la caisse) a tenu compte des éléments suivants : dépenses annuelles- minimum vital 16 460- cotisations AVS/AI/APG 396- loyer net (sans les charges) : 483 fr. par mois 5 796 ------total (fr.) 22 652 revenus annuels- rente AI 24 120- autres rentes 6 233 ------total (fr.) 30 353 Comme les revenus de l'assurée (30 353 fr.) excédaient ses dépenses (22 652 fr.), l'administration a rejeté la demande, par décision du 4 juillet 2000. B.- A._ a recouru contre cette décision devant le Tribunal administratif du canton de Neuchâtel. Elle s'est bornée à alléguer qu'elle percevait une prestation complémentaire mensuelle supérieure à 500 fr. lorsqu'elle était domiciliée à Genève en 1996. Dans sa réponse du 24 août 2000, la caisse a relevé, notamment, qu'elle avait pris en compte un loyer mensuel de 483 fr., charges comprises. Cette somme représentait le tiers des frais de pension (1450 fr.) payés à l'Hôtel X._, car la part de ce montant dévolue au loyer n'était pas connue. Par jugement du 29 mars 2001, la juridiction cantonale a rejeté le recours. C.- A._ interjette recours de droit administratif contre ce jugement dont elle demande implicitement l'annulation, en concluant au versement d'une prestation complémentaire. A l'appui de son recours, elle produit une copie de la réponse de la caisse du 24 août 2000, sur laquelle elle a porté diverses annotations manuscrites. De celles-ci, il ressort que le montant mensuel de 1450 fr. versé à l'Hôtel X._ ne concerne que le prix de la chambre, sans petit-déjeuner ni repas. La caisse intimée et l'Office fédéral des assurances sociales ont renoncé à se déterminer.