A.- A._ habite depuis le mois de décembre 1994 à X._, dans une maison appartenant à B._. Par décision du 2 novembre 1995, la Caisse de compensation du canton de Berne (ci-après : la caisse) lui a alloué une prestation complémentaire à sa rente de vieillesse d'un montant mensuel de 178 fr. pour le mois de décembre 1994, et de 111 fr. à partir du 1er janvier 1995. A._ a recouru contre cette décision. Produisant un contrat de bail daté du 23 décembre 1994 et des quittances de loyer signées par B._, pour les mois de décembre 1994 à décembre 1995, il a fait valoir qu'il louait l'étage supérieur de la maison appartenant à cette dernière, qui occupait pour sa part le rez-de-chaussée. Aussi demandait-il que le loyer fixé dans le contrat de bail produit fût intégralement pris en considération dans le calcul de son droit à des prestations complémentaires. Dans le délai de réponse, la caisse a modifié la décision entreprise et alloué à A._ une prestation complémentaire d'un montant mensuel de 543 fr., pour le mois de décembre 1994, de 476 fr., pour la période du 1er janvier au 31 décembre 1995, et de 337 fr. dès le 1er janvier 1996 (décision du 4 janvier 1996). Cette prestation était calculée en déduisant du revenu déterminant de l'assuré la totalité du loyer net convenu par contrat de bail, ainsi qu'un montant forfaitaire annuel de 600 fr. pour les frais accessoires. Le Tribunal administratif du canton de Berne a alors rayé la cause du rôle. La caisse a ensuite périodiquement adapté le montant alloué à A._ à l'évolution des circonstances. Ainsi, le 22 février 2000, elle a réexaminé son droit à une prestation complémentaire, qu'elle a fixé à 647 fr. par mois dès le 1er février 2000. Les dépenses reconnues pour le loyer et les frais accessoires correspondaient au loyer brut fixé par contrat de bail du 23 décembre 1994 (10 440 fr. par année). Toutefois, par décision du 13 mars 2000, la caisse a suspendu ses prestations à partir du 1er avril 2000. B.- A._ a recouru devant le Tribunal administratif du canton de Berne contre cette décision. Dans le délai de réponse, la caisse a rendu une nouvelle décision, le 17 mai 2000, par laquelle elle reconnaissait le droit de l'assuré à une prestation complémentaire de 240 fr. par mois dès le 1er avril 2000. Les dépenses admises pour le loyer brut étaient réduites à 3575 fr. par année. Le Tribunal administratif du canton de Berne a toutefois considéré que cette nouvelle décision de la caisse ne rendait pas le recours sans objet et par jugement du 13 septembre 2000, il a débouté l'assuré de ses prétentions. C.- Par un recours de droit administratif, A._ demande l'annulation du jugement cantonal du 13 septembre 2000 et des décisions de la caisse des 13 mars et 17 mai 2000, ainsi que l'augmentation de la prestation complémentaire allouée par décision du 22 février 2000. L'intimée conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.