A.- En raison de divers problèmes de santé (séquelles de fractures, polyarthrose/polyarthrite, bronchite chronique, insuffisance veineuse, dystonie neurovégétative, affection dégénérative de la colonne vertébrale), S._ a bénéficié depuis 1986 d'une rente entière d'invalidité à laquelle a succédé une rente de vieillesse.
Le 11 décembre 2000, elle a présenté une demande d'allocation pour personnes impotentes de l'AVS.
Se fondant sur une enquête menée par l'Office AI du canton du Jura (ci-après : l'office AI) au domicile de S._, la Caisse de compensation AVS du canton du Jura (ci-après : la caisse) a retenu que la prénommée ne présentait ni impotence grave, ni même moyenne dès lors qu'elle n'avait pas besoin de l'aide d'autrui dans quatre actes au moins de la vie quotidienne, pas plus que d'une surveillance personnelle permanente. Partant, elle a refusé l'octroi d'une telle allocation (décision du 6 mars 2001).
B.- Par jugement du 24 septembre 2001, la Chambre des assurances du Tribunal cantonal jurassien a rejeté le recours formé contre cette décision par l'assurée.
C.- Cette dernière interjette recours de droit administratif contre ce jugement dont elle requiert l'annulation.
Elle conclut, sous suite de frais et dépens, à la constatation de son droit à une allocation pour impotent et au renvoi du dossier à la caisse pour nouvelle décision dans ce sens.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Les premiers juges ont correctement exposé les dispositions légales et réglementaires (art. 43bis al. 1 et 5 LAVS, 42 al. 2 LAI, 66bis al. 1 RAVS et 36 al. 1 et 2 RAI), ainsi que les principes jurisprudentiels applicables au cas, de sorte qu'il suffit de renvoyer à leurs considérants.
2.- En l'occurrence, il est établi que la recourante est tributaire d'une aide régulière et importante d'autrui pour accomplir trois actes ordinaires de la vie (se vêtir et se dévêtir; faire sa toilette; aller au W.-C.), et que son état ne requiert pas une surveillance personnelle permanente.
Reste litigieux le point de savoir si l'assistance d'un tiers lui est nécessaire pour effectuer un quatrième, voire un cinquième acte ordinaire de la vie, savoir couper les aliments et/ou se lever comme elle le soutient, ce qui lui ouvrerait le droit à une allocation pour impotent en application de l'art. 43bis al. 1 LAVS en liaison avec l'art. 36 al. 2 let. a RAI (impotence moyenne; voir également <ref-ruling> consid. 2 et 107 V 151 consid. 2).
3.- D'après le rapport d'enquête de l'office AI du 25 janvier 2001, complété le 12 mars suivant, S._ rencontre notamment des problèmes pour se lever d'une chaise ou du lit et couper les aliments. Lorsque la nourriture est trop dure (viande), elle a besoin d'une aide qui reste toutefois occasionnelle dans la mesure où les plats sont en principe adaptés et préparés en conséquence, et qu'elle ne connaît pas de limitations fonctionnelles importantes au niveau des mains. L'assurée peut rester seule à son domicile et est capable, en outre, de conduire une voiture, mais seulement sur des petites distances.
Dans son recours, l'assurée n'apporte aucun élément (médical ou autre) qui serait de nature à remettre en cause l'exactitude de ces constatations, si bien que l'on peut s'y référer. Il en ressort certes que la recourante éprouve des difficultés à se lever seule, mais rien ne permet encore de retenir qu'elle n'est plus en mesure d'accomplir cet acte du tout comme elle l'affirme, ou seulement d'une façon non conforme aux moeurs usuelles (cf. <ref-ruling> consid. 2b). Il en va de même s'agissant de la fonction de couper les aliments puisqu'une intervention extérieure n'est ici requise que de manière intermittente, en cas de nourriture trop dure. Or, selon la jurisprudence, pour qu'il y ait impotence, il faut que l'assuré soit dépendant de l'aide directe ou indirecte de tiers donnée régulièrement et dans une mesure importante; le fait que les actes soient seulement rendus plus difficiles ou ralentis par l'infirmité n'y suffit pas (<ref-ruling> consid. 2; RCC 1986 p. 507 consid. 2b). Les conditions précitées n'étant pas réunies en l'espèce, le point de vue des premiers juges ne peut qu'être confirmé.
Le recours se révèle ainsi mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Chambre des assurances du Tribunal cantonal jurassien et à l'Office fédéral des assurances sociales.
Lucerne, le 20 mars 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière: