A.- Le 28 juin 2000, A._, dont l'épouse est décédée en novembre 1999, a notamment présenté pour sa fille, O._, née le 30 septembre 1980, une demande de rente d'orpheline. A cette demande, il a joint une attestation certifiant que sa fille avait fréquenté un cours d'allemand échelonné sur 30 journées du 21 septembre 1999 au 5 juin 2000 auprès de X._ (Allemagne).
Après avoir requis des informations complémentaires sur le parcours scolaire et les objectifs professionnels de O._, la Caisse cantonale valaisanne de compensation (ci-après : la caisse) a rejeté la demande, au motif que la formation accomplie en Allemagne ne présentait pas une connexité suffisante avec le but professionnel envisagé, condition d'allocation de la rente d'orphelin (décision du 21 août 2000).
B.- Par jugement du 26 septembre 2001, le Tribunal cantonal valaisan des assurances a rejeté le recours formé par O._ contre la décision de la caisse.
C.- La prénommée interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation.
Elle conclut implicitement à l'octroi d'une rente d'orphelin durant la période où elle a séjourné en Allemagne.
La caisse conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Les premiers juges ont correctement rappelé les conditions légales mises à l'octroi d'une rente d'orphelin (art. 25 LAVS), de sorte qu'on peut y renvoyer.
En l'espèce, dès lors que la recourante était âgée de plus de 18 ans (mais moins de 25 ans) au moment du décès de sa mère, une rente d'orphelin ne peut entrer en ligne de compte que si elle accomplit une formation au sens de l'art. 25 al. 5 LAVS.
2.- a) Selon la jurisprudence, on entend par formation, toute activité qui a pour but de préparer d'une manière systématique à une future activité lucrative et pendant laquelle l'assuré touche, compte tenu du caractère de cette activité qui est avant tout celui d'une formation, un revenu sensiblement inférieur à celui qu'un travailleur qualifié percevrait dans les mêmes circonstances ou dans la même branche (<ref-ruling> consid. 1a et les références).
Cette notion comprend non seulement la formation visant une profession déterminée (formation professionnelle au sens étroit), mais également la préparation à l'exercice d'une profession sans diplôme ainsi que la formation qui, ne visant pas a priori une profession déterminée, constitue une base générale pour un certain nombre de professions ou une formation générale (comme la maturité fédérale; <ref-ruling> consid. 3c).
b) Dans son recours, la recourante expose qu'elle fréquente depuis octobre 2000 la Haute école Y._ en vue d'obtenir un diplôme d'économiste et que son séjour en Allemagne avait notamment pour but d'améliorer ses perspectives de carrière professionnelle.
On ne peut certes nier que l'accomplissent d'un séjour linguistique à l'étranger constitue, de manière générale, un atout dans la recherche d'un emploi. Mais là n'est pas la question. L'art. 25 al. 5 LAVS vise avant tout à soutenir l'orphelin dans l'acquisition de connaissances qui le préparent, de façon plus ou moins déterminée, à une profession.
Or, la recourante ne prétend pas que pour commencer ses études supérieures, le perfectionnement de ses connaissances d'allemand fût nécessaire (pour comparaison cf.
l'arrêt non publié du 9 juin 1997, H 94/96). Dans la mesure où, comme elle le dit elle-même, les cours qu'elle a suivis étaient destinés à augmenter sa compétitivité sur le marché du travail plutôt qu'à lui permettre d'atteindre un objectif professionnel particulier, on ne saurait les assimiler à une formation au sens de la jurisprudence précitée.
Le recours se révèle ainsi mal fondé.

Par ces motifs, le Tribunal fédéral des assurances,
vu l'art. 36a OJ,
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal valaisan des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 20 février 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :