A.- L._ a travaillé à temps partiel en qualité de visagiste.
Par décision du 4 décembre 1995, l'Office cantonal valaisan de l'assurance-invalidité lui a accordé, à partir du 1er juin 1994, une demi-rente simple d'invalidité, assortie de rentes complémentaires correspondantes pour ses enfants. Cette prestation était fondée sur un degré d'invalidité de 40 % dès le 1er juin 1994 et de 50 % à partir du 1er septembre suivant. L'intéressée s'était vue toutefois allouer une demi-rente depuis le 1er juin 1994 en raison d'un cas pénible.
Le 31 mars 1999, l'assurée a demandé la révision de son droit à la rente, en faisant valoir que l'atteinte à sa santé s'était aggravée. Après avoir recueilli certains renseignements d'ordre médical et économique, l'office AI a confié une expertise pluridisciplinaire aux médecins du Centre médical d'observation de l'assurance-invalidité (COMAI), lesquels ont consigné leurs conclusions dans un rapport du 4 septembre 2000.
Par décision du 26 octobre 2000, l'office AI a maintenu le droit de l'assurée à une demi-rente fondée sur un taux d'incapacité de gain de 56 %.
B.- Par jugement du 4 juillet 2001, le Tribunal cantonal valaisan des assurances a rejeté le recours formé par l'assurée contre cette décision.
C.- L._ interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation, en concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité, subsidiairement au renvoi de la cause à la juridiction cantonale pour nouvelle décision.
L'office AI conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a renoncé à présenter une détermination.

Considérant en droit :
1.- a) En vertu de l'<ref-law>, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Selon la jurisprudence, la rente peut être révisée non seulement en cas de modification sensible de l'état de santé, mais aussi lorsque celui-ci est resté en soi le même, mais que ses conséquences sur la capacité de gain (ou sur l'accomplissement des travaux habituels) ont subi un changement important; en outre, un changement survenu dans les travaux habituels de l'intéressé peut également constituer un motif de révision (<ref-ruling> et les arrêts cités; voir aussi <ref-ruling> consid. 1a).
Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci. Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision initiale de rente et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 2 et la référence; voir également <ref-ruling> consid. 2b et 390 consid. 1b).
b) En l'espèce, il s'agit d'examiner si l'invalidité de la recourante s'est modifiée de manière à influencer son droit à la demi-rente entre le 4 décembre 1995, date de l'octroi d'une demi-rente, et le 26 octobre 2000, date à laquelle l'intimé a maintenu le droit à une telle prestation.
2.- a) Dans sa décision initiale d'octroi d'une demi-rente, l'office AI a considéré que la recourante, même sans atteinte à la santé, se consacrerait exclusivement à ses travaux ménagers. L'octroi de la demi-rente était fondé (à partir du 1er septembre 1994) sur une invalidité de 50 %.
L'intimé s'est référé pour cela à des rapports du docteur A._, spécialiste en médecine physique et réhabilitation, des 12 et 26 novembre 1993. Ce médecin avait diagnostiqué un important trouble fonctionnel lombo-sacré découlant, d'une part, d'une anomalie transitionnelle avec lombalisation asymétrique partielle de L5 et, d'autre part, de deux épisodes traumatiques (accouchement difficile et chute à vélo). Selon ce praticien, ces troubles entraînaient une incapacité de 50 % dans les travaux ménagers.
Dans sa décision litigieuse de maintien de la demi-rente, l'office intimé a considéré que la recourante, sans atteinte à la santé, aurait repris son activité de visagiste à raison de 78 % d'un horaire de travail complet et qu'elle aurait consacré le reste de son temps (22 %) à la tenue de son ménage. A l'occasion de la procédure de révision, l'administration a requis l'avis du docteur A._, lequel s'est référé à ses rapports précédents en ce qui concerne le diagnostic et a fait état d'une capacité de travail de 20 % dans la profession de visagiste et de 50 % dans l'activité ménagère (rapport du 12 avril 1999). De leur côté, les experts du COMAI ont posé le diagnostic de syndrome douloureux chronique de type fibromyalgie, de status post-spondylodèse L5-S1 avec reconstruction discale par cage de carbone, de hernie discale cervicale C5-C6 sans compression neurologique et d'état dépressif réactionnel persistant d'intensité moyenne (F 32.1). Ils ont fait état d'une capacité de travail résiduelle de 40 % dans la profession de visagiste et d'une capacité de 60 % dans la tenue du ménage (rapport d'expertise pluridisciplinaire du 4 septembre 2000).
b) En l'espèce, il n'y a pas lieu de revenir sur la répartition des activités lucrative et ménagère de 78 %/22 %, laquelle, au demeurant, n'est pas contestée par les parties. Il s'agit donc d'évaluer l'invalidité en procédant à une comparaison des revenus selon l'<ref-law> pour la part de l'activité lucrative et en établissant l'empêchement dans l'accomplissement des travaux habituels selon l'<ref-law> pour cette dernière part (méthode mixte d'évaluation de l'invalidité).
3.- a) La recourante conteste la valeur probante du rapport d'expertise pluridisciplinaire du COMAI en faisant valoir qu'il contient des contradictions flagrantes. A l'appui de ce grief, elle invoque l'avis du docteur B._ qui a procédé à la consultation de psychiatrie, et selon lequel "il paraît difficile d'imaginer que L._ puisse reprendre une activité professionnelle même à temps partiel". La recourante est d'avis que les conclusions de l'expertise pluridisciplinaire, selon lesquelles il existe une incapacité globale de 56 % seulement, sont incompatibles avec l'avis du consultant en psychiatrie.
Invité par l'office AI à se prononcer sur cette objection, le professeur C._, médecin-chef du COMAI, a indiqué que les conclusions de l'expertise pluridisciplinaire avaient été prises avec l'accord de tous les consultants, y compris le docteur B._, lesquels, au demeurant, avaient confirmé leur appréciation (lettre du 17 octobre 2000).
En l'occurrence, le grief soulevé par la recourante ne permet pas de douter du bien-fondé des conclusions de l'expertise, laquelle a été établie par des spécialistes reconnus, sur la base d'observations approfondies et d'investigations complètes. L'affirmation du docteur B._ doit être en effet replacée dans le contexte des observations consignées par ce médecin. Elle est en relation avec la personnalité de la recourante, qui "est très centrée sur son problème de maladie", exprime "un très fort sentiment d'inutilité" et "se sent au bout du rouleau". Ces traits sont certes de nature à diminuer les perspectives de la recourante de mettre en valeur sa capacité résiduelle de gain, mais ne doivent pas être considérés comme des anomalies psychiques équivalant à des maladies. Preuve en soit le fait que le docteur B._ a souscrit aux conclusions de l'expertise relatives à la capacité de travail résiduelle de l'intéressée (cf. lettre du professeur C._ du 17 octobre 2000).
Cela étant, il n'y a pas lieu de s'écarter des conclusions de l'expertise des médecins du COMAI, selon lesquelles la recourante dispose encore d'une capacité de travail de 40 % dans l'activité de visagiste. Dans une enquête économique réalisée le 7 juin 1995, l'intéressée a déclaré qu'elle recevait ses clientes à domicile en fonction du temps disponible. Vu ce qui précède, elle est encore en mesure de réaliser 40 % du gain qu'elle obtiendrait sans atteinte à la santé et l'invalidité doit être fixée à 60 % pour la part de l'activité lucrative.
b) Pour évaluer l'invalidité des assurés travaillant dans le ménage, l'administration procède à une enquête sur les activités ménagères et fixe l'empêchement dans chacune des activités habituelles conformément au supplément 1 aux directives concernant l'invalidité et l'impotence de l'Office fédéral des assurances sociales (DII; spécialement ch. 2122), en vigueur du 1er janvier 1993 au 31 décembre 2000 (dès le 1er janvier 2001, ch. 3095 de la circulaire concernant l'invalidité et l'impotence de l'assurance-invalidité [CIIAI]). La Cour de céans a déjà eu l'occasion d'admettre la conformité aux <ref-law> et 27 al. 1 et 2 RAI de cette pratique administrative (arrêt du 9 avril 2001 dans la cause G., I 654/00, et arrêts non publiés du 22 août 2000 dans la cause C., I 102/00 et du 15 novembre 1999 dans la cause H., I 331/99). Une telle enquête a valeur probante et ce n'est qu'à titre exceptionnel, singulièrement lorsque les déclarations de l'assuré ne concordent pas avec les constatations faites sur le plan médical, qu'il faille faire procéder par un médecin à une estimation des empêchements que l'intéressé rencontre dans ses activités habituelles (VSI 2001 p. 158 consid. 3c). L'enquête sur les activités ménagères n'est toutefois pas un moyen de preuve adéquat lorsque l'empêchement résulte de troubles d'ordre psychique (VSI 2001 p. 159 consid. 3d).
En l'espèce, l'office intimé a mis en oeuvre une enquête sur les activités ménagères le 7 juillet 1999. Dans son rapport du 26 juillet suivant, l'enquêteur s'est fondé essentiellement sur un rapport établi le 26 août 1997 en ce qui concerne les empêchements constatés. Toutefois, l'office n'a pas procédé à une répartition des différentes activités en fonction de leur importance respective, ni fixé le taux d'empêchement dans chaque domaine. Il a fixé le taux global d'empêchement en se fondant uniquement sur les conclusions des médecins du COMAI.
Cette manière de procéder n'est pas critiquable en l'occurrence. Dans la mesure où, aux termes de l'expertise du COMAI, la symptomatologie douloureuse est surtout marquée par de nombreux signes de non-organicité évoluant vers un trouble somatoforme douloureux, on peut en effet penser que l'empêchement découle essentiellement de troubles d'ordre psychique, de sorte que les constatations médicales sont plus aptes qu'une enquête économique à fixer l'empêchement dans l'accomplissement des travaux habituels. Au demeurant, la recourante ne remet pas en cause les conclusions des experts en ce qui concerne cet empêchement.
c) Vu ce qui précède, l'invalidité globale doit être fixée à 55,6 %, selon la formule
(60 % x 0,78) + (40 % x 0,22).
Force est dès lors de constater que l'invalidité de la recourante ne s'est pas modifiée de manière à influencer son droit à la demi-rente durant la période soumise à examen.
Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal valaisan des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 6 mai 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :