A.- L._ a travaillé à temps partiel en qualité de visagiste. Par décision du 4 décembre 1995, l'Office cantonal valaisan de l'assurance-invalidité lui a accordé, à partir du 1er juin 1994, une demi-rente simple d'invalidité, assortie de rentes complémentaires correspondantes pour ses enfants. Cette prestation était fondée sur un degré d'invalidité de 40 % dès le 1er juin 1994 et de 50 % à partir du 1er septembre suivant. L'intéressée s'était vue toutefois allouer une demi-rente depuis le 1er juin 1994 en raison d'un cas pénible. Le 31 mars 1999, l'assurée a demandé la révision de son droit à la rente, en faisant valoir que l'atteinte à sa santé s'était aggravée. Après avoir recueilli certains renseignements d'ordre médical et économique, l'office AI a confié une expertise pluridisciplinaire aux médecins du Centre médical d'observation de l'assurance-invalidité (COMAI), lesquels ont consigné leurs conclusions dans un rapport du 4 septembre 2000. Par décision du 26 octobre 2000, l'office AI a maintenu le droit de l'assurée à une demi-rente fondée sur un taux d'incapacité de gain de 56 %. B.- Par jugement du 4 juillet 2001, le Tribunal cantonal valaisan des assurances a rejeté le recours formé par l'assurée contre cette décision. C.- L._ interjette recours de droit administratif contre ce jugement, dont elle requiert l'annulation, en concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité, subsidiairement au renvoi de la cause à la juridiction cantonale pour nouvelle décision. L'office AI conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a renoncé à présenter une détermination.