A.- Dans la cause opposant G._ à l'Office cantonal AI du Valais, le Tribunal fédéral des assurances, par arrêt du 29 septembre 1998, a admis le recours en ce sens que le jugement du Tribunal des assurances du canton du Valais, du 17 octobre 1997, et la décision administrative litigieuse, du 9 mai 1997, sont annulés, la cause étant renvoyée à l'Office cantonal AI du Valais pour instruction complémentaire au sens des considérants et nouvelle décision. Les faits déterminants sont exposés de manière détaillée dans l'arrêt précité, auquel soit renvoi.
B.- L'Office cantonal AI du Valais a interpellé le docteur Z._, spécialiste FMH en chirurgie et médecin traitant de G._. Dans une lettre du 22 décembre 1998, ce praticien a répondu que le patient était parfaitement apte à travailler en plein dans une activité sans efforts particuliers, sans port de charges et en alternant la position assise et debout; il faudrait également éviter une profession dans laquelle celui-ci devrait travailler penché en avant, comme cela serait le cas dans un atelier d'horlogerie ou un travail sur microscope par exemple.
L'assuré paraissait motivé à retrouver une activité professionnelle et il vaudrait la peine de bien préparer avec lui son reclassement professionnel pour qu'il soit couronné de succès.
Le Service de réadaptation de l'office AI a soumis G._ à un examen psychotechnique. Dans un rapport du 4 mai 1999, il indiquait que les résultats obtenus lors de cet examen avaient mis en évidence des facultés intellectuelles inférieures à la moyenne et qu'une formation complète de type CFC n'était pas envisageable; du reste, l'assuré avait clairement fait comprendre qu'une formation qui n'aboutirait pas à un engagement immédiat ne l'intéressait absolument pas, l'essentiel étant qu'il puisse trouver un emploi sans avoir besoin d'entreprendre une formation théorique, si ce n'est une formation pratique propre à l'entreprise ou encore une mise au courant. Selon le Service de réadaptation, les activités proposées de surveillant de machines, de chauffeur-livreur dans une boulangerie ou d'employé dans un club de golf étaient adaptées aux limitations fonctionnelles et aux capacités d'adaptation de l'intéressé, emplois qui pouvaient être exercés sans formation.
Sur requête du docteur Y._, médecin de l'office AI, une expertise a été confiée au Centre d'observation médicale de l'AI (COMAI). A cette fin, G._ a été hospitalisé dès le 15 novembre 1999 à la Policlinique médicale P._, où il a été examiné par la doctoresse X._ lors de la consultation de psychiatrie du 16 novembre 1999 et par le docteur W._ lors de la consultation de rhumatologie du 17 novembre 1999. Dans un rapport du 5 mai 2000, le professeur V._ et le docteur U._, respectivement médecin-chef et médecin-chef adjoint du COMAI, ont posé les diagnostics de syndrome douloureux chronique de type fibromyalgie et d'état dépressif moyen et trouble mixte de la personnalité (narcissique, paranoïaque). Ils indiquaient que la capacité de travail paraissait fortement limitée dans une activité lourde en raison du syndrome douloureux. Toutefois, dans une activité adaptée, il leur semblait persister une capacité de travail de l'ordre de 70 %. Ils ont répondu par l'affirmative à la question de savoir si la capacité de travail pouvait être améliorée par des mesures d'ordre professionnel, non sans avoir souligné que ces mesures, "dans le cadre du trouble de la personnalité ont de fortes chances de se solder par un échec".
De l'avis du docteur Y._, du 31 août 2000, l'assuré était principalement limité dans les positions de travail statiques ou "acrobatiques" et le port de charges tant soit peu lourdes (15 à 20 kg). Les troubles de la personnalité incitaient à penser que des mesures d'ordre professionnel échoueraient. A l'examen comparé, les activités proposées par le Service de réadaptation étaient adaptées.
Le 12 septembre 2000, l'office AI a avisé G._ qu'il n'avait pas droit à des mesures d'ordre professionnel, un reclassement professionnel (formation complète visant un CFC) n'étant nullement indiqué dans sa situation.
Selon le Service de réadaptation, celui-ci était en mesure de réaliser dans un emploi adapté, qu'il lui était possible d'exercer sans formation professionnelle particulière, tel que surveillant de machines, chauffeur-livreur léger ou employé de golf, un gain annuel brut de 31 500 fr.
(3500 fr. x 12 x 75 %). Par ailleurs, le revenu qui serait le sien sans l'atteinte à sa santé dans la profession de vitrier indépendant était de 44 600 fr. (valeur 1996). La comparaison des revenus donnait une invalidité de 29 %, taux qui ne donnait pas droit à une rente. Son droit à une rente d'invalidité prenait donc fin le 31 janvier 1997.
Contestant les conclusions de l'office AI, G._ a produit un certificat médical du docteur Z._ du 12 octobre 2000, selon lequel il exerce l'activité de chauffeur privé d'une entreprise de livraisons mais n'est pas en mesure de fournir dans de bonnes conditions un travail à plein temps, car lorsqu'il est appelé à travailler toute la journée, d'importantes douleurs de tout le rachis apparaissent qui perturbent entre autre son sommeil. Dans ces conditions, et au vu des efforts fournis par le patient pour trouver une activité professionnelle adaptée, son médecin traitant considère comme judicieux de lui reconnaître une capacité de travail (réduite) de 50 %, même à titre provisoire afin de l'aider dans son recyclage professionnel.
L'assuré produisait également une lettre du docteur T._ du 11 octobre 2000, indiquant que le patient nécessitait un reclassement professionnel dans un domaine où les travaux sont légers avec un encadrement psychologique et psychiatrique dans l'espoir d'aboutir à un résultat.
Par décision du 23 octobre 2000, l'office AI a refusé à G._ toute rente d'invalidité au-delà du 31 janvier 1997. Par une autre décision datée du même jour, il lui a dénié tout droit à des mesures d'ordre professionnel selon l'art. 17 LAI, le reclassement demandé par l'assuré n'étant pas rendu nécessaire par son invalidité, puisque l'exercice durable d'une activité professionnelle était possible malgré l'atteinte à la santé sans que des mesures spécifiques soient nécessaires.
C.- Dans des mémoires séparés, G._ a recouru contre ces décisions devant le Tribunal cantonal des assurances du canton du Valais, en concluant, sous suite de frais et dépens, à l'annulation de celles-ci. Invoquant une incapacité de travail de 65 %, il demandait que son invalidité soit calculée à nouveau, le taux d'invalidité devant être fixé à 50 % au minimum, voire à 60 % si l'on tenait compte du gain réel réalisé de février 1998 à février 1999.
Faisant valoir son droit à des mesures d'ordre professionnel, il sollicitait la mise en oeuvre d'un reclassement.
Divers documents ayant été produits par G._, dont copie de deux attestations des 9 février 1999 et 8 novembre 2000 de la Fondation F._, le greffier de la juridiction cantonale a consigné dans un procès-verbal d'entretien téléphonique du 9 avril 2001 les renseignements complémentaires qu'il a obtenus auprès de cette fondation.
Celle-ci en a fait de même dans un téléfax du 15 mai 2001.
Par jugement du 5 juin 2001, le Tribunal cantonal des assurances a rejeté le recours contre la décision du 23 octobre 2000 de refus de rente d'invalidité au-delà du 31 janvier 1997. Par un autre jugement rendu le même jour, il a rejeté le recours contre la décision du 23 octobre 2000 déniant à G._ tout droit à des mesures d'ordre professionnel selon l'art. 17 LAI.
D.- G._ interjette recours de droit administratif contre le jugement du 5 juin 2001 qui confirme le refus de toute mesure de reclassement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci, le recourant étant mis au bénéfice de mesures de réadaptation ou de mesures de reclassement professionnel. Il demande que le degré de son invalidité soit fixé à nouveau. A titre subsidiaire, il sollicite le renvoi du dossier à la juridiction cantonale et à l'office AI pour la mise en oeuvre de mesures de réadaptation ou de mesures de reclassement professionnel et le nouveau calcul du taux d'invalidité.
L'Office cantonal AI du Valais conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit :
1.- Est litigieux le point de savoir si le recourant remplit les conditions pour avoir droit à des mesures de réadaptation, soit les conditions du droit au reclassement selon l'art. 17 LAI.
2.- a) Aux termes de l'art. 8 al. 1 première phrase LAI, les assurés invalides ou menacés d'une invalidité imminente ont droit aux mesures de réadaptation qui sont nécessaires et de nature à rétablir leur capacité de gain, à l'améliorer, à la sauvegarder ou à en favoriser l'usage.
Selon l'art. 17 LAI, l'assuré a droit au reclassement dans une nouvelle profession si son invalidité rend nécessaire le reclassement et si sa capacité de gain peut ainsi, selon toute vraisemblance, être sauvegardée ou améliorée de manière notable (al. 1). La rééducation dans la même profession est assimilée au reclassement (al. 2).
Par reclassement, la jurisprudence entend l'ensemble des mesures de réadaptation de nature professionnelle qui sont nécessaires et suffisantes pour procurer à l'assuré une possibilité de gain à peu près équivalente à celle que lui offrait son ancienne activité. En règle générale, l'assuré n'a droit qu'aux mesures nécessaires, propres à atteindre le but de réadaptation visé, mais non pas à celles qui seraient les meilleures dans son cas (ATF 124 V 110 consid. 2a et les références; VSI 2002 p. 109 consid. 2a).
En particulier, l'assuré ne peut prétendre une formation d'un niveau supérieur à celui de son ancienne activité, sauf si la nature et la gravité de l'invalidité sont telles que seule une formation d'un niveau supérieur permet de mettre à profit d'une manière optimale la capacité de travail à un niveau professionnel plus élevé. On notera aussi que si les préférences de l'intéressé quant au choix du genre de reclassement doivent être prises en considération, elles ne sauraient toutefois jouer un rôle déterminant (RCC 1988 p. 266 consid. 1).
Sont réputées nécessaires et appropriées toutes les mesures de réadaptation professionnelle qui contribuent directement à favoriser la réadaptation dans la vie active.
L'étendue de ces mesures ne saurait être déterminée de manière abstraite, puisque cela suppose un minimum de connaissances et de savoir-faire et que seules seraient reconnues comme mesures de réadaptation professionnelle celles se fondant sur le niveau minimal admis. Au contraire, il faut s'en tenir aux circonstances du cas concret.
Celui qui peut prétendre au reclassement en raison de son invalidité a droit à la formation complète qui est nécessaire dans son cas, si sa capacité de gain peut ainsi, selon toute vraisemblance, être sauvegardée ou améliorée de manière notable (ATF 124 V 110 consid. 2a; VSI 1997 p. 85 consid 1).
b) Le droit au reclassement suppose que l'assuré soit invalide ou menacé d'une invalidité imminente (art. 8 al. 1 première phrase LAI). Est réputé invalide au sens de l'art. 17 LAI celui qui n'est pas suffisamment réadapté, l'activité lucrative exercée jusque-là n'étant plus raisonnablement exigible ou ne l'étant plus que partiellement en raison de la forme et de la gravité de l'atteinte à la santé. Le seuil minimum fixé par la jurisprudence pour ouvrir droit à une mesure de reclassement est une diminution de la capacité de gain de 20 % environ (ATF 124 V 110 consid. 2b et les références).
3.- Le recourant ayant cessé pour des raisons de santé l'exploitation de son entreprise de vitrerie, il convient dès lors d'examiner s'il remplit les conditions de l'art. 17 LAI.
a) Le refus de toute mesure d'ordre professionnel selon l'art. 17 LAI se fonde sur le fait que l'invalidité du recourant ne rend pas nécessaire son reclassement. Dans la décision du 23 octobre 2000, l'intimé a retenu que l'exercice durable d'une activité professionnelle était possible malgré l'atteinte à sa santé, sans que des mesures spécifiques soient nécessaires. Se référant aux nouvelles pièces versées au dossier à la suite de l'instruction complémentaire, il est d'avis qu'un reclassement professionnel (formation complète visant un CFC) n'est nullement indiqué dans la situation de l'assuré pour les raisons suivantes:
dans les activités adaptées à son état de santé et jugées exigibles à 70-80 % selon les spécialistes du COMAI - par exemple surveillant de machines, chauffeur-livreur léger ou employé de golf -, aucune formation spécifique (reclassement) n'est nécessaire. En outre, d'après le Service de réadaptation, les facultés intellectuelles limitées du recourant et son niveau de scolarité ne lui permettent pas d'entrevoir la réussite d'une formation (avec CFC) qui viserait à améliorer, de façon notable, sa capacité résiduelle de gain fixée à 71 % dans la décision séparée.
b) Confirmant le refus par l'intimé de toute mesure d'ordre professionnel, les premiers juges ont considéré qu'un reclassement selon l'art. 17 LAI n'était pas indiqué dans le cas du recourant et que sa capacité de gain pourrait être sauvegardée sans l'appui d'un reclassement. En bref, ils ont retenu que les spécialistes du COMAI évaluaient sa capacité de travail à 70 % dans une activité adaptée, exempte de lourdes tâches, alternant les positions debout et assise, et que le succès prévisible et à moyen terme d'une mesure de reclassement, présupposant l'aptitude à la réadaptation de l'assuré, était peu vraisemblable.
c) Le recourant reproche à l'intimé et à la juridiction cantonale de n'avoir pas tenu compte des difficultés rencontrées dans les activités proposées et demande qu'on lui propose des activités différentes, qui soient dans ses possibilités et en rapport avec ses connaissances. Il leur fait grief également de n'avoir pas pris en considération les activités proposées par les spécialistes du COMAI, notamment une activité de menuisier après un reclassement.
d) Depuis qu'il a cessé d'exploiter son entreprise de vitrerie, le recourant n'a pas exercé d'activité lucrative jusqu'en 1998, année à partir de laquelle, comme cela ressort du téléfax de la Fondation F._ du 15 mai 2001, il a effectué les stages et missions temporaires suivants:
- du 25.02. au 25.03.98: stage à l'Imprimerie I._
comme manutentionnaire à raison de 40 heures par semaine;- du 17.04. au 26.04.98: mission temporaire à Q._
comme surveillant à raison de 40 heures par semaine;- du 12.05. au 17.05.98: stage à J._ en qualité de
manutentionnaire à raison de 20.5 heures par semaine;- du 18.05. au 16.08.98: mission temporaire à J._ en
qualité de manutentionnaire à raison de 20.5 heures par
semaine;- du 17.08. au 31.12.98: mission temporaire à J._ en
qualité de manutentionnaire à raison de 41 heures par
semaine;- du 25.01. au 28.02.99: mission temporaire à J._ en
qualité de manutentionnaire à raison de 20.5 heures par
semaine (taux d'activité de 50 % pour maladie);- du 23.04. au 02.05.99: mission temporaire à Q._
comme surveillant à raison de 40 heures par semaine.
Lorsqu'il a travaillé pour le compte de J._, le recourant a oeuvré dans le cadre du Service Center C._. Selon l'attestation de la Fondation F._ du 9 février 1999, celui-ci est une personne travailleuse et de confiance, qui était essentiellement occupée au nettoyage et sablage de boîtiers. Il a accompli ses tâches à l'entière satisfaction de J._. Ainsi que cela ressort du dossier (rapport du Service de réadaptation du 4 mai 1999; anamnèse professionnelle d'après le rapport du COMAI du 5 mai 2000), le travail à l'établi consistant dans le nettoyage des boîtiers d'appareils de téléphone et dans de petites réparations était adapté à son état de santé. A partir du moment où le poste a été modifié dans le sens d'un travail debout à la sableuse, cela a occasionné une augmentation des douleurs lombaires et un arrêt de travail, prescrit par le docteur Z._.
e) Il ressort de ces faits que le recourant est capable de se réadapter par lui-même.
Par ailleurs, selon le professeur V._ et le docteur U._, des mesures de reclassement professionnel pourraient être a priori indiquées. Celles-ci dans le cadre du trouble de la personnalité ont toutefois de fortes chances de se solder par un échec.
Il est dès lors peu vraisemblable que la capacité de gain du recourant puisse être sauvegardée ou améliorée de manière notable par des mesures de reclassement. Selon les spécialistes du COMAI, une limitation de sa capacité de travail dans une activité adaptée en raison d'un syndrome douloureux ne paraît pas dépasser 30 % actuellement.
Dans ces conditions et au regard du principe de proportionnalité (art. 8 al. 1 LAI), il ne se justifie pas de mettre en oeuvre de telles mesures pour un assuré né en 1949, mais dont on peut raisonnablement exiger qu'il exerce à 70 % une activité adaptée à son handicap, par exemple un emploi dans la menuiserie, même sans mesures de réadaptation.
Sur ce point, le recours est mal fondé.
4.- Le litige porte également sur le degré d'invalidité du recourant.
a) Selon l'art. 28 al. 2 LAI, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
La comparaison des revenus s'effectue, en règle ordinaire, en chiffrant aussi exactement que possible les montants de ces deux revenus et en les confrontant l'un avec l'autre, la différence permettant de calculer le taux d'invalidité qui ne peut pas, en principe, être ensuite arrondi (méthode générale de comparaison des revenus; ATF 104 V 136 consid. 2a et 2b; cf. aussi ATF 114 V 313 consid. 3a et ATF 127 V 129). Sont déterminants les rapports existant au moment du début du droit à la rente, ainsi que les modifications éventuelles survenues jusqu'au moment de la décision qui ont des conséquences sur le droit à la rente (arrêt D. du 23 mai 2002 [U 234/00], prévu pour la publication).
Le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de l'intéressé.
En l'absence d'un revenu effectivement réalisé, il y a lieu de se référer aux données statistiques, telles qu'elles résultent des enquêtes sur la structure des salaires de l'Office fédéral de la statistique (ATF 126 V 76 sv.
consid. 3b/aa et bb). On se réfère alors à la statistique des salaires bruts standardisés, en se fondant toujours sur la médiane ou valeur centrale (ATF 124 V 323 consid. 3b/bb; VSI 1999 p. 182). La mesure dans laquelle les salaires ressortant des statistiques doivent être réduits, dépend de l'ensemble des circonstances personnelles et professionnelles du cas particulier (limitations liées au handicap, âge, années de service, nationalité/catégorie d'autorisation de séjour et taux d'occupation) et résulte d'une évaluation dans les limites du pouvoir d'appréciation. Une déduction globale maximum de 25 % sur le salaire statistique permet de tenir compte des différents éléments qui peuvent influencer le revenu d'une activité lucrative (ATF 126 V 79 sv. consid. 5b/aa-cc; VSI 2002 p. 70 sv. consid. 4b).
b) En l'occurrence, le recourant a droit à une rente entière d'invalidité, assortie d'une rente complémentaire pour son épouse et d'une rente pour enfant, du 1er novembre 1995 au 31 juillet 1996. Il a droit à une demi-rente d'invalidité, assortie d'une demi-rente complémentaire pour son épouse et d'une demi-rente pour enfant, du 1er août 1996 au 31 janvier 1997.
Depuis le 1er novembre 1996, il est considéré par l'intimé comme étant capable de travailler à plein temps.
En réalité, dès cette date, on peut raisonnablement exiger du recourant, compte de tenu de l'avis des spécialistes du COMAI, qu'il exerce à 70 % une activité adaptée à son handicap, par exemple un emploi dans la menuiserie.
Vu l'activité légère de substitution que pourrait exercer le recourant, par exemple dans la menuiserie, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé, à savoir 4294 fr. par mois - valeur en 1996 -, part au 13ème salaire comprise (La Vie économique, 12/98 p. 28, tabelle B 10.1; niveau de qualification 4). Ce salaire mensuel hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 1996 (41, 9 heures; La Vie économique, 12/98 p. 27, tabelle B 9.2) un revenu d'invalide de 4498 fr. par mois (4294 x41, 9 : 40). Adapté à l'évolution des salaires (La Vie économique, 12/98 p. 28, tabelle B 10.2) de l'année 1996 (1.3 %), il s'élève à 4556 fr. par mois.
Avec une capacité résiduelle de travail de 70 % dans une activité légère de substitution, le salaire mensuel hypothétique est dès lors de 3189 fr. Si, eu égard à l'ensemble des circonstances personnelles et professionnelles du cas particulier, l'on procède à un abattement de 25 % (ATF 126 V 79 sv consid. 5b/aa-cc), il en résulte un revenu d'invalide de 2392 fr.
S'agissant du revenu que le recourant pourrait réaliser comme vitrier indépendant s'il n'était pas invalide, l'intimé a retenu un gain annuel brut de 44 600 fr., montant qui n'est pas contesté. Celui-ci correspond à un revenu mensuel de 3717 fr.
La comparaison des revenus donne une invalidité de 36 % ([3717 - 2392] x100 : 3717). La décision du 23 octobre 2000 refusant toute rente d'invalidité au-delà du 31 janvier 1997 n'est donc pas critiquable (art. 28 al. 1 LAI).
5.- Le recourant, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice ni alloué de dépens.
III. Le présent arrêt sera communiqué aux parties, au Tribunal
cantonal des assurances du canton du Valais et à
l'Office fédéral des assurances sociales.
Lucerne, le 22 août 2002
Au nom du
Tribunal fédéral des assurances
La juge présidant la IIe Chambre :
Le Greffier :