A.- T._, né le 5 janvier 1957, a travaillé dès le 1er décembre 1987 en qualité de boucher au service de L._ Frères SA. Son employeur a résilié le contrat de travail pour le 30 avril 1995.
Le 14 septembre 1995, T._ a présenté une demande de prestations de l'assurance-invalidité. D'après son médecin traitant, le docteur J._, généraliste, il présentait une incapacité totale de travail depuis avril 1995 dans la profession de boucher (rapport médical du 26 septembre 1995). Selon la doctoresse G._, spécialiste FMH en médecine interne-rhumatologie, le cas évoluait vers une sinistrose et un état de revendication important. Dans une activité adaptée à son état de santé, l'assuré devrait pouvoir faire valoir une capacité professionnelle de 75 %, alors qu'il présentait dans son activité de boucher une incapacité de travail de l'ordre de 50 % (rapport médical du 4 octobre 1995).
Le docteur V._, spécialiste FMH en chirurgie orthopédique et médecin associé universitaire, a effectué pour le compte de la Winterthur-Assurances, assureur-maladie de T._, une expertise du 13 février 1996 et produit un rapport complémentaire du 30 août 1996.
L'assuré a séjourné les 23, 25 et 26 septembre 1996 au Centre médical d'observation de l'assurance-invalidité (COMAI) situé à la Policlinique médicale universitaire de X._. Dans une expertise du 24 décembre 1996, le docteur M._, médecin-chef, a posé les diagnostics de lombosciatalgies gauches chroniques, spondylolisthésis L5-S1 de degré I et discopathie L5-S1, de coxarthrose gauche débutante, de régression et troubles somatoformes douloureux et de personnalité dépendante à traits caractériels.
Il proposait un emploi dans une boucherie, peut-être une grande surface, où l'intéressé puisse être dispensé des travaux les plus pénibles et orienté davantage vers la vente. Dans cet emploi, comme dans d'autres activités ne sollicitant pas fortement le dos, sa capacité de travail était entière.
Dans un projet de décision du 18 juin 1998, l'Office de l'assurance-invalidité pour le canton de Vaud a avisé T._ que sa demande devait être rejetée, son invalidité étant de 17 %, compte tenu du revenu brut de 47 125 fr. par année qu'il pourrait réaliser comme vendeur dans la boucherie d'un supermarché et du salaire annuel de 57 096 fr. qui serait le sien s'il avait continué de travailler pour son ancien employeur.
Le docteur J._, par lettre du 24 juin 1998, a contesté que l'assuré fût compétent dans l'activité de vendeur dans une boucherie.
Par décision du 12 octobre 1998, l'office AI a rejeté la demande.
B.- Par jugement du 11 mai 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours.
C.- T._ interjette recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à la réforme de celui-ci et de la décision administrative litigieuse en ce sens qu'il a droit à une rente entière d'invalidité. A titre subsidiaire, il demande que le jugement attaqué soit annulé et la cause renvoyée à la juridiction cantonale pour nouvel examen au sens des considérants.
L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours.

Considérant en droit :
1.- Le recourant allègue qu'il présente une invalidité au sens de l'<ref-law>, soit une diminution permanente de sa capacité de gain, qui résulte en l'espèce d'une atteinte à sa santé physique et mentale provenant de sa maladie du système moteur. Reprochant aux premiers juges de n'avoir pas pris en considération l'interaction entre les troubles de nature somatique et psychique, il fonde l'essentiel de son argumentation sur les conclusions du docteur V._ figurant dans son rapport du 13 février 1996 pour la Winterthur Assurances. Selon cette expertise, il est fort probable que l'incapacité de travail reste totale définitivement. D'autre part, la probabilité de la réussite d'une reconversion professionnelle étant pratiquement nulle, l'on s'achemine malheureusement vers l'octroi d'une rente totale de l'assurance-invalidité, les plaintes du patient étant aussi importantes en position assise que debout, de sorte que le docteur V._ ne voyait pas quel travail pourrait lui être proposé. Or, relève le recourant, telle est également l'opinion de son médecin traitant, exprimée dans une lettre à l'intimé du 17 septembre 1998 et confirmée devant la juridiction cantonale lors de l'audience du 11 mai 2000.
2.- Le juge des assurances sociales doit examiner de manière objective tous les moyens de preuve, quelle qu'en soit la provenance, puis décider si les documents à disposition permettent de porter un jugement valable sur le droit litigieux. Si les rapports médicaux sont contradictoires, il ne peut liquider l'affaire sans apprécier l'ensemble des preuves et sans indiquer les raisons pour lesquelles il se fonde sur une opinion médicale et non pas sur une autre. C'est ainsi qu'il importe, pour conférer pleine valeur probante à un rapport médical, que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a et les références).
Ces principes, développés à propos de l'assurance-accidents, sont applicables à l'instruction des faits d'ordre médical dans toutes les branches d'assurance sociale (Spira, La preuve en droit des assurances sociales, in Mélanges en l'honneur de Henri-Robert Schüpbach, Bâle 2000, p. 268).
3.- a) Se fondant sur l'expertise du 24 décembre 1996, les premiers juges ont retenu que la composante psychogène de l'atteinte à la santé de l'assuré avait été analysée par les médecins du COMAI, qui sont d'avis qu'elle ne justifie pas une incapacité de travail, mais apparaît plus susceptible d'être à l'origine d'un processus de revendication.
b) La Cour de céans n'a aucune raison de s'écarter de cette appréciation.
Le recourant a séjourné du 10 au 21 juillet 1995 dans le Service de rhumatologie, médecine physique et réhabilitation du Centre hospitalier universitaire vaudois (CHUV), à X._. Dans un rapport du 24 juillet 1995, les docteurs B._ et H._ ont mis en évidence une importante composante de surcharge chez le patient. Ils étaient frappés par le fait qu'il était très tendu. Le 21 juillet 1995, il fut examiné par les médecins de la Division autonome de médecine psycho-sociale du CHUV. Dans un rapport du 25 juillet 1995, les docteurs I._ et A._ ont posé le diagnostic de trouble somatoforme douloureux persistant, chez un homme de 38 ans souffrant de lombalgies chroniques et présentant un trouble de la personnalité mixte. Ils relevaient que les douleurs avaient probablement une origine mixte, d'une part organique et d'autre part comme l'expression d'une tension psychologique qui ne peut trouver une issue à un niveau plus mentalisé.
Lors de son séjour au COMAI en septembre 1996, l'assuré a été examiné par la doctoresse R._ dans le cadre d'une consultation de psychiatrie. Sur le plan psychique, il paraissait d'une part assez angoissé face à l'avenir et, d'autre part, il était irritable, impatient et exaspéré par sa situation actuelle et il présentait une réactivité de type caractériel. Dans le rapport du 24 décembre 1996, le docteur M._ a retenu une régression et des troubles somatoformes douloureux chez une personnalité dépendante à traits caractériels. En ce qui concerne la question de la capacité de travail, il a répondu ce qui suit :
"Les limitations actuelles découlent des lombosciatalgies chroniques, qui ne peuvent être reliées actuellement qu'à l'existence d'un spondylolisthésis dont on sait qu'il s'agit d'une affection qui peut être également asymptomatique.
Le début de la coxarthrose gauche ne joue actuellement pas de rôle limitant la capacité de travail, mais pourrait le devenir en cas d'aggravation nette. Compte tenu de ces affections, on peut retenir une incapacité de travail pour le port de charges lourdes et les travaux en force tels qu'ils doivent être exécutés pour le port des quartiers de boeuf ou de désossage. Pour le reste des travaux de boucher, il n'y a pas de contre-indication. Afin d'éviter l'apparition de douleurs liées aux longues stations debout, des changements de position et la marche devraient être rendus possibles dans l'activité. Dans un travail tenant compte de ces limitations, la capacité de travail est entière".
Dès lors, quand bien même le recourant présente une personnalité dépendante à traits caractériels et qu'il est atteint de troubles somatoformes douloureux, il n'y a pas de contre-indication, mis à part le port de charges lourdes et les travaux en force, à l'exercice d'un emploi de boucher dans une situation adaptée à son handicap physique, par ex. une boucherie dans une grande surface. Dans un tel emploi, orienté davantage vers la vente, sa capacité de travail est entière. Il en va de même en ce qui concerne toute autre activité ne sollicitant pas fortement le dos.
Certes, dans l'expertise du 13 février 1996 effectuée pour la Winterthur Assurances, le docteur V._ était d'un autre avis. Cela ne saurait toutefois être décisif. Il n'est pas non plus déterminant que le docteur J._ ait la même opinion que ce spécialiste en chirurgie orthopédique sur la question de la capacité de travail et de la réadaptation de l'assuré. En effet, selon l'expérience générale, l'avis du médecin de famille ou du médecin traitant est, dans le doute, plutôt favorable au patient, vu les liens de confiance qui existent entre eux (<ref-ruling> consid. 3b/cc et les références).
Dans le rapport complémentaire du 30 août 1996, le docteur V._ a modifié sa position par rapport à l'expertise du 13 février 1996. Se demandant si le recourant n'exagérait pas un peu sa symptomatologie et n'évoluait pas vers une névrose d'assurance, ce praticien a proposé un reclassement professionnel dans une activité semi-assise ne nécessitant pas le port de charges de plus de 10 kg, associé à une véritable prise en charge d'hygiène posturale et gestuelle par un ergothérapeute.
Les médecins du COMAI ont aussi été frappés, comme le docteur V._, par l'important état de crispation de l'assuré, ainsi que par les positions antalgiques qu'il prend, et qui vont souvent à fin contraire. Dans ces conditions, le traitement ergothérapeutique qui a été entrepris leur paraît utile et devrait être poursuivi, afin qu'il apprenne de meilleures postures, ainsi que des mesures de protection lombaire (expertise du 24 décembre 1996).
Enfin, les autres arguments du recourant, qui tendent à démontrer qu'il n'est pas un paresseux ni un simulateur, ne changent rien à ce qui précède.
4.- a) Le recourant conclut qu'il a droit à une rente entière d'invalidité.
b) On peut raisonnablement attendre de sa part qu'il exerce à plein temps l'activité de vendeur dans la boucherie d'un supermarché. A ce titre, il pourrait réaliser un revenu brut de 47 125 fr. par année.
Il est établi que le salaire annuel du recourant serait de 57 096 fr. s'il avait continué de travailler au service de son ancien employeur.
Sur la base d'une comparaison des revenus, le taux de son invalidité est donc de 17 % (<ref-law>). Il ne saurait dès lors prétendre une rente d'invalidité (<ref-law>) et le recours se révèle infondé.
5.- Le recourant, qui succombe, n'a pas droit à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice ni alloué de dépens.
III. Le présent arrêt sera communiqué aux parties, au
Tribunal des assurances du canton de Vaud et à
l'Office fédéral des assurances sociales.
Lucerne, le 11 mai 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :