A.- Par décision du 3 juillet 1996, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a alloué une rente entière d'invalidité à F._, fondée sur un taux d'invalidité de 100 %. Pour statuer, l'office AI s'est fondé notamment sur l'avis du docteur G._, lequel avait attesté que son patient était entièrement incapable d'exercer sa profession de maçon en raison de douleurs aux épaules et aux hanches (rapport du 29 juin 1995).
Quant au docteur X._, médecin à la Clinique Y._, il avait constaté que l'assuré avait cessé de travailler en raison de douleurs, tout en observant qu'il devrait bénéficier d'un reclassement professionnel (rapport du 13 mars 1995).
Dans le cadre d'une révision du droit à la rente, l'assuré a été examiné à nouveau à la Clinique Y._, où il a séjourné du 16 au 17 octobre 1997. A cette occasion, les docteurs M._ et P._ ont constaté que l'état de santé du patient ne s'était pas modifié de manière significative depuis l'année 1995. Quant à sa capacité de travail, les médecins prénommés l'ont évaluée à 50 % dans un emploi de maçon, le taux étant théoriquement de 70 à 80 % dans une activité moins contraignante physiquement sans mouvements répétitifs et de force. Ils ont ajouté que la persistance des douleurs entraînerait certainement une légère diminution du rendement dans une quelconque activité (rapport du 31 mars 1998).
L'office AI a estimé que l'assuré pourrait occuper un emploi adapté à son handicap, dans lequel il subirait une perte de gain de 52 %. Dès lors, par décision du 13 octobre 1999, l'office AI a remplacé la rente entière par une demi-rente.
B.- F._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant au maintien de sa rente entière.
Par jugement du 9 novembre 2000, la juridiction cantonale a rejeté le recours.
C.- F._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant principalement au maintien de la rente entière, subsidiairement à la mise en oeuvre d'une expertise.
L'intimé conclut implicitement au rejet du recours.
L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- a) Selon l'<ref-law>, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 % au moins, à une demi-rente s'il est invalide à 50 % au moins, ou à un quart de rente s'il est invalide à 40 % au moins; dans les cas pénibles, l'assuré peut, d'après l'<ref-law>, prétendre une demi-rente s'il est invalide à 40 % au moins.
Selon l'<ref-law>, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
b) Selon l'<ref-law>, si l'invalidité d'un bénéficiaire de rente se modifie de manière à influencer le droit à la rente, celle-ci est, pour l'avenir, augmentée, réduite ou supprimée. Tout changement important des circonstances, propre à influencer le degré d'invalidité, donc le droit à la rente, peut donner lieu à une révision de celle-ci. Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision initiale de rente et les circonstances régnant à l'époque de la décision litigieuse (<ref-ruling> consid. 2 et la référence; voir également <ref-ruling> consid. 2b et 390 consid. 1b).
c) Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 4b, 46 consid. 2b, 125 V 389 consid. 3 et les arrêts cités).
En outre, par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 4b, 46 consid. 2b et les références).
Pour juger s'il est admissible de reconsidérer une décision, pour le motif qu'elle est sans nul doute erronée, il faut se fonder sur la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque; une modification de pratique ne saurait guère faire apparaître l'ancienne comme sans nul doute erronée (<ref-ruling> consid. 2c et les arrêts cités; voir aussi <ref-ruling> consid. 1b/cc et les références).
Par ailleurs, le juge peut entériner une décision de révision rendue à tort pour le motif substitué que la décision de rente initiale était sans nul doute erronée, pour autant que sa rectification revête une importance notable (<ref-ruling>-370 consid. 2 et 3).
2.- a) En l'espèce, l'intimé n'a pas cité expressément l'<ref-law> à l'appui de sa décision litigieuse du 13 octobre 1999. Néanmoins, à la lecture de cette décision et de la référence qui y est faite à l'<ref-law>, on doit admettre que l'intimé avait retenu que l'invalidité du recourant s'était modifiée de manière à influencer le droit à la rente, entre le 3 juillet 1996 et le 13 octobre 1999.
Les conditions d'une révision, au sens de l'<ref-law>, ne sont pourtant manifestement pas remplies. En effet, dans leur rapport du 31 mars 1998, les docteurs M._ et P._ ont constaté que l'état de santé du patient ne s'était pas modifié de manière significative depuis l'année 1995. Par ailleurs, il ne ressort pas non plus du dossier que les circonstances économiques auraient évolué de façon à changer le taux d'invalidité.
b) Quant aux premiers juges, ils ont nié que les conditions d'une révision de la décision initiale de rente aient été remplies. Selon eux, on se trouverait en présence d'un cas de révision procédurale, dès lors que l'intimé a remplacé la rente entière par une demi-rente en se fondant sur des faits nouveaux constatés lors de l'expertise du COMAI du 31 mars 1998.
Les faits constatés par les docteurs M._ et P._ ne sont toutefois pas nouveaux, au sens où la jurisprudence l'entend (consid. 1c ci-dessus), puisque les responsables du COMAI ont indiqué que l'état de santé du patient ne s'était pas modifié de manière significative depuis l'examen qui avait été pratiqué au COMAI en 1995. Il ne s'agit donc pas d'un cas de révision procédurale.
c) En réalité, l'intimé a reconsidéré sa décision de rente, comme il l'a soutenu à juste titre dans sa duplique du 21 mars 2000. Il faut dès lors déterminer si les conditions d'une reconsidération étaient remplies, c'est-à-dire examiner si l'octroi d'une rente entière d'invalidité au recourant, en 1996, était manifestement erroné.
3.- a) Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir. La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
En ce qui concerne, par ailleurs, la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références).
b) En l'occurrence, le rapport des docteurs M._ et P._ du 31 mars 1998 remplit toutes les conditions auxquelles la jurisprudence soumet la valeur probante d'un tel document. Plus particulièrement, l'aspect psychique du dossier a été examiné (cf. p. 8 du rapport). Dès lors et quoi qu'en dise le recourant, ce rapport est pertinent pour apprécier sa capacité de travail et déterminer le genre d'activité qui reste exigible de sa part. La requête d'expertise est donc mal fondée.
c) Jadis, l'intimé n'avait pas instruit, comme il aurait dû le faire (cf. <ref-law>), le droit de l'assuré à des mesures de réadaptation d'ordre professionnel pourtant recommandées par les médecins du COMAI (à propos de la priorité de réadaptation sur la rente, voir <ref-ruling> ss, 99 V 48). De plus, l'intimé avait omis d'examiner la nature des activités lucratives qui restaient encore accessibles au recourant, compte tenu de son handicap, et l'étendue des revenus qu'il aurait pu en retirer.
En d'autres termes, la méthode d'évaluation de l'invalidité du recourant, telle qu'elle a été appliquée en 1996, n'était pas conforme à la loi.
En tenant compte des restrictions de la capacité de travail du recourant dues à son état de santé, l'intimé a estimé, lors de la procédure de reconsidération, que l'intéressé subirait une perte de gain de 52 % dans un emploi adapté à son handicap; dans sa réponse du 7 décembre 1999, il a proposé un taux de 49 %. Assisté d'un mandataire professionnel, le recourant n'a pas mis en cause la pertinence des données sur lesquelles l'intimé et le Tribunal cantonal se sont fondés pour établir le revenu d'invalide. Les valeurs retenues dans la décision du 13 octobre 1999 ne sont donc pas litigieuses et paraissent, au demeurant, tout à fait plausibles.
En conséquence, la décision de rente du 3 juillet 1996 était sans nul doute erronée au sens où la jurisprudence l'entend (cf. consid. 1c ci-dessus), car le recourant s'était vu allouer une rente entière d'invalidité alors qu'il n'avait droit qu'à une demi-rente, compte tenu du taux d'invalidité de 52 % (cf. <ref-law>). L'administration pouvait ainsi remplacer cette prestation par une demi-rente, comme elle l'a fait le 13 octobre 1999.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juillet 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :