A.- A._, marié, père de deux enfants, a travaillé en qualité de maçon au service de l'entreprise X._, du 18 février 1981 au 31 décembre 1992.
Souffrant d'une hernie discale, il a ensuite bénéficié d'indemnités journalières d'assurance-maladie.
Le 5 février 1993, il a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud lui a accordé un stage d'observation, du 8 janvier 1996 au 7 avril 1996, à la Fondation Y._, section ateliers. Selon un rapport établi par cette fondation le 2 avril 1996, l'assuré possède de bonnes aptitudes manuelles, avec un sens pratique développé; la gestuelle est sûre, mais lente. Les différentes activités de l'atelier ont été réalisées sans difficulté. Cependant, la rapidité dans l'exécution des tâches est en dessous de la moyenne, dans une proportion de 50 pour cent environ.
L'office de l'assurance-invalidité a ensuite confié une expertise à la Policlinique médicale universitaire, Centre médical d'observation de l'assurance-invalidité (COMAI), à Lausanne. Dans un rapport du 17 décembre 1996, les docteurs B._, médecin-chef, et C._, chef de clinique adjoint, tous deux au service de cet établissement, ont posé le diagnostic de lombo-sciatalgies bilatérales sur troubles statiques et dégénératifs (spondylarthrose L4-L5 et L5-S1) et d'excès pondéral.
Compte tenu des troubles statiques et dégénératifs du rachis lombaire, ils ont estimé que l'assuré présentait une incapacité totale de travail comme maçon ou dans d'autres professions comportant des travaux lourds, comme déménageur, ferrailleur etc. Une reconversion professionnelle était tout à fait envisageable sur les plans somatique et psychiatrique. Le patient est apte, par exemple, à exercer une activité de concierge d'immeuble ou de magasinier, avec une capacité de travail d'au moins 80 pour cent, pour autant qu'il ne doive pas soulever des charges de manière répétitive ou effectuer des mouvements en porte-à-faux.
Par décision du 28 juillet 1999, l'office de l'assurance-invalidité a refusé d'accorder une rente à l'assuré.
Il a considéré que celui-ci disposait d'une capacité de travail de 100 pour cent, avec un rendement d'au moins 80 pour cent, dans une activité adaptée à son état de santé. Dans un emploi non qualifié, il pourrait prétendre un salaire mensuel de 2960 fr., soit 38 480 fr. par an avec un treizième salaire. La comparaison avec un revenu réalisable sans invalidité, estimé à 53 690 fr. par an, conduisait à la reconnaissance d'une invalidité de 28 pour cent, insuffisante pour ouvrir droit à une rente.
B.- Par jugement du 2 mars 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré.
C.- A._ interjette un recours de droit administratif dans lequel il conclut à la réforme de ce jugement et au versement par l'assurance-invalidité d'une demi-rente. Subsidiairement, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à l'une ou l'autre des autorités précédentes pour nouvelle décision.
L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Selon l'<ref-law>, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 pour cent au moins, à une demi-rente s'il est invalide à 50 pour cent au moins, ou à un quart de rente s'il est invalide à 40 pour cent au moins; dans les cas pénibles, l'assuré peut, d'après l'<ref-law>, prétendre une demi-rente s'il est invalide à 40 pour cent au moins.
D'après l'<ref-law>, pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide.
2.- Le recourant soutient tout d'abord que sa capacité de travail ne dépasse pas 50 pour cent, comme cela a été attesté au cours du stage d'observation qu'il a suivi. Il reproche aux premiers juges d'avoir donné la préférence aux conclusions des médecins du COMAI, en écartant sans motif les constatations des responsables de la Fondation Y._.
Ce grief n'est pas fondé. Pour pouvoir calculer le degré d'invalidité, l'administration (ou le juge, s'il y a eu un recours) a besoin de documents que le médecin, éventuellement aussi d'autres spécialistes, doivent lui fournir.
La tâche du médecin consiste à porter un jugement sur l'état de santé et à indiquer dans quelle mesure et pour quelles activités l'assuré est incapable de travailler. En outre, les données médicales constituent un élément utile pour déterminer quels travaux on peut encore, raisonnablement, exiger de l'assuré (<ref-ruling> consid. 4, 115 V 134 consid. 2, 114 V 314 consid. 3c, 105 V 158 consid. 1).
Ces données médicales permettent généralement une appréciation objective du cas. Elles l'emportent sur les constatations qui peuvent être faites à l'occasion d'un stage d'observation professionnelle et qui sont susceptibles d'être influencées par des éléments subjectifs liés au comportement de l'assuré pendant le stage.
Pour le reste, il n'y a pas lieu, en l'espèce, de s'écarter des conclusions des experts du COMAI. On rappellera, à cet égard, que ceux-ci ne sont pas engagés par l'assurance-invalidité, mais par les institutions dont ils relèvent, de sorte qu'ils présentent à l'égard de l'administration toutes les garanties d'indépendance et d'impartialité nécessaires à l'exécution de leurs mandats (<ref-ruling> consid. 4b et les références). En outre, l'expertise en cause répond en tous points aux critères formels posés par la jurisprudence pour lui accorder une pleine valeur probante (cf. <ref-ruling> consid. 3a et les références).
3.- A l'instar de l'office de l'assurance-invalidité, les premiers juges ont fixé à 38 480 fr. par an (2960 x 13) le gain que l'assuré pourrait encore obtenir dans une activité légère. En revanche, ils n'ont pas suivi l'office en ce qui concerne le salaire réalisable sans invalidité. Ils ont retenu, à ce titre, un revenu annuel de 60 894 fr. par an, ce qui ne change toutefois rien au résultat auquel est parvenu l'administration : la comparaison de ces deux revenus conduit à la fixation d'un degré d'invalidité inférieur à 40 pour cent (36, 8 pour cent).
a) Pour établir le montant de 60 894 fr., les premiers juges se fondent sur des indications fournies par le Syndicat Industrie & Bâtiment (SIB). En partant d'un gain horaire de 24 fr. 05 réalisé à l'époque par le recourant, on aboutit, compte tenu des augmentations légales, à un salaire de 25 fr. 15 de l'heure en 1998. Si l'on tient compte encore de l'indemnité de vacances (10, 4 pour cent) et du treizième mois de salaire (8,3 pour cent), on obtient un gain horaire de 29 fr. 85. Il en résulte un revenu annuel de 60 894 fr. (29 fr. 85 x 42,5 heures par semaine x 48 semaines).
Le recourant conteste ce chiffre en produisant une attestation de la Fédération vaudoise des entrepreneurs du 15 novembre 1999. Mais il interprète de manière erronée ce document en affirmant qu'il doit conduire à retenir un revenu réalisable sans invalidité de 62 016 fr. En réalité, il en ressort que le salaire pour un maçon qualifié était de 60 710 fr. par an en 1999, compte tenu d'un gain horaire de 25 fr. 75, de 2177 heures de travail (y compris les vacances et les jours fériés) et d'un treizième salaire (8,3 pour cent).
Cela dit, il y a lieu de confirmer les bases de calcul des premiers juges, au demeurant plus favorables au recourant que le montant de 60 710 fr. L'autorité cantonale se fonde sur des données constantes en ce qui concerne la durée du travail, alors que le montant indiqué dans l'attestation produite par l'assuré est sujet à fluctuations, en fonction d'un nombre d'heures variable d'année en année.
Cependant, comme 1999 est en l'occurrence l'année de référence pour la comparaison des revenus (cf. <ref-ruling> consid. 1b), il convient de procéder à une adaptation du montant retenu par la juridiction cantonale en fonction de l'augmentation des salaires entre 1998 et 1999. Selon les indications figurant dans l'attestation précitée, cette augmentation a été de 0,15 fr. de l'heure, conformément à la convention nationale du secteur de la construction. Il faut ainsi partir d'un salaire horaire de 25 fr. 30, ce qui donne, avec l'indemnité de vacances (10, 4 pour cent) et le treizième mois de salaire (8,3 pour cent), un gain de 30 fr. de l'heure. Le revenu annuel qui doit donc être retenu ici est de 61 200 fr. (30 x 42,5 x 48).
b) En l'absence d'un revenu effectivement réalisé, la jurisprudence considère que le revenu d'invalide peut être évalué sur la base des statistiques salariales (<ref-ruling> consid. 3b/bb).
En l'occurrence, le salaire de référence (en 1998) est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé, savoir 4268 fr. par mois (Office fédéral de la statistique, Enquête sur la structure des salaires 1998 TA1, p. 25, niveau de qualifications 4). Comme les salaires bruts standardisés tiennent compte d'un horaire de travail de 40 heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 1999 (41, 8 heures; La Vie économique 3/2001, p. 100, tableau B9.2), ce montant doit être porté à 4460 fr., soit 53 520 fr. par an.
Si l'on effectue une adaptation à l'évolution des salaires entre 1998 et 1999, soit 0,3 pour cent (La Vie économique, 3/2001, p. 101, tableau B 10.2), on obtient 53 680 fr. Il faut en outre prendre en considération le fait que la capacité de travail du recourant est réduite de 20 pour cent, ce qui donne 42 944 fr. (53 680 x 0,8).
Enfin, eu égard à l'ensemble des circonstances personnelles et professionnelles du cas, il se justifie de procéder à un abattement de 15 pour cent (<ref-ruling> consid. 5). Le revenu d'invalide déterminant s'élève ainsi à 36 502 fr.
c) La comparaison avec un revenu réalisable sans invalidité de 61 200 fr. (supra, let. a) conduit à une invalidité de 40,3 pour cent ([61 200 fr. - 36 502 fr.] X 100/61 200 fr.).
4.- Il suit de là que le recourant a droit à un quart de rente et, si les conditions du cas pénibles sont remplies, à une demi-rente. Dans ces circonstances, il y a lieu de renvoyer la cause à l'administration pour fixation du point de départ et du montant de la rente.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du
Tribunal des assurances du canton de Vaud du 2 mars
2000, ainsi que la décision de l'Office de l'assurance-invalidité
pour le canton de Vaud du 28 juillet
1999, sont annulés.
II. La cause est renvoyée à l'office de l'assurance-invalidité pour nouvelle décision au sens des motifs.
III. Il n'est pas perçu de frais de justice.
IV. L'Office de l'assurance-invalidité pour le canton de Vaud versera au recourant une indemnité de 2500 fr. (y compris la taxe à la valeur ajoutée) au titre de dépens
pour la procédure fédérale.
V. Le présent arrêt sera communiqué aux parties, au Tribunal
des assurances du canton de Vaud et à l'Office
fédéral des assurances sociales.
Lucerne, le 22 mai 2001
Au nom du
Tribunal fédéral des assurances
Le juge présidant la IIe Chambre :
Le Greffier :