A.- A._, marié, père de deux enfants, a travaillé en qualité de maçon au service de l'entreprise X._, du 18 février 1981 au 31 décembre 1992. Souffrant d'une hernie discale, il a ensuite bénéficié d'indemnités journalières d'assurance-maladie. Le 5 février 1993, il a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité pour le canton de Vaud lui a accordé un stage d'observation, du 8 janvier 1996 au 7 avril 1996, à la Fondation Y._, section ateliers. Selon un rapport établi par cette fondation le 2 avril 1996, l'assuré possède de bonnes aptitudes manuelles, avec un sens pratique développé; la gestuelle est sûre, mais lente. Les différentes activités de l'atelier ont été réalisées sans difficulté. Cependant, la rapidité dans l'exécution des tâches est en dessous de la moyenne, dans une proportion de 50 pour cent environ. L'office de l'assurance-invalidité a ensuite confié une expertise à la Policlinique médicale universitaire, Centre médical d'observation de l'assurance-invalidité (COMAI), à Lausanne. Dans un rapport du 17 décembre 1996, les docteurs B._, médecin-chef, et C._, chef de clinique adjoint, tous deux au service de cet établissement, ont posé le diagnostic de lombo-sciatalgies bilatérales sur troubles statiques et dégénératifs (spondylarthrose L4-L5 et L5-S1) et d'excès pondéral. Compte tenu des troubles statiques et dégénératifs du rachis lombaire, ils ont estimé que l'assuré présentait une incapacité totale de travail comme maçon ou dans d'autres professions comportant des travaux lourds, comme déménageur, ferrailleur etc. Une reconversion professionnelle était tout à fait envisageable sur les plans somatique et psychiatrique. Le patient est apte, par exemple, à exercer une activité de concierge d'immeuble ou de magasinier, avec une capacité de travail d'au moins 80 pour cent, pour autant qu'il ne doive pas soulever des charges de manière répétitive ou effectuer des mouvements en porte-à-faux. Par décision du 28 juillet 1999, l'office de l'assurance-invalidité a refusé d'accorder une rente à l'assuré. Il a considéré que celui-ci disposait d'une capacité de travail de 100 pour cent, avec un rendement d'au moins 80 pour cent, dans une activité adaptée à son état de santé. Dans un emploi non qualifié, il pourrait prétendre un salaire mensuel de 2960 fr., soit 38 480 fr. par an avec un treizième salaire. La comparaison avec un revenu réalisable sans invalidité, estimé à 53 690 fr. par an, conduisait à la reconnaissance d'une invalidité de 28 pour cent, insuffisante pour ouvrir droit à une rente. B.- Par jugement du 2 mars 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré. C.- A._ interjette un recours de droit administratif dans lequel il conclut à la réforme de ce jugement et au versement par l'assurance-invalidité d'une demi-rente. Subsidiairement, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à l'une ou l'autre des autorités précédentes pour nouvelle décision. L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.