A.- P._, né en 1946, travaillait en qualité d'ouvrier au service de la Commune X._ depuis le 1er juillet 1980. Il était responsable de la décharge municipale. Les rapports de travail ont été résiliés parl'employeur en 1995 pour raisons de santé. L'employé a été mis au bénéfice d'une rente d'invalidité de la Caisse intercommunale de pensions dès le 1er août 1995. Le 20 juin 1995, P._ a présenté une demande de prestations de l'assurance-invalidité. Entre autres mesures d'instruction, l'Office de l'assurance-invalidité du canton de Vaud a confié une expertise à la Policlinique médicale universitaire, Centre médical d'observation de l'assurance-invalidité (COMAI), à Lausanne. Dans un rapport du 19 juin 1996, les docteurs M._, médecin-chef, et J._, chef de clinique adjoint, tous deux au service de cet établissement, ont posé le diagnostic de rachialgies sur légers troubles statiques et dégénératifs pluri-étagés, ainsi que de troubles somatoformes douloureux et état anxio-dépressif modéré chez une personnalité mal structurée. Les troubles statiques et dégénératifs du rachis pouvaient limiter les travaux lourds (déplacement de "containers" pleins). En revanche, l'assuré était apte à travailler avec un trax et à effectuer des travaux de surveillance d'une décharge. Sa capacité de travail était de 75 pour cent dans son activité antérieure d'ouvrier au service de la commune X._. Sur le plan psychiatrique, les troubles somatoformes douloureux, l'état anxio-dépressif et la personnalité mal structurée pouvaient représenter des obstacles à la reprise d'une activité professionnelle. Toutefois, dans l'activité susmentionnée, une reprise à 75 pour cent paraissait exigible aux yeux des experts. Ceux-ci notaient enfin que, compte tenu de cette personnalité mal structurée, une prise en charge psychiatrique n'était pas envisageable, ce qui rendait le pronostic à long terme défavorable. Se fondant sur cette expertise, l'office de l'assurance-invalidité, par décision du 29 janvier 1997, a rejeté la demande de prestations. Saisi d'un recours de l'assuré, le Tribunal des assurances du canton de Vaud l'a partiellement admis par jugement du 29 mai 1997 en annulant la décision litigieuse et en renvoyant la cause à l'office de l'assurance-invalidité pour complément d'instruction sur la capacité de l'assuré à être réadapté. B.- A la suite de ce jugement, l'office de l'assurance-invalidité a fait suivre à l'assuré un stage au Centre d'observation professionnelle de l'assurance-invalidité (COPAI), à Genève, du 20 avril au 15 mai 1998. D'après les conclusions d'un rapport établi par ce centre le 9 juin 1998, l'assuré n'est pas susceptible d'être réadapté en raison de son inaptitude au travail liée notamment à ses capacités physiques (instabilité des positions; mauvaise position assise; rendements insuffisants et non susceptibles d'amélioration; impossibilité de suivre le rythme imposé par une machine; manque de résistance; limitation du port de charges à 5 - 10 kg). A cela s'ajoute que l'intéressé a un faible bagage intellectuel et scolaire et qu'il dispose de capacités d'abstraction limitées. Le médecin-conseil du COPAI, le docteur L._, a pour sa part exprimé l'avis que "le pronostic de cette affection (psychique) chronicisée depuis plus de quatre ans est très sombre" et qu'il paraissait donc totalement illusoire d'envisager une reprise d'activité (rapport du 15 juin 1998). Par une nouvelle décision, du 30 avril 1999, l'office de l'assurance-invalidité a cependant rejeté la demande de prestations, au motif que l'assuré disposait d'une capacité de travail de 75 pour cent, conformément aux conclusions du COMAI. C.- B._ a recouru contre cette décision. Par lettre du 26 juillet 1999, le juge délégué a posé des questions complémentaires à la Policlinique médicale universitaire de Lausanne. L'assuré a été soumis dans cet établissement à un examen clinique le 14 décembre 1999, ainsi qu'à un examen psychiatrique (consilium de la doctoresse M._ du 2 février 2000) et à un examen rhumatologique (consilium du professeur G._ du même jour). La policlinique a établi un rapport détaillé le 14 avril 2000. En réponse à diverses questions posées par le tribunal, les auteurs de ce rapport constatent que, depuis mars 1996, l'évolution de l'état de santé de l'assuré est plutôt défavorable avec aggravation d'un état dépressif sous-jacent associé à des troubles somatoformes douloureux et somatisations multiples. Le taux d'incapacité de travail de 25 pour cent attesté précédemment ne peut pas être confirmé, en raison de l'estimation faite par l'expert-psychiatre et sur le vu des conclusions du rapport de l'expert en rhumatologie. En effet, malgré l'absence d'aggravation des troubles somatiques, il existe une surcharge fonctionnelle encore plus importante. De ce fait, le taux d'incapacité de travail est de 100 pour cent, à partir du mois de juin 1998. Statuant le 19 juillet 2000, le tribunal des assurances a rejeté le recours porté devant lui. D.- B._ interjette un recours de droit administratif dans lequel il conclut à l'annulation du jugement cantonal et à l'allocation d'une rente entière d'invalidité à partir du 1er septembre 1995. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. L'office de l'assurance-invalidité conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.