A.- A._ a travaillé comme employé de voirie à Y._ depuis 1988. Après plusieurs périodes d'arrêt de travail en 1995, son médecin traitant, le docteur B._, a attesté d'une incapacité de travail complète dès le 30 mars 1996.
A._ était au bénéfice d'une assurance perte de gain en cas de maladie, conclue par son employeur auprès de l'Elvia société suisse d'assurances. Celle-ci a chargé le docteur C._, spécialiste FMH en chirurgie orthopédique, d'une expertise relative à la capacité de travail du prénommé. Dans son rapport, daté du 7 octobre 1996, ce praticien a fait état de lombo-sciatalgies droites chroniques sur spondylolisthésis de degré II de L5 sur S1, entraînant une incapacité de travail de 50 % dans la profession exercée jusqu'alors; ces affections n'empêchaient en revanche pas l'assuré d'exercer une activité semi-assise ne nécessitant pas le port de charges supérieures à 10 kg de façon régulière. Le docteur C._ a également constaté qu'une forte surcharge psychogène pouvait avoir une influence supplémentaire sur la capacité de travail de l'assuré.
Le docteur D._, spécialiste FMH en psychiatrie et en psychothérapie, a notamment posé le diagnostic de troubles somatoformes douloureux chroniques. Selon ce praticien, l'incapacité de travail en relation avec les troubles psychiques constatés était alors de 20 %, mais une réadaptation professionnelle devait être entreprise rapidement pour avoir des chances de succès (rapport du 26 novembre 1996).
Entre-temps, A._ avait demandé à l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après :
l'office AI) de lui allouer des mesures de reclassement dans une nouvelle profession (demande de prestations du 7 novembre 1996). Le 21 novembre 1996, le docteur B._ a adressé à cet office un rapport médical faisant état d'un spondylolisthésis entraînant une incapacité de travail de 50 % dans la profession exercée jusqu'alors, à laquelle s'ajoutait une incapacité de travail de 10 à 20 % en raison de troubles psychiques. Le médecin traitant de l'assuré se référait aux expertises dont avaient été chargés les docteurs C._ et D._ et indiquait que des mesures d'ordre professionnel devaient être allouées immédiatement par l'assurance-invalidité.
Le conseiller en orientation professionnelle de l'office AI a considéré que A._ ne disposait plus des ressources physiques et morales nécessaires à son retour dans l'économie. Seule était envisageable une reprise du travail dans une structure protégée, ce qui ne permettait d'espérer qu'un revenu de l'ordre de 650 fr. par mois; il n'était pas même certain que l'assuré puisse travailler dans un tel cadre, au vu de son état psycho-affectif (rapport du 23 décembre 1997).
Par décision du 1er février 2000, notifiée le 14 février 2000, l'office AI a rejeté sa demande de prestations.
B.- Par jugement du 27 juillet 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours de l'assuré contre cette décision. Il a retenu qu'un reclassement professionnel n'entrait pas en considération au vu du manque de motivation de l'assuré, mais que la capacité de travail résiduelle de ce dernier, telle qu'attestée médicalement, excluait un taux d'invalidité ouvrant droit à une rente.
C.- A._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Il conclut à ce que son droit à une rente entière d'invalidité soit constaté et au renvoi de la cause à l'office AI pour qu'il en fixe le montant et détermine le jour à partir duquel elle sera allouée. L'intimé se réfère au jugement entrepris, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Lorsque, comme en l'espèce, le litige porte sur l'octroi ou le refus de prestations d'assurance, le pouvoir d'examen du Tribunal fédéral des assurances n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
2.- a) Selon l'<ref-law>, l'invalidité est la diminution de la capacité de gain, présumée permanente ou de longue durée, qui résulte d'une atteinte à la santé physique ou mentale provenant d'une infirmité congénitale, d'une maladie ou d'un accident.
Pour l'évaluation de l'invalidité, le revenu du travail que l'invalide pourrait obtenir en exerçant l'activité qu'on peut raisonnablement attendre de lui, après exécution éventuelle de mesures de réadaptation et compte tenu d'une situation équilibrée du marché du travail, est comparé au revenu qu'il aurait pu obtenir s'il n'était pas invalide (<ref-law>).
b) Parmi les atteintes à la santé psychique susceptibles de provoquer une invalidité au sens de l'<ref-law>, on doit mentionner - à part les maladies mentales proprement dites - les anomalies psychiques qui équivalent à des maladies. On ne considère pas comme des conséquences d'un état psychique maladif, donc pas comme des affections à prendre en charge par l'assurance-invalidité, les diminutions de la capacité de gain que l'assuré pourrait empêcher en faisant preuve de bonne volonté; la mesure de ce qui est exigible doit être déterminée aussi objectivement que possible.
Il faut donc établir si et dans quelle mesure un assuré peut, malgré son infirmité mentale, exercer une activité que le marché du travail lui offre, compte tenu de ses aptitudes. Le point déterminant est ici de savoir quelle activité peut raisonnablement être exigée dans son cas. Pour admettre l'existence d'une incapacité de gain causée par une atteinte à la santé mentale, il n'est donc pas décisif que l'assuré exerce une activité lucrative insuffisante; il faut bien plutôt se demander s'il y a lieu d'admettre que la mise à profit de sa capacité de travail ne peut, pratiquement, plus être raisonnablement exigée de lui, ou qu'elle serait même insupportable pour la société (<ref-ruling>; VSI 2000 p. 153 consid. 2a et les références).
3.- a) Le recourant a dû cesser d'exercer son ancienne profession en raison de ses atteintes à la santé. Toutefois, d'après les expertises médicales figurant au dossier, il pouvait encore, à la fin de l'année 1996, effectuer des travaux en position semi-assise ne nécessitant pas le port de charges supérieures 10 kg de manière régulière; dans une profession adaptée à ce handicap, sa capacité de travail était de 80 %, car des troubles somatoformes douloureux s'ajoutaient aux lésions physiques constatées. Les experts ont insisté sur le fait que les troubles psychiques du recourant étaient en voie de devenir chroniques et que des mesures d'ordre professionnel devaient être prises sans délai afin de mettre un terme à cette évolution. Ainsi, dans son rapport du 26 novembre 1996, le docteur D._ a exposé que le recourant se constituait progressivement une identité d'invalide et a souligné le caractère évolutif de ses troubles somatoformes douloureux en précisant qu'ils causaient alors ("actuellement") une incapacité de travail de 20 %.
b) Le 1er février 2000, l'office AI s'est prononcé sur le droit du recourant à une rente d'invalidité, retenant implicitement que des mesures de reclassement professionnel auraient été vouées à l'échec et n'entraient donc plus en considération. Au vu des constatations du service de réadaptation de l'intimé, cette renonciation à des mesures d'ordre professionnel n'est pas critiquable.
c) Alors que la juridiction cantonale a considéré que, sur le vu des certificats médicaux, l'assuré ne présentait pas une incapacité de gain de 40 % au moins, l'assuré soutient, en se fondant sur le rapport du conseiller en orientation, que son degré d'invalidité est de 84 %.
Contrairement à l'opinion des premiers juges, les expertises des docteurs C._ et D._, rendues trois ans plus tôt, sont insuffisantes pour évaluer la capacité de travail du recourant au moment de la décision litigieuse. En effet, à la fin de l'année 1996, ces experts signalaient déjà le risque que les troubles psychiques du recourant pouvaient s'aggraver, en l'absence d'un rapide reclassement dans une nouvelle profession. Par la suite, le service de réadaptation de l'intimé, dont le premier entretien d'un conseiller avec l'assuré a eu lieu une année plus tard, a estimé que seul un travail dans une structure protégée pouvait encore être exigé, si bien qu'aucune mesure de reclassement n'a été entreprise. Dans ces conditions, un complément d'instruction s'avère nécessaire pour déterminer si, comme le prévoyaient les experts, la santé du recourant s'est péjorée, en particulier sur le plan psychique. Il y aura lieu ensuite d'évaluer les conséquences de cet état de santé sur la capacité de travail et de gain du recourant.
Aussi, la cause sera renvoyée à l'office intimé pour qu'il prenne une nouvelle décision, après avoir mis en oeuvre une instruction complémentaire sous forme d'une expertise pluridisciplinaire.
4.- Le recourant, qui obtient gain de cause, est représenté par le Service juridique de la Fédération suisse pour l'intégration des handicapés (FSIH). Il a droit à une indemnité de dépens à la charge de l'intimé (art. 135 en corrélation avec l'art. 159 OJ; <ref-ruling> consid. 2).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du 27 juillet 2000 du Tribunal des assurances du canton
de Vaud ainsi que la décision du 1er février 2000 de
l'Office de l'assurance-invalidité pour le canton de
Vaud sont annulés, la cause étant renvoyée à cet
office pour complément d'instruction au sens des
motifs et nouvelle décision.
II. Il n'est pas perçu de frais de justice.
III. L'intimé versera au recourant la somme de 2000 fr.
(y compris la taxe sur la valeur ajoutée) à titre de
dépens pour la procédure fédérale.
IV. Le Tribunal des assurances du canton de Vaud statuera sur les dépens pour la procédure de première instance, au regard de l'issue de la procédure de dernière
instance.
V. Le présent arrêt sera communiqué aux parties, au
Tribunal des assurances du canton de Vaud, à la Caisse
cantonale vaudoise de compensation et à l'Office
fédéral des assurances sociales.
Lucerne, le 21 mai 2001
Au nom du
Tribunal fédéral des assurances
Le juge présidant la IIe Chambre :
Le Greffier :