A.- A._ a travaillé en qualité de tricoteur au service de la société X._ SA, à B._, du 3 avril 1978 au 4 septembre 1996. A cette date, il a cessé d'exercer toute activité lucrative en raison de lombalgies.
Il a été liciencé avec effet au 31 octobre 1996.
Le 27 août 1997, il a sollicité l'octroi de mesures de reclassement professionnel de l'assurance-invalidité, et subsidiairement le versement d'une rente. Il a été examiné par divers médecins. Après avoir confié une expertise au docteur C._, spécialiste en rhumatologie (rapport du 20 juin 1997), l'Office de l'assurance-invalidité du canton de Vaud (Office AI) a rendu une décision, le 1er octobre 1998, par laquelle il a rejeté la demande de prestations, motif pris que l'assuré ne présente pas d'atteinte à la santé invalidante.
B.- Saisi d'un recours de A._, le Tribunal cantonal des assurances du canton de Vaud a, sur requête de l'assuré, confié une expertise au docteur D._, spécialiste en psychiatrie et psychothérapie (rapport du 15 mars 2000).
Par jugement du 17 novembre 2000, il a rejeté le recours de l'assuré.
C.- A._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant, sous suite de frais et dépens, principalement, à l'octroi d'une rente entière ou d'une demi-rente d'invalidité. Subsidiairement, il sollicite le renvoi de la cause à la cour cantonale pour instruction complémentaire et nouveau jugement.
L'Office AI conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.
Considérant en droit :
1.- En procédure fédérale, le litige porte sur le droit du recourant à une rente d'invalidité.
Le jugement cantonal du 17 novembre 2000 expose de manière exacte et complète les dispositions légales et les principes jurisprudentiels applicables en matière d'évaluation de l'invalidité. Il suffit donc d'y renvoyer.
2.- En principe, le juge ne s'écarte pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (ATF 125 V 352 s.v.
consid. 3b/aa et les références; VSI 2000 p. 154 consid. 2b).
3.- a) Dans un récent arrêt (cf. VSI 2000 p. 152), le Tribunal fédéral des assurances a défini, en se fondant principalement sur une étude de Mosimann (Somatoforme Störungen : Gerichte und [psychiatrische] Gutachten, in RSAS 1999, p. 1 ss et 105 ss), la tâche du médecin ou de l'expert, lorsque celui-ci doit se prononcer sur le caractère invalidant des troubles somatoformes douloureux. Selon cette jurisprudence, l'expert doit, sur le plan psychiatrique, poser un diagnostic dans le cadre d'une classification reconnue et se prononcer sur le degré de gravité de l'affection.
Il doit évaluer le caractère exigible de la reprise par l'assuré d'une activité lucrative. Ce pronostic tiendra compte de divers critères, tels une structure de la personnalité présentant des traits prémorbides, une comorbidité psychiatrique, des affections corporelles chroniques, une perte d'intégration sociale, un éventuel profit tiré de la maladie, le caractère chronique de celle-ci sans rémission durable, une durée de plusieurs années de la maladie avec des symptômes stables ou en évolution, l'échec de traitements conformes aux règles de l'art. Le cumul des critères précités fonde un pronostic défavorable. Enfin, l'expert doit s'exprimer sur le cadre psycho-social de la personne examinée. Au demeurant, la recommandation de refus d'une rente doit également reposer sur différents critères.
Au nombre de ceux-ci figurent la divergence entre les douleurs décrites et le comportement observé, l'allégation d'intenses douleurs dont les caractéristiques demeurent vagues, l'absence de demande de soins, les grandes divergences entre les informations fournies par le patient et celles ressortant de l'anamnèse, le fait que des plaintes très démonstratives laissent insensible l'expert, ainsi que l'allégation de lourds handicaps malgré un environnement psycho-social intact (VSI 2000 p. 155 consid. 2c).
b) En ce qui concerne les facteurs psychosociaux ou socioculturels et leur rôle en matière d'invalidité, le Tribunal fédéral des assurances, dans un arrêt B. du 5 octobre 2001 (I 724/99, destiné à la publication), a précisé sa jurisprudence relative aux atteintes à la santé psychique.
Dans chaque cas d'invalidité, il doit y avoir un diagnostic médical pertinent d'après lequel, à dire de spécialiste, la capacité de travail (et de gain) est diminuée de manière importante. Plus les facteurs psychosociaux et socioculturels sont au premier plan dans l'anamnèse, plus il est essentiel que le diagnostic médical précise s'il y a atteinte à la santé psychique qui équivaut à une maladie. Si le diagnostic médical retient une atteinte à la santé psychique entraînant une diminution de la capacité de travail (et de gain), les facteurs socioculturels sont relégués àl'arrière-plan.
4.- Les premiers juges ont considéré que les troubles psychiques diagnostiqués par le docteur D._ dans son rapport du 15 mars 2000 ne pouvaient être qualifiés d'atteintes à la santé ayant valeur de maladie. Ils ont retenu que le trouble douloureux, en particulier, n'était pas associé à une comorbidité psychiatrique grave : les atteintes présentées par l'assuré résultaient essentiellement de sa personnalité narcissique, de son sentiment d'infériorité et de ses difficultés d'adaptation et avaient été favorisées par le licenciement, la situation familiale et la personnalité de l'assuré.
Le recourant conteste cette appréciation et soutient au contraire que le rapport de l'expert judiciaire a entière valeur probante, de sorte qu'il présente une incapacité de travail de 50 % dans une profession adaptée.
5.- a) Dans son rapport d'expertise du 5 mars 2000, le docteur D._ a posé son diagnostic au regard des critères du Manuel diagnostique et statistique des troubles mentaux DSM IV édité par l'Association des psychiatres américains (American Psychiatric Association), qui préconise l'évaluation multiaxiale. Dans ce système chacun des cinq axes de base se rapporte à une classe d'information différente (axe I : syndromes cliniques; axe II : troubles du développement et de la personnalité; axe III : troubles et affections physiques; axe IV : sévérité des facteurs de stress psychosociaux; axe V : évaluation globale du fonctionnement).
Sauf indication expresse contraire, le diagnostic principal - soit celui qui correspond à l'affection responsable au premier chef de l'évaluation - est celui de l'axe I (et non celui de l'axe II).
En l'espèce, le docteur D._ a diagnostiqué, sur l'axe I, un trouble douloureux associé à la fois à des facteurs psychologiques et à une affection médicale d'intensité légère à moyenne chronique (307. 89) et un d'état dépressif majeur récurrent d'intensité légère subclinique (296. 30). Sur l'axe II, il a posé le diagnostic de personnalité obsessionnelle (301. 4) et évitante (301. 82), sur l'axe III, celui de lombosciatalgies et, sur l'axe IV, celui de licenciement, conflit professionnel.
Tout en relevant que l'état dépressif subclinique ne justifiait pas en soi une quelconque diminution de la capacité de travail de l'assuré, l'expert a considéré que les autres troubles diagnostiqués rendaient ce dernier totalement incapable de travailler dans son ancienne profession et a fixé à 50 % sa capacité de travail dans une activité légère adaptée.
En conclusion, d'après l'expert, les troubles psychiatriques de l'axe I associés à un trouble de la personnalité sont responsables à raison de 50 % de la diminution de la capacité de travail de l'assuré. Pour les autres 50 %, il y a amplification des symptômes en raison de problèmes extra-médicaux (âge, situation financière).
Il convient d'attacher entière force probante aux conclusions de l'expertise judiciaire qui répondent en tous points aux exigences de la jurisprudence (ATF 125 V 352 consid. 3a) et ne sont contredites par aucun élément du dossier (ATF 125 V 352 sv. consid. 3b/aa).
b) Compte tenu du diagnostic et des conclusions du docteur D._, il y a lieu de retenir que le recourant présente, à titre d'affection principale, des troubles psychiques qui sont de nature à réduire sa capacité de travail de 50 %, dans une profession adaptée. A cet égard, il ressort en effet du rapport de l'expert judiciaire que sont réalisés la plupart des divers critères cités plus haut pour justifier le fait que la reprise d'une activité lucrative complète n'est pas exigible de sa part. C'est ainsi que le trouble de la personnalité de l'assuré représente probablement le facteur majeur de chronification des troubles douloureux. L'assuré semble s'être focalisé sur sa symptomatologie somatique, probablement en craignant un échec dans la recherche d'un emploi ou même dans les possibilités d'acquérir une nouvelle formation professionnelle, compte tenu des limitations intellectuelles qui semblent être avérées depuis longtemps. Par ailleurs, selon les constatations mêmes de l'expert, la lecture attentive du dossier et l'examen clinique ne permettent pas de retenir une exagération grossière de ses symptômes ou une simulation.
L'expert a également précisé que les difficultés psychiques n'étaient ni de nature socio-culturelle, ni de nature ethnique ou familiale et que des problèmes extra-médicaux, tels que l'âge et la situation financière de l'assuré n'avaient pas été pris en considération dans l'évaluation à 50 % de l'incapacité de travail du recourant.
Ces constatations médicales sont suffisantes pour qu'on puisse se convaincre, en accord avec les critères dégagés par la jurisprudence citée au consid. 3, du caractère invalidant du trouble douloureux associé au trouble de la personnalité.
c) Dans ces circonstances, il y a lieu de retenir que le recourant présente une incapacité de travail de 50 % dans une activité adaptée telle que celle décrite par le docteur D._. En l'absence d'autres données médicales, les premiers juges se sont à tort écartés du rapport de l'expert judiciaire pour y substituer leur propre appréciation.
Le jugement attaqué doit dès lors être annulé. La cause sera renvoyée à l'office intimé pour qu'il détermine quelles sont les activités exigibles de la part du recourant, qu'il fixe son taux d'invalidité par comparaison des revenus, qu'il détermine, le cas échéant, le montant de la rente à laquelle il a droit et qu'il rende une nouvelle décision.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis. Le jugement du Tribunal des
assurances du canton de Vaud du 17 novembre 2000 et la
décision de l'Office de l'assurance-invalidité pour le
canton de Vaud du 1er octobre 1998 sont annulés.
II. La cause est renvoyée à l'office intimé pour instruction complémentaire au sens des considérants et nouvelle décision.
III. Il n'est pas perçu de frais de justice.
IV. L'office intimé versera au recourant la somme de 2500 fr. à titre de dépens pour l'instance fédérale.
V. Le Tribunal des assurances du canton de Vaud statuera
sur les dépens pour la procédure de première instance,
au regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 28 février 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :