A.- A._ a travaillé en qualité de tricoteur au service de la société X._ SA, à B._, du 3 avril 1978 au 4 septembre 1996. A cette date, il a cessé d'exercer toute activité lucrative en raison de lombalgies. Il a été liciencé avec effet au 31 octobre 1996. Le 27 août 1997, il a sollicité l'octroi de mesures de reclassement professionnel de l'assurance-invalidité, et subsidiairement le versement d'une rente. Il a été examiné par divers médecins. Après avoir confié une expertise au docteur C._, spécialiste en rhumatologie (rapport du 20 juin 1997), l'Office de l'assurance-invalidité du canton de Vaud (Office AI) a rendu une décision, le 1er octobre 1998, par laquelle il a rejeté la demande de prestations, motif pris que l'assuré ne présente pas d'atteinte à la santé invalidante. B.- Saisi d'un recours de A._, le Tribunal cantonal des assurances du canton de Vaud a, sur requête de l'assuré, confié une expertise au docteur D._, spécialiste en psychiatrie et psychothérapie (rapport du 15 mars 2000). Par jugement du 17 novembre 2000, il a rejeté le recours de l'assuré. C.- A._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation, en concluant, sous suite de frais et dépens, principalement, à l'octroi d'une rente entière ou d'une demi-rente d'invalidité. Subsidiairement, il sollicite le renvoi de la cause à la cour cantonale pour instruction complémentaire et nouveau jugement. L'Office AI conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales ne s'est pas déterminé.