A.- A._, né en 1965, titulaire d'un CFC de vendeur, a travaillé en qualité de chef de rayon d'une grande surface de vente au détail jusqu'au mois de septembre 1997. A ce titre, il s'acquittait non seulement de tâches liées à la vente, mais également de travaux plus lourds de magasinier. Souffrant du dos après une chutesurvenue sur son lieu de travail, il a déposé une demande de prestations AI tendant à l'octroi de mesures d'ordre professionnel et d'une rente, le 9 novembre 1998. Dans le cadre de l'instruction de cette demande, l'assuré a été examiné à la demande de l'office par le docteur P._, spécialiste FMH en médecine interne et rhumatologie. Dans un rapport du 30 mai 2000, ce médecin a conclu à une incapacité de travail supérieure à 70 % dans l'activité exercée jusqu'alors par l'assuré, mais à une capacité de travail entière dans une activité de vendeur sans tâches de manutention ou dans celle d'employé de bureau.
Par décision du 7 juillet 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) a rejeté cette demande de prestations au motif que le degré d'invalidité de l'assuré, dont la capacité de travail dans une activité adaptée était entière, n'était que de 8,39 %.
B.- A._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud. Son recours a été rejeté par jugement du 8 décembre 2000.
C.- L'assuré interjette recours de droit administratif contre ce jugement. Il conclut principalement à son annulation, une rente entière d'invalidité lui étant allouée, et subsidiairement au renvoi de la cause à l'autorité judiciaire de première instance.
L'office a conclu au rejet du recours; l'Office fédéral des assurances sociales n'a pas déposé de déterminations.

Considérant en droit :
1.- Le jugement entrepris expose correctement les principes juridiques relatifs à l'évaluation de l'invalidité et les conditions du droit à une rente, si bien qu'il suffit d'y renvoyer sur ce point.
2.- a) En l'espèce, le premier juge a considéré, en substance, que le certificat médical établi le 2 octobre 2000 par le docteur B._, spécialiste FMH en rhumatologie qui fait état, sans autres développements, d'un syndrome douloureux chronique de type fibromyalgique, ne permettait pas de remettre en cause les conclusions du rapport du docteur P._. On ne saurait lui en faire grief.
Comme il l'a retenu à juste titre, le rapport du docteur P._ procède en effet d'une analyse minutieuse du contexte médical, des données anamnestiques, des résultats des examens réalisés et des plaintes exprimées par l'assuré. Ses conclusions en relation avec la capacité de travail du recourant sont, enfin, claires et solidement étayées, si bien qu'il remplit toutes les conditions posées par la jurisprudence pour qu'on lui reconnaisse pleine valeur probante (<ref-ruling> consid. 3a).
Contrairement à ce que soutient le recourant, ni le nouveau certificat médical établi par la doctoresse B._ le 8 mars 2001, qu'il produit à l'appui du présent recours, ni celui, très succinct, établi le 2 octobre 2000, ne permettent d'aboutir à une autre conclusion. Tout d'abord, les indications fournies par ce médecin, qui mentionne un tableau clinique compatible avec une fibromyalgie, voire un syndrome douloureux chronique, dans le cadre de troubles statiques et dégénératifs cervico-dorso-lombaires discrets, ne sont pas en contradiction avec le diagnostic du docteur P._ (syndrome douloureux chronique, troubles statiques et dégénératifs cervico-dorso-lombaires étagés mineurs, hyper-réactivité bronchique et notion anamnestique d'intolérance cardio-vasculaire à l'effort), qu'ils confirment pour l'essentiel. Mais surtout, ces certificats ne fournissent aucune indication relative à la capacité de travail du recourant et ne justifient dès lors pas que l'on s'écarte des conclusions du rapport du 30 mai 2000.
b) Dans un second moyen, le recourant soutient que l'instruction de la cause n'est pas complète, notamment en ce qui concerne les données psychiatriques du cas. Il offre, dans ce contexte, de prouver l'existence d'une atteinte psychique justifiant l'allocation d'une rente d'invalidité.
Sur ce point, le docteur P._ relevait déjà, dans son rapport du 30 mai 2000, une importante discordance entre les plaintes annoncées, l'incapacité à exercer une activité quelconque et la pauvreté des constatations objectives au plan clinique et radiologique. Il précisait cependant que l'examen clinique du recourant n'avait fait apparaître aucun signe de simulation ou de non-organicité. Partant, de plus amples mesures d'instruction, à la recherche d'éventuelles causes non organiques - et en particulier psychiques - aux douleurs dont se plaint le recourant, apparaissent superflues en l'absence de tout autre indice concret, si bien que l'on peut y renoncer sans violer son droit d'être entendu (<ref-ruling> consid. 4b).
c) Au vu de ce qui précède, on ne saurait faire grief au premier juge, contrairement à ce que soutient le recourant, d'avoir retenu, sur la base du rapport du docteur P._, que son invalidité, estimée à 8,39 % compte tenu de sa capacité résiduelle de gain dans une activité adaptée de vendeur, était insuffisante pour lui ouvrir le droit à une rente (<ref-law>).
Le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, à la Caisse cantonale vaudoise de compensation AVS/AI, au Tribunal des assurances du canton de Vaud, ainsi qu'à
l'Office fédéral des assurances sociales.
Lucerne, le 10 septembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :