A.- A._ a été victime d'une chute lors d'un match de football en mars 1992. Il souffre depuis lors du genou droit. Employé depuis 1990 en qualité d'ouvrier qualifié au département production d'une boulangerie industrielle, il a poursuivi son activité à temps plein, sous réserve de quelques périodes d'incapacité totale de travail, jusqu'au mois de février 1993. Par la suite, son horaire de travail à été réduit à un mi-temps jusqu'au mois de mars 1994. Après quelques mois de reprise du travail à 80 puis à 70 %, il n'a plus exercé sa profession que quelques heures par jour, à raison d'un quart-temps d'activité. Le 29 septembre 1993, A._ a déposé une demande de prestations de l'assurance-invalidité. Dans un rapport du 27 juin 1994 son médecin traitant, le docteur B._, médecin-chef adjoint au service de chirurgie orthopédique et de traumatologie de l'appareil moteur de l'hôpital X._, a posé le diagnostic de synovite chronique après chondrite post-traumatique et status après résection méniscale partielle externe du genou droit. Confirmant une incapacité de travail de 50 % dans la profession exercée jusqu'alors, ce praticien préconisait une activité essentiellement assise, permettant des déplacements sur de courtes distances et n'imposant pas le port de charges lourdes. Dans un rapport subséquent, du 6 février 1996, il a estimé à 25 %, dans son activité en boulangerie industrielle, la capacité résiduelle de travail de son patient. Il relevait, par ailleurs, que l'état d'esprit de ce dernier n'était pas favorable à une reconversion professionnelle et proposait l'évaluation des composantes psychologiques du cas par un psychiatre. Parallèlement à l'instruction de cette demande, l'assuré a également élevé des prétentions à l'endroit de la CNA. Dans ce contexte, il a été soumis à l'examen de trois spécialistes du Centre Y._. Dans un rapport du 26 mai 1997, produit par la suite dans la procédure relative à la demande de prestations de l'AI, les docteurs C._, psychiatre FMH, D._, psychologue FMH et E._, orthopédiste FMH, ont confirmé une diminution - cependant difficilement quantifiable à leurs yeux - de la capacité de travail, résultant des atteintes physiques, dans une profession imposant constamment la station debout. Ils précisaient cependant que la gonarthrose dont souffre l'assuré ne constituait pas, en théorie, un obstacle à l'exercice à temps complet d'une activité adaptée, telle qu'employé de bureau ou huissier de banque. Par ailleurs, sur le plan psychique, la personnalité borderline à traits caractériels et narcissiques compensés de l'assuré n'avait, selon ces médecins, ni caractère pathologique ni incidence sur sa capacité de travail. Par décision du 7 avril 2000, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office) a nié le droit de l'assuré à une rente, au motif que le degré de son invalidité n'était que de 26,03 %, compte tenu des gains qu'il pourrait réaliser dans une activité adaptée, exercée en milieu industriel. B.- Par jugement du 2 novembre 2000, le Tribunal des assurances du canton de Vaud a rejeté le recours formé contre cette décision par l'assuré. C.- Ce dernier interjette recours de droit administratif contre ce jugement. Il demande que lui soit reconnu un degré d'invalidité de 50 % et conclut implicitement à l'annulation du jugement entrepris ainsi qu'à l'octroi d'une rente. L'office conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.