A.- A._ a travaillé en qualité d'ouvrier dans un atelier des CFF de 1971 à 1981.
A la suite d'une distorsion du genou gauche, il a subi une méniscectomie le 5 juin 1974, puis une ostéotomie proximale de la jambe gauche, ainsi qu'une plastie rotulienne pour une chondropathie post-traumatique en 1979. Depuis 1980, il est au bénéfice d'une rente d'invalidité de l'assurance-accidents fondée sur une incapacité de gain de 33,33 %.
Après avoir suivi des formations de surveillant d'établissement pénitentiaire et de garde du corps, il a travaillé en qualité de surveillant au service de X._.
Il a bénéficié d'indemnités de chômage à partir du 25 juillet 1994. Dès le 31 décembre suivant, il a été engagé en qualité d'agent de sécurité au service de l'entreprise Z._. Comme cette entreprise ne pouvait pas lui confier une activité à plein temps, il a continué à bénéficier d'indemnités de chômage.
Victime d'une rechute en 1996, il a subi une nouvelle ostéotomie correctrice le 22 avril 1997.
Le 14 juin 1999, il a été engagé, à raison d'un horaire à plein temps, en qualité de "veilleur actif" au service du Centre de formation professionnelle spécialisée Y._.
Par requête du 11 mars 1998, il a demandé à bénéficier d'une mesure de réadaptation de l'assurance-invalidité sous la forme d'une rééducation dans la même profession.
Le 3 mai 2000, l'Office de l'assurance-invalidité pour le canton de Vaud a rendu une décision par laquelle il lui a dénié le droit à la mesure requise, motif pris que l'invalidité était insuffisante pour ouvrir droit à une telle prestation.
B.- Saisi d'un recours contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 27 décembre 2000.
C.- A._ interjette recours de droit administratif contre ce jugement en concluant à l'octroi d'une mesure de réadaptation de l'assurance-invalidité sous la forme d'un reclassement dans une nouvelle profession.
L'office intimé conclut implicitement au rejet du recours. L'Office fédéral des assurances sociales n'a pas présenté de détermination.

Considérant en droit :
1.- a) Selon l'<ref-law>, les assurés invalides ou menacés d'une invalidité imminente ont droit aux mesures de réadaptation qui sont nécessaires et de nature à rétablir leur capacité de gain, à l'améliorer, à la sauvegarder ou à en favoriser l'usage. Ce droit est déterminé en fonction de toute la durée d'activité probable.
L'assuré a droit au reclassement dans une nouvelle profession si son invalidité rend nécessaire le reclassement et si sa capacité de gain peut ainsi, selon toute vraisemblance, être sauvegardée ou améliorée de manière notable (<ref-law>). La rééducation dans la même profession est assimilée au reclassement (<ref-law>).
Sont considérées comme un reclassement les mesures de formation destinées à des assurés qui en ont besoin, en raison de leur invalidité, après achèvement d'une formation professionnelle initiale ou après le début de l'exercice d'une activité lucrative sans formation préalable, pour maintenir ou pour améliorer sensiblement leur capacité de gain (<ref-law>).
b) Selon la jurisprudence, une perte de gain durable ou prolongée, dans toute activité exigible ne nécessitant pas une formation professionnelle complémentaire, est suffisante pour ouvrir droit au reclassement dans une nouvelle profession lorsqu'elle est de 20 % environ (<ref-ruling> consid. 2b et les arrêts cités). Ce taux ne constitue pas une limite absolue. Selon les circonstances du cas particulier, une invalidité légèrement inférieure à 20 % peut déjà ouvrir droit à une mesure de reclassement.
Ainsi, dans un arrêt non publié J. du 18 octobre 2000, I 665/99, le Tribunal fédéral des assurances a admis le droit au reclassement d'une assurée encore jeune (35 ans au moment du prononcé de la décision administrative), dotée de capacités permettant un reclassement, et qui présentait un degré d'invalidité de 18,52 %.
2.- a) Sur le vu des rapports médicaux versés au dossier, le recourant n'est plus en mesure d'exercer sa profession d'agent de sécurité. En effet, selon le docteur B._, spécialiste en chirurgie et médecin d'arrondissement de la CNA, sa capacité de travail est nulle dans cette activité exigeant des déplacements constants (rapport du 1er octobre 1998). Ce médecin confirmait ainsi l'avis du docteur C._, médecin traitant de l'assuré, selon lequel la capacité de travail de l'intéressé dans son ancienne activité était très limitée (rapport du 30 mars 1998).
b) En l'occurrence, la juridiction cantonale a admis un taux d'invalidité de 19 %. Pour cela, elle a tenu compte d'un revenu d'invalide - non contesté - de 55 900 fr. par an, montant correspondant au revenu réalisé par le recourant dans son activité de veilleur au service du Centre de formation professionnelle Y._. Au titre du revenu sans invalidité, elle a pris en considération un montant annuel de 68 052 fr. en 1996. Celui-ci correspond au gain assuré déterminant pris en compte par la Caisse publique cantonale vaudoise de chômage pour le calcul de l'indemnité allouée à l'intéressé (5671 fr. X 12).
De son côté, l'office intimé s'est fondé, dans sa décision du 3 mai 2000, sur un revenu sans invalidité de 51 475 fr. en 1999. Dans sa réponse au recours de droit cantonal et sa duplique, il a indiqué s'être référé pour cela à un rapport d'enquête de sa division administrative du 23 novembre 1999. Sous point 5 de ce rapport, intitulé "conclusion", il est notamment mentionné que "selon de récents renseignements obtenus auprès de Z._, (le) salaire actuel (de l'assuré) y serait de 51 475 fr. par année". Sous point 3 du même rapport, concernant la situation économique de l'assuré, il est toutefois indiqué que l'office ne possède pas de questionnaire de l'employeur, mais qu'aux dires de l'assuré, celui-ci réalisait en 1995 un salaire mensuel de 5670 fr. (soit 68 040 fr. par an) au service de l'entreprise Z._.
Cela étant, on ne saurait se fonder sur le montant retenu par l'intimé au titre du revenu sans invalidité, du moment qu'il ne repose sur aucune pièce versée au dossier.
Il faut bien plutôt se référer au montant retenu par la juridiction cantonale, lequel correspond au gain assuré déterminant du point de vue de l'assurance-chômage et équivaut au salaire réalisé par l'intéressé lorsqu'il travaillait au service de X._. Ainsi, compte tenu d'un gain annuel, avant la rechute survenue au mois de mai 1996, de 68 052 fr., on obtient en 1999 un montant revalorisé de 69 077 fr. (cf. la Vie économique 1999/12, annexe p. 28, tableau B 10.2, qui fait état d'une variation de 0,5 % en 1997, 0,7 % en 1998 et 0,3 % en 1999).
c) La comparaison des revenus (69 077 - 55 900 x100 : 69 077) fait apparaître un taux d'invalidité de 19,07 %, si bien que l'on peut considérer, dans le cas d'espèce, que le seuil minimum de 20 % environ pour ouvrir droit à une mesure de reclassement est atteint. En effet, au regard du principe de proportionnalité (cf. <ref-law>), il se justifie de mettre en oeuvre de telles mesures pour un assuré encore jeune et apte à être reclassé (cf.
rapports des docteurs C._ [du 30 mars 1998] et B._ [du 1er octobre 1998]), de façon à éviter que, par suite de son invalidité, son revenu ne soit durablement amputé de 19,07 %. Il incombera donc à l'office intimé, à qui la cause est renvoyée, d'en déterminer les modalités.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis et le jugement du Tribunal des
assurances du canton de Vaud du 27 décembre 2000,
ainsi que la décision de l'Office de l'assurance- invalidité pour le canton de Vaud du 3 mai 2000 sont
annulés.
II. La cause est renvoyée à l'office AI aux fins de déterminer la mesure de reclassement à laquelle le recourant a droit.
III. Il n'est pas perçu de frais de justice.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 7 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :