Faits :
Faits :
A. M._, magasinier aux ateliers principaux des X._ à Y._, a subi deux accidents du genou droit lors de périodes de service militaire en 1980 et 1982. Les suites de ces deux accidents ont été prises en charge par l'assurance militaire fédérale.
Ensuite de la récidive de douleurs à cette articulation en octobre 1994, liées à une lésion méniscale cliniquement suspecte et à une chondrite multi-compartimentale (rapport du docteur A._, du 6 avril 1995) évoluant défavorablement (dito des 11 et 28 août 1995) et justifiant une incapacité de travail de 50 à 100 % (dito du 3 octobre 1995), l'assuré n'a plus travaillé qu'à raison de 50 %, au service du même employeur, dans une activité allégée qu'il a interrompue au mois de février 1997.
Des prestations, sous forme de rente provisoire, ont été allouées par l'assurance militaire fédérale jusqu'au 30 septembre 1999 (décision du 3 décembre 1999).
Dans l'intervalle, soit le 18 octobre 1995, M._ a déposé en main de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) une demande de prestations.
Après avoir subi une nouvelle arthroscopie avec lyse du ligament patellaire et ostéotomie tibiale proximale de valgisation, en février et septembre 1997, l'assuré a suivi un stage au Centre d'observation professionnelle de l'AI (COPAI), à Yverdon-les-bains, du 23 mars au 17 avril 1998. A l'issue de ce séjour, les spécialistes de la réadaptation professionnelle ont indiqué que le manque de précision et une motricité déficiente empêchent l'assuré de réaliser de manière performante des activités à l'établi dans lesquelles, en termes d'exigibilité, il serait à même d'obtenir des rendements de 70 %. Ils ont également relevé des restrictions importantes aux possibilités de reprise d'une activité professionnelle, chez un assuré taillé pour les gros travaux en extérieur, disposant de capacités d'apprentissage globalement moyennes, manquant de continuité ainsi que de logique, éprouvant beaucoup de peine à organiser son poste de travail, fortement limité dans sa mobilité et qui n'affectionne pas particulièrement les activités sédentaires ni n'envisage de travailler dans un atelier fermé (rapport du COPAI, du 18 mai 1998). Selon le médecin-conseil du centre, toutefois, bien que fournissant des prestations de piètre qualité, l'assuré pourrait travailler à plein temps en position assise dans une activité répétitive légère, avec un rendement qui devrait être proche de la norme (rapport du docteur B._, du 4 mai 1998).
A la suite d'investigations neurologiques complémentaires, les docteurs C._ et E._ (rapport du 23 juillet 1999), du service de neurologie du Centre hospitalier Z._, ont conclu que la résistance des douleurs aux traitements était liée à des mécanismes psychodynamiques, qui avaient été évoqués par les docteurs F._ et G._. Selon ces deux psychiatres, l'assuré, qui n'est pas dans un état dépressif latent, présente en effet une personnalité sensitive, qui offre un terrain de vulnérabilité favorisant l'émergence d'un trouble somatoforme douloureux persistant (rapport du Service de psychiatrie de liaison du Département universitaire de psychiatrie adulte, du 23 juin 1999).
Afin de compléter l'instruction sur le plan psychiatrique, l'OAI a demandé au docteur H._, spécialiste FMH en psychiatrie et psychothérapie, de procéder à une expertise de l'assuré. Dans un rapport du 10 avril 2000, ce médecin, évoquant une forte composante de simulation ou d'exagération intentionnelle des troubles, a conclu à une diminution de la capacité de travail de l'assuré de 33 1/3 % d'un point de vue psychiatrique depuis 1994 en raison d'un trouble douloureux associé à la fois à des facteurs psychologiques (personnalité évitante à traits paranoïaques) et à une affection médicale générale chronique (gonalgies droites), la capacité de travail dans une activité adaptée étant, sur le plan somatique, entière.
Par décision du 27 mars 2001, l'OAI a nié le droit de l'assuré à une rente, compte tenu d'un degré d'invalidité de 31 % résultant des seules affections physiques, le trouble somatoforme douloureux n'étant, selon l'OAI, pas invalidant en l'absence de comorbidité psychiatrique grave.
Par décision du 27 mars 2001, l'OAI a nié le droit de l'assuré à une rente, compte tenu d'un degré d'invalidité de 31 % résultant des seules affections physiques, le trouble somatoforme douloureux n'étant, selon l'OAI, pas invalidant en l'absence de comorbidité psychiatrique grave.
B. Par jugement du 3 janvier 2002, le Tribunal des assurances du canton de Vaud a admis le recours interjeté contre cette décision par l'assuré. Il a annulé cette dernière, retenant un degré d'invalidité de 53 % prenant en considération la perte de gain liée à une incapacité de travail de 33 1/3 % en raison des troubles psychiques et a renvoyé la cause à l'administration pour nouvelle décision au sens des considérants.
B. Par jugement du 3 janvier 2002, le Tribunal des assurances du canton de Vaud a admis le recours interjeté contre cette décision par l'assuré. Il a annulé cette dernière, retenant un degré d'invalidité de 53 % prenant en considération la perte de gain liée à une incapacité de travail de 33 1/3 % en raison des troubles psychiques et a renvoyé la cause à l'administration pour nouvelle décision au sens des considérants.
C. L'OAI interjette recours de droit administratif contre ce jugement en concluant à son annulation. L'assuré représenté par son tuteur - au bénéfice d'une autorisation de plaider de la Justice de paix du cercle d'Yverdon -, lui-même représenté par un avocat, conclut au rejet du recours, sous suite de dépens.
L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1. Le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art.104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (<ref-ruling> consid. 1, 124 V 340 consid. 1b et les références).
1. Le Tribunal fédéral des assurances n'étant pas lié par les motifs que les parties invoquent (art. 114 al. 1 en corrélation avec l'art. 132 OJ), il examine d'office si le jugement attaqué viole des normes de droit public fédéral ou si la juridiction de première instance a commis un excès ou un abus de son pouvoir d'appréciation (art.104 let. a OJ). Il peut ainsi admettre ou rejeter un recours sans égard aux griefs soulevés par le recourant ou aux raisons retenues par le premier juge (<ref-ruling> consid. 1, 124 V 340 consid. 1b et les références).
2. Le jugement entrepris expose correctement les dispositions légales et réglementaires ainsi que les principes jurisprudentiels relatifs à la notion d'invalidité, à son évaluation chez les assurés actifs - en particulier en ce qui concerne les modalités du recours à des données salariales statistiques - ainsi qu'aux conditions du droit à une rente d'invalidité, si bien qu'il suffit d'y renvoyer sur ces différents points.
2. Le jugement entrepris expose correctement les dispositions légales et réglementaires ainsi que les principes jurisprudentiels relatifs à la notion d'invalidité, à son évaluation chez les assurés actifs - en particulier en ce qui concerne les modalités du recours à des données salariales statistiques - ainsi qu'aux conditions du droit à une rente d'invalidité, si bien qu'il suffit d'y renvoyer sur ces différents points.
3. 3.1 La capacité de travail de l'assuré dans une activité adaptée à ses troubles physiques n'est pas contestée. Seul demeure litigieux, en relation avec la capacité de travail, le point de savoir s'il doit être fait abstraction de la diminution de 33 1/3 % liée à l'existence d'un trouble somatoforme douloureux au motif, allégué par le recourant, que ce trouble n'est pas lié à une comorbidité psychiatrique grave.
3.2 Selon la jurisprudence, l'expert médical appelé à se prononcer sur le caractère invalidant de troubles somatoformes doit poser un diagnostic dans le cadre d'une classification reconnue et se prononcer sur le degré de gravité de l'affection. Il doit évaluer le caractère exigible de la reprise par l'assuré d'une activité lucrative. Ce pronostic tiendra compte de divers critères, tels une structure de la personnalité présentant des traits prémorbides, une comorbidité psychiatrique, des affections corporelles chroniques, une perte d'intégration sociale, un éventuel profit tiré de la maladie, le caractère chronique de celle-ci sans rémission durable, une durée de plusieurs années de la maladie avec des symptômes stables ou en évolution, l'échec de traitements conformes aux règles de l'art. Le cumul des critères précités fonde un pronostic défavorable. Enfin, l'expert doit s'exprimer sur le cadre psychosocial de la personne examinée. Au demeurant, la recommandation de refus d'une rente doit également reposer sur différents critères. Au nombre de ceux-ci figurent la divergence entre les douleurs décrites et le comportement observé, l'allégation d'intenses douleurs dont les caractéristiques demeurent vagues, l'absence de demande de soins, les grandes divergences entre les informations fournies par le patient et celles ressortant de l'anamnèse, le fait que des plaintes très démonstratives laissent insensible l'expert, ainsi que l'allégation de lourds handicaps malgré un environnement psychosocial intact (VSI 2000 p. 154 s. consid. 2c).
Si, dans certains cas d'espèce, la jurisprudence a nié l'existence d'une incapacité de travail significative résultant de troubles somatoformes douloureux en l'absence de comorbidité psychiatrique grave (VSI 2000 p. 156), elle a rappelé à diverses reprises que cet arrêt ne peut être interprété en ce sens que des troubles de ce type ne seraient susceptibles de fonder une invalidité au sens de la LAI qu'en relation avec une telle comorbidité (arrêts non publiés Q. du 8 août 2002 [I 783/01] et L. du 6 mai 2002 [I 275/01]). Un tel schématisme, qui procède d'une mauvaise compréhension des motifs de l'arrêt publié dans VSI 2000 p. 156, ne saurait, en effet, s'accorder avec la complexité de la problématique du caractère invalidant des troubles somatoformes douloureux, qui justifie les exigences posées à l'adresse de l'expert par la jurisprudence précitée.
3.3 Selon les constatations de l'expert en psychiatrie, l'assuré présente un trouble douloureux associé à la fois à des facteurs psychologiques (personnalité évitante à traits paranoïaques) et à une affection médicale générale chronique, sous la forme de gonalgies droites justifiant, sur le plan psychiatrique, une incapacité de travail maximale de 33 1/3 %. Ce diagnostic, posé à l'issue de deux entretiens et sur la base de l'étude du dossier ainsi que des résultats de tests psychologiques est étayé d'une discussion approfondie. Les constatations de l'expert mettent notamment en évidence les nombreux traitements médicaux (meniscectomie partielle interne, ponctions, injections intra-articulaires de stéroïdes, physiothérapie, ostéotomie de valgisation du tibia) subis par l'assuré depuis 1994 et demeurés tout au moins partiellement sans effet sur l'affection du genou, qualifiée de chronique. L'ensemble de ces circonstances, même en l'absence de comorbidité psychiatrique avérée, de perte d'intégration sociale et d'un profit tiré de la maladie, n'en cumule pas moins la plupart des critères posés par la jurisprudence précitée. En ce qui concerne les circonstances susceptibles de justifier le refus d'une rente, si l'expert relève des divergences entre les douleurs décrites et le comportement observé et si, en partie tout au moins, les plaintes très démonstratives de l'assuré l'ont apparemment laissé insensible, ces éléments ont été pris en compte dans l'évaluation de la capacité résiduelle de travail, pour laquelle l'expert distingue clairement le facteur constitué par le trouble douloureux des composantes d'exagération et de simulation pure et simple des symptômes. On ne saurait, en conséquence, faire grief aux premiers juges d'avoir retenu les conclusions du docteur H. dont le rapport répond, pour le surplus, à toutes les exigences permettant de lui reconnaître pleine valeur probante (<ref-ruling> consid. 3, 122 V 160 consid 1c). Le recours se révèle infondé sur ce point.
3.3 Selon les constatations de l'expert en psychiatrie, l'assuré présente un trouble douloureux associé à la fois à des facteurs psychologiques (personnalité évitante à traits paranoïaques) et à une affection médicale générale chronique, sous la forme de gonalgies droites justifiant, sur le plan psychiatrique, une incapacité de travail maximale de 33 1/3 %. Ce diagnostic, posé à l'issue de deux entretiens et sur la base de l'étude du dossier ainsi que des résultats de tests psychologiques est étayé d'une discussion approfondie. Les constatations de l'expert mettent notamment en évidence les nombreux traitements médicaux (meniscectomie partielle interne, ponctions, injections intra-articulaires de stéroïdes, physiothérapie, ostéotomie de valgisation du tibia) subis par l'assuré depuis 1994 et demeurés tout au moins partiellement sans effet sur l'affection du genou, qualifiée de chronique. L'ensemble de ces circonstances, même en l'absence de comorbidité psychiatrique avérée, de perte d'intégration sociale et d'un profit tiré de la maladie, n'en cumule pas moins la plupart des critères posés par la jurisprudence précitée. En ce qui concerne les circonstances susceptibles de justifier le refus d'une rente, si l'expert relève des divergences entre les douleurs décrites et le comportement observé et si, en partie tout au moins, les plaintes très démonstratives de l'assuré l'ont apparemment laissé insensible, ces éléments ont été pris en compte dans l'évaluation de la capacité résiduelle de travail, pour laquelle l'expert distingue clairement le facteur constitué par le trouble douloureux des composantes d'exagération et de simulation pure et simple des symptômes. On ne saurait, en conséquence, faire grief aux premiers juges d'avoir retenu les conclusions du docteur H. dont le rapport répond, pour le surplus, à toutes les exigences permettant de lui reconnaître pleine valeur probante (<ref-ruling> consid. 3, 122 V 160 consid 1c). Le recours se révèle infondé sur ce point.
4. 4.1 Le revenu d'invalide de l'intimé a été estimé par les premiers juges à 26'840 fr. Ce montant correspond à la valeur médiane annualisée des revenus d'activités simples et répétitives (Enquête suisse sur la structure des salaires 1998, TA1, niveau de qualification 4) auxquels peut prétendre un homme actif dans le secteur privé (12 x 4'268 = 51'216 fr.), après adaptation à un horaire de travail hebdomadaire de 41,8 heures (53'520 fr.) et à l'évolution des salaires nominaux de 1998 à 1999 (53'680 fr. = 53'520 x 100,3 %), compte tenu d'une capacité de travail de 66 2/3 % (35'786 fr.) et sous déduction d'un abattement maximal de 25 % (35'786 x 75 % = 26'840 fr.).
Le recourant conteste la quotité de 25 % de cette déduction.
4.2 Sur ce point, force est de constater que le seul motif invoqué par les premiers juges - le manque de formation de l'assuré - ne saurait justifier, à lui seul, la déduction maximale de 25 % du revenu statistique. Compte tenu de l'âge de l'intéressé, né en 1954, de sa capacité de travail encore importante, de sa nationalité (suisse), une déduction de 10 % permet de tenir équitablement compte de son manque de formation.
Le revenu d'invalide doit ainsi être arrêté à 32'207 fr. (35'786 x 90 %).
Le revenu d'invalide doit ainsi être arrêté à 32'207 fr. (35'786 x 90 %).
5. Au titre du revenu sans invalidité, les premiers juges ont retenu le montant de 57'992 fr., communiqué - à une date et selon des modalités inconnues - par l'ancien employeur de l'assuré à l'OAI (rapport intermédiaire de l'OAI, du 23 novembre 2000). Dans sa décision du 27 mars 2001, ce dernier avait, pour sa part, évalué le revenu sans invalidité à 69'960 fr., correspondant au gain retenu par l'Assurance militaire fédérale dans sa décision du 3 décembre 1999.
La différence importante existant entre ces deux évaluations (de l'ordre de 20 %) ne permet pas de confirmer, sans une instruction plus approfondie, le revenu sans invalidité retenu par les premiers juges. On ignore en particulier si le revenu communiqué en dernier lieu par l'employeur constitue un revenu net ou brut. Il convient également de relever que, selon les indications fournies par l'employeur de l'intimé en novembre 1995, ce dernier a réalisé, avant la survenance de l'invalidité des revenus (revenu AVS sans prestations d'assurance) de 58'730 fr., 59'728 fr. et 54'750 fr. (respectivement en 1993, 1994 et 1995). Sous réserve du revenu de 1995 - réalisé, apparemment, sur une période de onze mois seulement (treizième salaire en sus) - ces gains annuels apparaissent déjà supérieurs à celui retenu par les premiers juges - pour une période de plusieurs années postérieure - alors que l'on pourrait s'attendre, selon le cours ordinaire des choses, à une certaine stabilité, voire une progression, des revenus obtenus auprès d'un même employeur, dans une même activité. Au demeurant, le revenu mensuel brut de 5'641 fr. 80 (depuis le 1er janvier 1994) indiqué par l'employeur en novembre 1995, versé douze fois, confirmerait plutôt un salaire annuel de l'ordre de 65'000 à 70'000 fr., tel celui retenu par l'assurance militaire.
L'ancien employeur de l'intéressé a certes indiqué que les revenus communiqués en 1995 ne correspondaient pas au rendement de l'assuré. On ignore toutefois concrètement si un salaire social était versé et, le cas échéant depuis quelle date et dans quelle proportion, comme on ignore si le revenu de 57'992 fr. comporte, lui aussi, une composante sociale ou aurait, au contraire, été représentatif du rendement de l'intéressé.
Il convient dès lors de renvoyer la cause à l'administration afin qu'elle détermine à nouveau le revenu sans invalidité de l'intimé, en requérant de son ancien employeur des renseignements plus précis et circonstanciés et qu'elle procède, sur cette base, à une nouvelle évaluation de son invalidité, conformément aux considérants qui précèdent.
Il convient dès lors de renvoyer la cause à l'administration afin qu'elle détermine à nouveau le revenu sans invalidité de l'intimé, en requérant de son ancien employeur des renseignements plus précis et circonstanciés et qu'elle procède, sur cette base, à une nouvelle évaluation de son invalidité, conformément aux considérants qui précèdent.
6. L'intimé a conclu au rejet du recours. N'obtenant pas gain de cause, il ne peut prétendre l'allocation de dépens (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce :
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud, du 3 janvier 2002, ainsi que la décision de l'OAI, du 27 mars 2001, sont annulés et la cause renvoyée à l'administration pour instruction complémentaire et nouvelle décision au sens des considérants.
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud, du 3 janvier 2002, ainsi que la décision de l'OAI, du 27 mars 2001, sont annulés et la cause renvoyée à l'administration pour instruction complémentaire et nouvelle décision au sens des considérants.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 janvier 2003
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: Le Greffier: