Faits : Faits : A. M._, magasinier aux ateliers principaux des X._ à Y._, a subi deux accidents du genou droit lors de périodes de service militaire en 1980 et 1982. Les suites de ces deux accidents ont été prises en charge par l'assurance militaire fédérale. Ensuite de la récidive de douleurs à cette articulation en octobre 1994, liées à une lésion méniscale cliniquement suspecte et à une chondrite multi-compartimentale (rapport du docteur A._, du 6 avril 1995) évoluant défavorablement (dito des 11 et 28 août 1995) et justifiant une incapacité de travail de 50 à 100 % (dito du 3 octobre 1995), l'assuré n'a plus travaillé qu'à raison de 50 %, au service du même employeur, dans une activité allégée qu'il a interrompue au mois de février 1997. Des prestations, sous forme de rente provisoire, ont été allouées par l'assurance militaire fédérale jusqu'au 30 septembre 1999 (décision du 3 décembre 1999). Dans l'intervalle, soit le 18 octobre 1995, M._ a déposé en main de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) une demande de prestations. Après avoir subi une nouvelle arthroscopie avec lyse du ligament patellaire et ostéotomie tibiale proximale de valgisation, en février et septembre 1997, l'assuré a suivi un stage au Centre d'observation professionnelle de l'AI (COPAI), à Yverdon-les-bains, du 23 mars au 17 avril 1998. A l'issue de ce séjour, les spécialistes de la réadaptation professionnelle ont indiqué que le manque de précision et une motricité déficiente empêchent l'assuré de réaliser de manière performante des activités à l'établi dans lesquelles, en termes d'exigibilité, il serait à même d'obtenir des rendements de 70 %. Ils ont également relevé des restrictions importantes aux possibilités de reprise d'une activité professionnelle, chez un assuré taillé pour les gros travaux en extérieur, disposant de capacités d'apprentissage globalement moyennes, manquant de continuité ainsi que de logique, éprouvant beaucoup de peine à organiser son poste de travail, fortement limité dans sa mobilité et qui n'affectionne pas particulièrement les activités sédentaires ni n'envisage de travailler dans un atelier fermé (rapport du COPAI, du 18 mai 1998). Selon le médecin-conseil du centre, toutefois, bien que fournissant des prestations de piètre qualité, l'assuré pourrait travailler à plein temps en position assise dans une activité répétitive légère, avec un rendement qui devrait être proche de la norme (rapport du docteur B._, du 4 mai 1998). A la suite d'investigations neurologiques complémentaires, les docteurs C._ et E._ (rapport du 23 juillet 1999), du service de neurologie du Centre hospitalier Z._, ont conclu que la résistance des douleurs aux traitements était liée à des mécanismes psychodynamiques, qui avaient été évoqués par les docteurs F._ et G._. Selon ces deux psychiatres, l'assuré, qui n'est pas dans un état dépressif latent, présente en effet une personnalité sensitive, qui offre un terrain de vulnérabilité favorisant l'émergence d'un trouble somatoforme douloureux persistant (rapport du Service de psychiatrie de liaison du Département universitaire de psychiatrie adulte, du 23 juin 1999). Afin de compléter l'instruction sur le plan psychiatrique, l'OAI a demandé au docteur H._, spécialiste FMH en psychiatrie et psychothérapie, de procéder à une expertise de l'assuré. Dans un rapport du 10 avril 2000, ce médecin, évoquant une forte composante de simulation ou d'exagération intentionnelle des troubles, a conclu à une diminution de la capacité de travail de l'assuré de 33 1/3 % d'un point de vue psychiatrique depuis 1994 en raison d'un trouble douloureux associé à la fois à des facteurs psychologiques (personnalité évitante à traits paranoïaques) et à une affection médicale générale chronique (gonalgies droites), la capacité de travail dans une activité adaptée étant, sur le plan somatique, entière. Par décision du 27 mars 2001, l'OAI a nié le droit de l'assuré à une rente, compte tenu d'un degré d'invalidité de 31 % résultant des seules affections physiques, le trouble somatoforme douloureux n'étant, selon l'OAI, pas invalidant en l'absence de comorbidité psychiatrique grave. Par décision du 27 mars 2001, l'OAI a nié le droit de l'assuré à une rente, compte tenu d'un degré d'invalidité de 31 % résultant des seules affections physiques, le trouble somatoforme douloureux n'étant, selon l'OAI, pas invalidant en l'absence de comorbidité psychiatrique grave. B. Par jugement du 3 janvier 2002, le Tribunal des assurances du canton de Vaud a admis le recours interjeté contre cette décision par l'assuré. Il a annulé cette dernière, retenant un degré d'invalidité de 53 % prenant en considération la perte de gain liée à une incapacité de travail de 33 1/3 % en raison des troubles psychiques et a renvoyé la cause à l'administration pour nouvelle décision au sens des considérants. B. Par jugement du 3 janvier 2002, le Tribunal des assurances du canton de Vaud a admis le recours interjeté contre cette décision par l'assuré. Il a annulé cette dernière, retenant un degré d'invalidité de 53 % prenant en considération la perte de gain liée à une incapacité de travail de 33 1/3 % en raison des troubles psychiques et a renvoyé la cause à l'administration pour nouvelle décision au sens des considérants. C. L'OAI interjette recours de droit administratif contre ce jugement en concluant à son annulation. L'assuré représenté par son tuteur - au bénéfice d'une autorisation de plaider de la Justice de paix du cercle d'Yverdon -, lui-même représenté par un avocat, conclut au rejet du recours, sous suite de dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.