Faits:
Faits:
A. P._, né en 1961, a déposé, le 23 mai 1997, une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures professionnelles ou d'une rente.
Par décision du 24 mars 1998, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a rejeté la demande de prestations, au motif que les renseignements médicaux au dossier n'attestaient aucune incapacité de travail en tant qu'ouvrier.
L'assuré ayant recouru contre cette décision, le Tribunal des assurances du canton de Vaud a confirmé la décision entreprise, par jugement du 5 mars 1999. Il a constaté que l'intéressé présentait un trouble du développement psycho-intellectuel, assimilable à une grave dysharmonie évolutive, en raison notamment des difficultés dans les acquisitions scolaires, d'adaptation à certains travaux professionnels ou à s'exprimer en langue française. Ces troubles étaient associés à un développement psycho-intellectuel chaotique et à des troubles au niveau des affects. Démuni sur le plan intellectuel et affectif, l'assuré déployait des défenses caractérielles sur un mode projectif à tendance paranoïde (rapport de la Policlinique psychiatrique, du 16 juillet 1997). Pour la juridiction cantonale, ces éléments, pour perturbateurs qu'ils fussent, ne constituaient toutefois pas les éléments d'une maladie mentale. En effet, l'incapacité du recourant de comprendre et d'agir, due à son faible niveau intellectuel et de scolarisation, étaient des éléments étrangers à l'AI, dont cette dernière n'avait pas à répondre.
L'assuré ayant recouru contre cette décision, le Tribunal des assurances du canton de Vaud a confirmé la décision entreprise, par jugement du 5 mars 1999. Il a constaté que l'intéressé présentait un trouble du développement psycho-intellectuel, assimilable à une grave dysharmonie évolutive, en raison notamment des difficultés dans les acquisitions scolaires, d'adaptation à certains travaux professionnels ou à s'exprimer en langue française. Ces troubles étaient associés à un développement psycho-intellectuel chaotique et à des troubles au niveau des affects. Démuni sur le plan intellectuel et affectif, l'assuré déployait des défenses caractérielles sur un mode projectif à tendance paranoïde (rapport de la Policlinique psychiatrique, du 16 juillet 1997). Pour la juridiction cantonale, ces éléments, pour perturbateurs qu'ils fussent, ne constituaient toutefois pas les éléments d'une maladie mentale. En effet, l'incapacité du recourant de comprendre et d'agir, due à son faible niveau intellectuel et de scolarisation, étaient des éléments étrangers à l'AI, dont cette dernière n'avait pas à répondre.
B. Le 7 février 2003, P._ a déposé devant le Tribunal cantonal des assurances une demande de révision de son jugement du 5 mars 1999. A l'appui de sa demande, il a fait valoir un nouveau rapport médical, du 17 juillet 2000, du Département de Psychiatrie de X._, lequel a posé le diagnostic de retard mental léger (F 70) et trouble envahissant du développement non spécifié (F 84.9), compte tenu d'un quotient intellectuel (QI) de 55.
Par jugement du 22 décembre 2003, le Tribunal cantonal des assurances a rejeté la demande de révision et renvoyé la cause à l'office AI pour qu'il réexamine le cas et rende une nouvelle décision.
Par jugement du 22 décembre 2003, le Tribunal cantonal des assurances a rejeté la demande de révision et renvoyé la cause à l'office AI pour qu'il réexamine le cas et rende une nouvelle décision.
C. P._ interjette un recours de droit administratif contre le jugement du 22 décembre 2003, dont il demande l'annulation. Il conclut au renvoi de la cause à la juridiction cantonale afin qu'elle révise son jugement du 5 mars 1999 et se prononce à nouveau sur la question de savoir s'il présente ou non une atteinte à la santé invalidante. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'Office AI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le droit du recourant d'obtenir la révision du jugement du 5 mars 1999 du Tribunal des assurances du canton de Vaud. La question du délai de révision - qui relève du droit cantonal - n'est pas litigieuse, les premiers juges ayant constaté que le recourant n'avait eu connaissance du motif de révision que le 20 décembre 2002, de sorte qu'il avait agi dans le délai de trois mois prévu à cet effet.
1. Le litige porte sur le droit du recourant d'obtenir la révision du jugement du 5 mars 1999 du Tribunal des assurances du canton de Vaud. La question du délai de révision - qui relève du droit cantonal - n'est pas litigieuse, les premiers juges ayant constaté que le recourant n'avait eu connaissance du motif de révision que le 20 décembre 2002, de sorte qu'il avait agi dans le délai de trois mois prévu à cet effet.
2. 2.1 La procédure devant le tribunal des assurances est réglée par le droit cantonal. Elle doit toutefois satisfaire certaines exigences de droit fédéral, en particulier admettre la possibilité de réviser un jugement du Tribunal cantonal des assurances si des faits ou des moyens de preuve nouveaux sont découverts, ou si un crime ou un délit a influencé le jugement (<ref-law>). Cette exigence correspond à celle que posait l'ancien article 85, alinéa 2, lettre h, LAVS, en relation avec l'ancien article 69 LAI [RO 1959 p. 875], avant l'entrée en vigueur de la LPGA (cf. ch. 7 et 8 de l'annexe à la LPGA).
2.2 La notion de faits ou moyens de preuve nouveaux s'apprécie de la même manière en cas de révision (procédurale) d'une décision administrative (<ref-law>), de révision d'un jugement cantonal (<ref-law>) ou de révision d'un arrêt fondée sur l'article 137 lettre b OJ (cf. arrêt D. du 28 avril 2005 [I 183/04], consid. 2.2 et les références).
Sont «nouveaux» au sens de ces dispositions, les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence. En outre, les faits nouveaux doivent être importants, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte. Les preuves, quant à elles, doivent servir à prouver soit les faits nouveaux importants qui motivent la révision, soit des faits qui étaient certes connus lors de la procédure précédente, mais qui n'avaient pas pu être prouvés, au détriment du requérant. Dans ce contexte, le moyen de preuve ne doit pas servir à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'une nouvelle expertise donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs. Pour justifier la révision d'une décision, il ne suffit pas que l'expert tire ultérieurement, des faits connus au moment du jugement principal, d'autres conclusions que le tribunal (<ref-ruling> consid. 5b et les références).
Sont «nouveaux» au sens de ces dispositions, les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence. En outre, les faits nouveaux doivent être importants, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte. Les preuves, quant à elles, doivent servir à prouver soit les faits nouveaux importants qui motivent la révision, soit des faits qui étaient certes connus lors de la procédure précédente, mais qui n'avaient pas pu être prouvés, au détriment du requérant. Dans ce contexte, le moyen de preuve ne doit pas servir à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'une nouvelle expertise donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs. Pour justifier la révision d'une décision, il ne suffit pas que l'expert tire ultérieurement, des faits connus au moment du jugement principal, d'autres conclusions que le tribunal (<ref-ruling> consid. 5b et les références).
3. 3.1 La juridiction cantonale a considéré, pour l'essentiel, que les fortes limitations intellectuelles de l'assuré et la pauvreté de ses ressources mentales, établies par le Département de Psychiatrie de X._ dans son rapport du 17 juillet 2000, étaient déjà connues au moment où elle a rendu son jugement du 5 mars 1999, quand bien même la quantification exacte du QI du recourant n'était pas connue. Par conséquent, en l'absence d'un fait nouveau établi par l'expertise du 17 juillet 2000, il n'y avait pas lieu de réviser le jugement du 5 mars 1999.
3.2 Dans leur rapport du 17 juillet 2000, les médecins du Département de Psychiatrie de X._ ont complété le rapport établi le 16 juillet 1997 par un test du QI du recourant. Les médecins ont estimé que le résultat obtenu, soit 55, représentait une performance dans la limite inférieure de la norme pour une atteinte type «débilité légère», laquelle ouvrait droit à des prestations de l'assurance-invalidité.
Tant l'administration que les premiers juges ont méconnu, à l'époque, l'existence de ce retard mental. Se référant au chiffre 1020 de la Circulaire de l'OFAS concernant l'invalidité et l'impotence, laquelle prévoyait qu'un trouble mental caractérisé par un QI inférieur à 75 pouvait avoir des effets négatifs sur la capacité de gain, les premiers juges ont implicitement considéré, alors, que cette hypothèse n'était pas remplie. Ils ont estimé que l'incapacité du recourant de comprendre et d'agir, due à son faible niveau intellectuel et de scolarisation, constituait un élément étranger à l'AI. En 2003, les juges connaissaient désormais la quantification exacte du QI du recourant et le fait qu'elle pouvait avoir un caractère invalidant (voir p. ex. arrêt J. du 28 août 2002, [I 617/01], Z. du 2 mai 2002, [I 373/01]), de sorte que cette situation aurait dû les amener à admettre que leur appréciation émise le 5 mars 1999 l'avait été dans l'ignorance de circonstances essentielles ou de preuves à leur sujet. Le rapport médical du Département de Psychiatrie de X._ établit clairement que, contrairement à ce que laissaient supposer les faits connus et retenus alors, le recourant était atteint d'une débilité légère, propre à entraver sa capacité de gain. En cela, il constitue un fait nouveau et important. Au moment de la procédure principale, ce fait n'était pas connu du recourant et ne pouvait pas non plus l'être en l'absence de toute investigation sur ce point.
3.3 Au vu de ce qui précède, force est d'admettre qu'il existait en l'occurrence un motif de révision. Il convient par conséquent de renvoyer la cause à la juridiction cantonale, laquelle statuera à nouveau sur la demande de révision du recourant.
3.3 Au vu de ce qui précède, force est d'admettre qu'il existait en l'occurrence un motif de révision. Il convient par conséquent de renvoyer la cause à la juridiction cantonale, laquelle statuera à nouveau sur la demande de révision du recourant.
4. La procédure est onéreuse (art. 134 OJ a contrario). Les frais judiciaires sont à la charge de l'office intimé, qui succombe (art. 156 al. 1 en corrélation avec l'art. 135 OJ). Dans cette mesure, la requête d'assistance judiciaire du recourant est sans objet.
Le recourant obtient gain de cause, de sorte qu'il a droit à une indemnité pour ses dépens à charge de l'intimée (art. 159 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis en ce sens que le jugement en révision du Tribunal des assurances du canton de Vaud, du 22 décembre 2003, est annulé, la cause lui étant renvoyée pour nouveau jugement au sens des considérants.
1. Le recours est admis en ce sens que le jugement en révision du Tribunal des assurances du canton de Vaud, du 22 décembre 2003, est annulé, la cause lui étant renvoyée pour nouveau jugement au sens des considérants.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge de l'intimé.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 1'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
3. L'intimé versera au recourant la somme de 1'500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 décembre 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: p. la Greffière: