Faits: Faits: A. P._, né en 1961, a déposé, le 23 mai 1997, une demande de prestations de l'assurance-invalidité tendant à l'octroi de mesures professionnelles ou d'une rente. Par décision du 24 mars 1998, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a rejeté la demande de prestations, au motif que les renseignements médicaux au dossier n'attestaient aucune incapacité de travail en tant qu'ouvrier. L'assuré ayant recouru contre cette décision, le Tribunal des assurances du canton de Vaud a confirmé la décision entreprise, par jugement du 5 mars 1999. Il a constaté que l'intéressé présentait un trouble du développement psycho-intellectuel, assimilable à une grave dysharmonie évolutive, en raison notamment des difficultés dans les acquisitions scolaires, d'adaptation à certains travaux professionnels ou à s'exprimer en langue française. Ces troubles étaient associés à un développement psycho-intellectuel chaotique et à des troubles au niveau des affects. Démuni sur le plan intellectuel et affectif, l'assuré déployait des défenses caractérielles sur un mode projectif à tendance paranoïde (rapport de la Policlinique psychiatrique, du 16 juillet 1997). Pour la juridiction cantonale, ces éléments, pour perturbateurs qu'ils fussent, ne constituaient toutefois pas les éléments d'une maladie mentale. En effet, l'incapacité du recourant de comprendre et d'agir, due à son faible niveau intellectuel et de scolarisation, étaient des éléments étrangers à l'AI, dont cette dernière n'avait pas à répondre. L'assuré ayant recouru contre cette décision, le Tribunal des assurances du canton de Vaud a confirmé la décision entreprise, par jugement du 5 mars 1999. Il a constaté que l'intéressé présentait un trouble du développement psycho-intellectuel, assimilable à une grave dysharmonie évolutive, en raison notamment des difficultés dans les acquisitions scolaires, d'adaptation à certains travaux professionnels ou à s'exprimer en langue française. Ces troubles étaient associés à un développement psycho-intellectuel chaotique et à des troubles au niveau des affects. Démuni sur le plan intellectuel et affectif, l'assuré déployait des défenses caractérielles sur un mode projectif à tendance paranoïde (rapport de la Policlinique psychiatrique, du 16 juillet 1997). Pour la juridiction cantonale, ces éléments, pour perturbateurs qu'ils fussent, ne constituaient toutefois pas les éléments d'une maladie mentale. En effet, l'incapacité du recourant de comprendre et d'agir, due à son faible niveau intellectuel et de scolarisation, étaient des éléments étrangers à l'AI, dont cette dernière n'avait pas à répondre. B. Le 7 février 2003, P._ a déposé devant le Tribunal cantonal des assurances une demande de révision de son jugement du 5 mars 1999. A l'appui de sa demande, il a fait valoir un nouveau rapport médical, du 17 juillet 2000, du Département de Psychiatrie de X._, lequel a posé le diagnostic de retard mental léger (F 70) et trouble envahissant du développement non spécifié (F 84.9), compte tenu d'un quotient intellectuel (QI) de 55. Par jugement du 22 décembre 2003, le Tribunal cantonal des assurances a rejeté la demande de révision et renvoyé la cause à l'office AI pour qu'il réexamine le cas et rende une nouvelle décision. Par jugement du 22 décembre 2003, le Tribunal cantonal des assurances a rejeté la demande de révision et renvoyé la cause à l'office AI pour qu'il réexamine le cas et rende une nouvelle décision. C. P._ interjette un recours de droit administratif contre le jugement du 22 décembre 2003, dont il demande l'annulation. Il conclut au renvoi de la cause à la juridiction cantonale afin qu'elle révise son jugement du 5 mars 1999 et se prononce à nouveau sur la question de savoir s'il présente ou non une atteinte à la santé invalidante. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'Office AI a conclu au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.