Faits:
Faits:
A. P._, né en 1951, employé de maison, a été au chômage depuis 1er juin 1996. A la suite d'un accident de la circulation survenu le 13 juin 1996, il subit une fracture-tassement L3. Il fut hospitalisé du 13 au 24 juin 1996 et dut porter un corset pendant trois mois. Son cas a été pris en charge par la Caisse Nationale Suisse d'Assurance en cas d'accidents (CNA). Depuis lors, l'assuré n'a pas repris d'activité professionnelle. Le 1er juillet 1997, il déposa une demande de prestations de l'assurance-invalidité auprès de l'Office AI pour le canton de Vaud (ci-après : OAI).
Dans le cadre de l'instruction, l'OAI requit l'avis des docteurs F._ et B._, respectivement chef de clinique adjoint et médecin assistant dans le service d'orthopédie et de traumatologie de l'appareil moteur de l'hôpital X._, lesquels retinrent une incapacité totale de travail du 13 juin 1996 au 12 février 1997 et de 50 % par la suite (rapport du 8 août 1997). Par ailleurs, l'OAI confia une expertise au Département universitaire de psychiatrie adulte (DUPA). Dans un rapport du 3 mai 1999, les docteurs G._ et L._, médecin associé et médecin assistant, posèrent le diagnostic de syndrome douloureux persistant et d'état dépressif moyen d'intensité moyenne, la capacité de travail dans l'activité exercée précédemment oscillait entre 10 et 20 %. Non convaincu par ces conclusions, l'OAI a requis le docteur S._, spécialiste en psychiatrie, de procéder à une nouvelle expertise. Ce médecin posa selon le DSM IV, les diagnostics suivants: trouble douloureux associé à un facteur psychologique et à une affection médicale générale chronique, d'intensité légère à moyenne (axe I), status post-fracture-tassement de L3, hernie hiatale (axe III), accident professionnel, difficultés d'intégration (axe IV). La capacité de travail était de 50 % depuis la fin 1997 (rapport du 10 octobre 1999, confirmé par la suite).
Dans un projet de décision du 5 novembre 1999, l'OAI informa l'assuré qu'il envisageait de lui octroyer une rente de 50 % dès le 1er juin 1997, soit à l'échéance du délai d'attente d'une année, compte tenu du fait qu'il avait présenté une incapacité de travail totale jusqu'au 12 février 1997 et de 50 % par la suite.
Par deux décisions du 3 novembre 2000, l'OAI alloua à l'assuré une demi-rente d'invalidité du 1er juin 1997 au 31 décembre 1998 et dès le 1er janvier 1999, en regard d'un degré d'invalidité de 51 %.
Par deux décisions du 3 novembre 2000, l'OAI alloua à l'assuré une demi-rente d'invalidité du 1er juin 1997 au 31 décembre 1998 et dès le 1er janvier 1999, en regard d'un degré d'invalidité de 51 %.
B. Par acte du 7 décembre 2000, P._ a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière. Dans le cadre de l'instruction, les premiers juges ont confié un mandat d'expertise au docteur Z._, spécialiste en psychiatrie et psychothérapie (rapport du 17 mars 2004). Par jugement du 9 septembre 2004, le tribunal a réformé les décisions attaquées en ce sens que l'assuré a droit à une rente entière pour la période du 1er juin 1997 au 31 mars 1998.
B. Par acte du 7 décembre 2000, P._ a recouru contre ces décisions devant le Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière. Dans le cadre de l'instruction, les premiers juges ont confié un mandat d'expertise au docteur Z._, spécialiste en psychiatrie et psychothérapie (rapport du 17 mars 2004). Par jugement du 9 septembre 2004, le tribunal a réformé les décisions attaquées en ce sens que l'assuré a droit à une rente entière pour la période du 1er juin 1997 au 31 mars 1998.
C. P._ interjette recours de droit administratif contre ce jugement. A titre principal, il demande au Tribunal fédéral des assurances de constater que son taux d'invalidité est supérieur à 60 % dès le 1er avril 1998. Partant, il conclut à l'octroi d'une rente entière dès le 1er avril 1998 mais et au moins à trois quarts de rente dès le 1er janvier 2004. A titre subsidiaire, il demande le renvoi de la cause à l'administration afin qu'elle fixe le taux d'invalidité pour la période postérieure au 31 mars 1998.
L'OAI conclut à l'annulation du jugement attaqué et au renvoi de la cause à la juridiction cantonale pour qu'elle procède à une reformatio in pejus. Selon lui, certains éléments du dossier donnent à penser que l'on devrait pouvoir raisonnablement exiger de l'assuré le reprise d'une activité adaptée. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.
L'OAI conclut à l'annulation du jugement attaqué et au renvoi de la cause à la juridiction cantonale pour qu'elle procède à une reformatio in pejus. Selon lui, certains éléments du dossier donnent à penser que l'on devrait pouvoir raisonnablement exiger de l'assuré le reprise d'une activité adaptée. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.
D. Pour les suites de son accident, l'assuré est au bénéfice d'une indemnité pour atteinte à l'intégrité de 5 % (4'860 fr.) et d'une rente d'invalidité de 10 %, allouées par la CNA.

Considérant en droit:
Considérant en droit:
1. Bien que l'OAI n'ait pas recouru contre le jugement cantonal dans le délai de recours de trente jours prévu par l'art. 106 al. 1 OJ (en relation avec l'art. 132 OJ), il remet en question le degré d'incapacité de travail de 50 % fixé par l'expert judiciaire sous l'angle psychique. Nonobstant cette circonstance, il convient d'examiner, dans ce contexte, son argumentation relative aux prestations d'assurance litigieuses (cf. art. 132 let. c OJ).
1. Bien que l'OAI n'ait pas recouru contre le jugement cantonal dans le délai de recours de trente jours prévu par l'art. 106 al. 1 OJ (en relation avec l'art. 132 OJ), il remet en question le degré d'incapacité de travail de 50 % fixé par l'expert judiciaire sous l'angle psychique. Nonobstant cette circonstance, il convient d'examiner, dans ce contexte, son argumentation relative aux prestations d'assurance litigieuses (cf. art. 132 let. c OJ).
2. 2.1 En principe, le juge ne s'écarte pas sans motifs impératifs des conclusions d'une expertise médicale judiciaire, la tâche de l'expert étant précisément de mettre ses connaissances spéciales à la disposition de la justice afin de l'éclairer sur les aspects médicaux d'un état de fait donné. Selon la jurisprudence, peut constituer une raison de s'écarter d'une expertise judiciaire le fait que celle-ci contient des contradictions, ou qu'une surexpertise ordonnée par le tribunal en infirme les conclusions de manière convaincante. En outre, lorsque d'autres spécialistes émettent des opinions contraires aptes à mettre sérieusement en doute la pertinence des déductions de l'expert, on ne peut exclure, selon les cas, une interprétation divergente des conclusions de ce dernier par le juge ou, au besoin, une instruction complémentaire sous la forme d'une nouvelle expertise médicale (<ref-ruling> consid. 3b/aa et les références). En ce qui concerne, par ailleurs, la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références).
2.2 Selon le rapport d'expertise du docteur Z._, le recourant souffre d'un trouble dépressif récurrent, épisode actuel léger à moyen (F. 33.00). De l'avis de l'expert, la dépression n'est actuellement pas vraiment sévère et il n'y a pas d'évidence qu'elle l'ait jamais été. Néanmoins, on peut admettre que le cumul de ce trouble avec une atteinte somatique modérée (10 %) et à des douleurs « psychogènes » représente un handicap fonctionnel durable. Celui-ci est dû aux effets de la dépression sur les fonctions « supérieures » : diminution de l'énergie disponible, de la motivation et de la concentration. Ces limitations ont pour conséquence que n'importe quelle activité nécessite davantage d'énergie que dans un état normal. Le caractère chronique et fixé des plaintes laisse peu d'espoir à une amélioration sous l'effet de quelque traitement que ce soit. L'expert conclut qu'un taux d'incapacité de travail de 50 % (dans une activité adaptée à son état physique) semble être une évaluation raisonnable, si l'on tient compte à la fois du handicap, qui est bien réel pour les motifs susmentionnés et du caractère modéré de l'atteinte psychiatrique. La présence des douleurs « psychogènes » ne modifie pas fondamentalement cette appréciation.
2.3 Les conclusions de l'expert judiciaire reposent sur une étude approfondie de l'anamnèse médicale et psychosociale du recourant ainsi que sur des observations cliniques complètes. En particulier, le docteur Z._ a confronté son diagnostic à celui de ses prédécesseurs, les experts du DUPA et le docteur S._. Il a écarté le diagnostic de syndrome douloureux somatoforme persistant, dès lors que la CIM-10 prescrit de ne pas le retenir lorsqu'il existe un trouble dépressif ou une schizophrénie. Par ailleurs, contrairement à ses confrères, il n'a pas mis en évidence d'éléments cliniques et anamnestiques suggérant un véritable trouble de la personnalité. De plus, l'expert ne fonde pas l'incapacité de travail de l'assuré sur des facteurs étrangers à l'invalidité. Pour le reste, le rapport d'expertise ne contient pas de contradictions. Même si l'évaluation de l'incapacité de travail à 50 % paraît généreuse, il n'y a pas de motifs suffisants de s'écarter des conclusions de l'expert judiciaire. Au demeurant, ce taux rejoint celui auquel étaient parvenus les docteurs F._/B._ et S._ sur la base d'autres diagnostics.
2.3 Les conclusions de l'expert judiciaire reposent sur une étude approfondie de l'anamnèse médicale et psychosociale du recourant ainsi que sur des observations cliniques complètes. En particulier, le docteur Z._ a confronté son diagnostic à celui de ses prédécesseurs, les experts du DUPA et le docteur S._. Il a écarté le diagnostic de syndrome douloureux somatoforme persistant, dès lors que la CIM-10 prescrit de ne pas le retenir lorsqu'il existe un trouble dépressif ou une schizophrénie. Par ailleurs, contrairement à ses confrères, il n'a pas mis en évidence d'éléments cliniques et anamnestiques suggérant un véritable trouble de la personnalité. De plus, l'expert ne fonde pas l'incapacité de travail de l'assuré sur des facteurs étrangers à l'invalidité. Pour le reste, le rapport d'expertise ne contient pas de contradictions. Même si l'évaluation de l'incapacité de travail à 50 % paraît généreuse, il n'y a pas de motifs suffisants de s'écarter des conclusions de l'expert judiciaire. Au demeurant, ce taux rejoint celui auquel étaient parvenus les docteurs F._/B._ et S._ sur la base d'autres diagnostics.
3. 3.1 Procédant à la comparaison des gains déterminants, l'office et les premiers juges ont pris en considération un revenu sans invalidité de 45'500 fr. par an (3'500 fr. x 13) correspondant à la rémunération que le recourant a perçue au cours des deux années précédant le début de son chômage (1er juin 1996). Ils ont fixé le revenu d'invalide à 22'425 fr. par an (1'725 fr. x 13) en se fondant sur le salaire moyen résultant de quatre postes susceptibles d'être exercés à 50 % par le recourant au regard de son handicap (emploi dans la production alimentaire, travaux dans les installations électriques, magasinage léger, montage industriel). La comparaison des revenus sans et avec invalidité les a conduit à retenir un taux d'invalidité de 50.7 %, arrondis à 51 % (cf. <ref-ruling>).
3.2 Le recourant - qui ne conteste pas le taux d'incapacité de travail de 50 % - met en cause le revenu sans invalidité retenu par les premier juges. Il fait valoir qu'il avait été licencié et que rien ne permet d'affirmer qu'il n'aurait pas pu obtenir un revenu supérieur par exemple en travaillant dans une usine où les salaires dépassent souvent 4'500 fr. par mois. Il considère que la détermination du revenu sans invalidité sur la base des statistiques salariales prendrait mieux en considération sa situation particulière. Selon lui, le revenu sans invalidité devrait être fixé à 4'643 fr. sur la base de l'Enquête suisse sur la structure des salaires 1998 (après adaptation à l'horaire de travail de 41,8 heures par semaine en vigueur dans les entreprises en Suisse à cette époque). En ce qui concerne le revenu d'invalide, il propose de retenir le montant de 1725 fr. par mois fixé par l'OAI. La comparaison des deux revenus ainsi déterminés donne un taux d'invalidité supérieur à 60 %. Cette argumentation ne saurait être suivie pour les motifs exposés ci-après.
3.3 Pour fixer le revenu sans invalidité, il faut établir ce que l'assuré aurait, au degré de la vraisemblance prépondérante, réellement pu obtenir au moment déterminant s'il n'était pas invalide (RAMA 2000 n° U 400 p. 381 consid. 2a et la référence, 1993 n° U 168 p. 100 consid. 3b et la référence). Le revenu sans invalidité doit être évalué de la manière la plus concrète possible; c'est pourquoi il se déduit en principe du salaire réalisé en dernier lieu par l'assuré avant l'atteinte à la santé, en tenant compte de l'évolution des salaires (cf. arrêts M. du 26 janvier 2006, consid. 4.3 [B. 25/04], et T. du 17 octobre 2003, consid. 5.2.2 [B 80/01], résumé dans REAS 2004 p. 239; Meyer-Blaser, Bundesgesetz über die Invalidenversicherung [IVG], 1997, p. 205-206). Ce n'est qu'en présence de circonstances particulières qu'il peut se justifier qu'on s'en écarte et qu'on recoure aux données statistiques résultant de l'Enquête suisse sur la structure des salaires (ESS) édité par l'Office fédéral de la statistique. Tel sera le cas lorsqu'on ne dispose d'aucun renseignement au sujet de la dernière activité professionnelle de l'assuré ou si le dernier salaire que celui-ci a perçu ne correspond manifestement pas à ce qu'il aurait été en mesure de réaliser, selon toute vraisemblance, en tant que personne valide; par exemple, lorsqu'avant d'être reconnu définitivement incapable de travailler, l'assuré était au chômage ou rencontrait d'ores et déjà des difficultés professionnelles en raison d'une dégradation progressive de son état de santé ou encore percevait une rémunération inférieure aux normes de salaire usuelles. On peut également songer à la situation dans laquelle le poste de travail de l'assuré avant la survenance de l'atteinte à la santé n'existe plus au moment déterminant de l'évaluation de l'invalidité (cf. consid. 5.2.2 de l'arrêt T. précité du 17 octobre 2003 et les références).
Par ailleurs, en ce qui concerne spécifiquement la question de la prise en considération d'un changement hypothétique d'activité, la jurisprudence pose que des possibilités théoriques de développement professionnel ou d'avancement ne doivent être prises en considération que lorsqu'il est très vraisemblable qu'elles seraient advenues. Il convient, à cet égard, d'exiger la preuve d'indices concrets que l'assuré aurait obtenu dans les faits un avancement et une augmentation corrélative de ses revenus, s'il n'était pas devenu invalide. Des indices concrets en faveur de l'évolution de la carrière professionnelle doivent exister, par exemple, lorsque l'employeur a laissé entrevoir une telle perspective d'avancement ou a donné des assurances en ce sens. De simples déclarations d'intention de l'assuré ne suffisent pas. L'intention de progresser sur le plan professionnel doit, bien plus, déjà s'être manifestée par des étapes concrètes, telles que la fréquentation de cours, le début d'études ou la passation d'examens (<ref-ruling>; ATFA 1968 p. 93 consid. 2a; RAMA 2006 n° U 568 p. 67 consid. 2.1.2 in fine et les références).
3.4 Au regard des principes exposés ci-dessus, il n'y a en l'espèce aucune circonstance particulière justifiant que l'on s'écarte du dernier salaire obtenu par le recourant.
Au demeurant, même si l'on se fondait sur les statistiques salariales pour déterminer le revenu sans invalidité, on n'aboutirait pas à un résultat différent. En effet, dans une telle éventualité, il y aurait lieu de fixer le revenu d'invalide sur cette base également (cf. p. ex. arrêts B. du 3 février 2006, [I 640/04] consid. 7 et K. du 14 avril 2005, [I 12/04] consid. 7.2).
Il conviendrait dès lors de déterminer les revenus avec et sans invalidité en se référant aux données statistiques telles qu'elles résultent de l'ESS (<ref-ruling> consid. 3b/aa et bb). Cependant, lorsque les revenus avec et sans invalidité sont basés sur la même tabelle statistique, il est superflu de les chiffrer avec exactitude. En pareil cas, le degré d'invalidité se confond avec celui de l'incapacité de travail, sous réserve d'une éventuelle réduction du revenu d'invalide (arrêt M. du 15 avril 2003 [I 1/03] consid. 5.2). En l'espèce, compte tenu d'une incapacité de travail de 50 % ainsi que d'un abattement de 10 % du revenu d'invalide (voir <ref-ruling> consid. 5), il résulte un degré d'invalidité de 55 % (50 % + [10 % de 50 %]) ouvrant droit à une demi-rente d'invalidité.
Il conviendrait dès lors de déterminer les revenus avec et sans invalidité en se référant aux données statistiques telles qu'elles résultent de l'ESS (<ref-ruling> consid. 3b/aa et bb). Cependant, lorsque les revenus avec et sans invalidité sont basés sur la même tabelle statistique, il est superflu de les chiffrer avec exactitude. En pareil cas, le degré d'invalidité se confond avec celui de l'incapacité de travail, sous réserve d'une éventuelle réduction du revenu d'invalide (arrêt M. du 15 avril 2003 [I 1/03] consid. 5.2). En l'espèce, compte tenu d'une incapacité de travail de 50 % ainsi que d'un abattement de 10 % du revenu d'invalide (voir <ref-ruling> consid. 5), il résulte un degré d'invalidité de 55 % (50 % + [10 % de 50 %]) ouvrant droit à une demi-rente d'invalidité.
4. Sur le vu de ce qui précède, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 24 avril 2006
Au nom du Tribunal fédéral des assurances
p. le Président de la IVe Chambre: La Greffière: