Faits:
Faits:
A. S._, né en 1945, sans formation professionnelle, a travaillé en dernier lieu en qualité d'aide-magasinier. Le 12 mai 1999, il a déposé une demande de prestations de l'assurance-invalidité, sous la forme d'une rente. Il indiquait être en incapacité de travail depuis septembre 1998 en raison d'une atteinte au genou droit.
Le 11 octobre 1999, l'assuré a subi une arthroplastie totale du genou droit. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a recueilli l'avis du docteur F._, médecin traitant de l'assuré. Dans son rapport du 4 janvier 2001, ce dernier a retenu le diagnostic de gonalgie droite sur gonarthrose externe et de status post exérèse méniscale externe. Il a estimé qu'un travail adapté en position assise ne sollicitant pas le genou pouvait sans autre limitation être exigible à 100 %.
Dans un rapport du 25 janvier 2001, le docteur P._, spécialiste en médecine interne, a conclu qu'en raison de diverses affections (céphalées, douleurs du genou droit opéré et troubles de l'humeur), le recourant était définitivement incapable d'assumer une quelconque activité lucrative. Plus loin dans son rapport, il a précisé que l'incapacité de travail était surtout due au problème orthopédique.
L'OAI a en outre demandé l'avis du docteur B._, chef de clinique adjoint de l'Hôpital X._. Ce médecin a constaté que l'évolution de l'état de santé de l'assuré était très favorable. La capacité de travail de l'assuré dans son ancienne activité était nulle; en revanche, elle était entière dans une activité sans déplacement et sans port de charge important (cf. rapport du 28 janvier 2002). Le 12 mars 2002, le docteur B._ a précisé que l'assuré avait une capacité de travail de 100 % dans une activité adaptée depuis le 1er mars 2000 et qu'il ne devait pas porter de charges dépassant 10 kg et, occasionnellement, 15 kg.
L'assuré a en outre été examiné par le docteur G._, spécialiste FMH en psychiatrie et psychothérapie. Dans son expertise du 19 juillet 2002, l'expert a conclu à l'absence de pathologie psychiatrique invalidante et à une capacité de travail entière sur le plan psychiatrique depuis septembre 1998.
Se fondant sur l'ensemble de la documentation médicale se trouvant au dossier, la doctoresse M._, médecin-conseil auprès du Service médical régional de l'AI (SMR), a retenu une capacité de travail totale dans une activité adaptée à partir du 1er mars 2000 (cf. rapport du 31 juillet 2002).
Le 26 novembre 2002, l'OAI a soumis un projet d'acceptation de rente à l'assuré, dans lequel il faisait part de son intention de lui allouer une rente entière d'invalidité à partir du 1er septembre 1999 jusqu'au 31 mars 2000, fondée sur un degré d'invalidité de 100 %. Au-delà de cette date, l'OAI a estimé qu'une capacité de travail de 100 % était raisonnablement exigible dans un activité adaptée.
Le 21 février 2003, l'assuré a versé deux rapports médicaux au dossier, l'un émanant du docteur P._, du 27 janvier 2003, et l'autre du docteur E._, spécialiste FMH en neurologie, du 14 février 2001. Il a par ailleurs sollicité une nouvelle expertise médicale. Par décision du 12 septembre 2003, l'OAI a alloué à S._ une rente entière d'invalidité du 1er septembre 1999 au 31 mars 2000.
L'assuré a formé une opposition que l'OAI a partiellement admise en allouant une rente entière d'invalidité du 1er septembre 1999 au 31 mai 2000 (décision sur opposition du 5 juillet 2004).
L'assuré a formé une opposition que l'OAI a partiellement admise en allouant une rente entière d'invalidité du 1er septembre 1999 au 31 mai 2000 (décision sur opposition du 5 juillet 2004).
B. Par jugement du 23 mars 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré qui contestait la suppression de sa rente à partir du 1er juin 2000.
B. Par jugement du 23 mars 2005, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré qui contestait la suppression de sa rente à partir du 1er juin 2000.
C. S._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de dépens, principalement au maintien de sa rente entière d'invalidité après le 31 mai 2000 et, subsidiairement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction et nouveau jugement.
L'office intimé conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le jugement entrepris porte sur des prestations de l'assurance-invalidité. Selon l'art. 132 al. 1 OJ dans sa version selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI (en vigueur depuis le 1er juillet 2006), dans une procédure concernant l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances peut aussi examiner l'inopportunité de la décision attaquée et n'est pas lié par la constatation de l'état de fait de l'autorité cantonale de recours. En vertu de l'art. 132 al. 2 OJ, ces dérogations ne sont cependant pas applicables lorsque la décision qui fait l'objet d'un recours concerne les prestations de l'assurance-invalidité. Selon le ch. II let. c de la loi fédérale du 16 décembre 2005, l'ancien droit s'applique aux recours pendants devant le Tribunal fédéral des assurances au moment de l'entrée en vigueur de la modification. Dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, son pouvoir d'examen résulte de l'art. 132 al. 1 OJ, dont la teneur correspond à celle du nouvel al. 1.
1. Le jugement entrepris porte sur des prestations de l'assurance-invalidité. Selon l'art. 132 al. 1 OJ dans sa version selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI (en vigueur depuis le 1er juillet 2006), dans une procédure concernant l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances peut aussi examiner l'inopportunité de la décision attaquée et n'est pas lié par la constatation de l'état de fait de l'autorité cantonale de recours. En vertu de l'art. 132 al. 2 OJ, ces dérogations ne sont cependant pas applicables lorsque la décision qui fait l'objet d'un recours concerne les prestations de l'assurance-invalidité. Selon le ch. II let. c de la loi fédérale du 16 décembre 2005, l'ancien droit s'applique aux recours pendants devant le Tribunal fédéral des assurances au moment de l'entrée en vigueur de la modification. Dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, son pouvoir d'examen résulte de l'art. 132 al. 1 OJ, dont la teneur correspond à celle du nouvel al. 1.
2. 2.1 Le litige porte sur la suppression, à partir du 1er juin 2000, de la rente entière d'invalidité allouée jusque-là au recourant.
2.2 Les premiers juges ont correctement exposé les dispositions légales et la jurisprudence applicable au cas, de sorte qu'il suffit d'y renvoyer. Il y a néanmoins lieu d'ajouter que, selon la jurisprudence, une rente d'invalidité allouée à titre temporaire suppose que soient réunies les conditions de la révision - au sens de l'art. 41 aLAI, respectivement 17 LPGA - au moment de sa suppression (<ref-ruling> sv. consid. 2 et les références).
2.2 Les premiers juges ont correctement exposé les dispositions légales et la jurisprudence applicable au cas, de sorte qu'il suffit d'y renvoyer. Il y a néanmoins lieu d'ajouter que, selon la jurisprudence, une rente d'invalidité allouée à titre temporaire suppose que soient réunies les conditions de la révision - au sens de l'art. 41 aLAI, respectivement 17 LPGA - au moment de sa suppression (<ref-ruling> sv. consid. 2 et les références).
3. 3.1 Pour l'essentiel, le recourant reproche aux premiers juges d'avoir écarté les conclusions contenues dans les rapports du docteur P._, des 25 janvier 2001 et 27 janvier 2003. Par ailleurs, il réitère sa demande de mise en oeuvre d'une expertise médicale.
3.2 Dans son rapport du 27 janvier 2003, le docteur P._ constate que le rapport de l'Hôpital X._ ne parle que de la pathologie du genou, opérée avec succès. Il affirme ensuite être d'accord avec les conclusions de l'expertise psychiatrique du docteur G._, selon lesquelles il n'existe pas de maladie psychique invalidante. En revanche, sur le plan somatique, le docteur P._ avance que l'assuré souffre tout de même de maladies graves qui, même si elles ne sont pas constamment présentes, justifient une invalidité complète. Il cite une maladie coronarienne qui s'est manifestée par un infarctus en 1993, un cancer de la vessie nécessitant plusieurs interventions, des céphalées parfois intenses qui étaient, pendant de longues périodes, invalidantes. A cet égard, il se réfère au rapport du docteur E._, du 14 février 2001.
3.3 Selon le docteur E._, l'examen neurologique est normal, en dehors de troubles marqués de la statique cervicale et de contractures musculaires aussi bien à la jonction cervico-occipitale qu'à la ceinture scapulaire. Ce praticien ne se prononce en revanche pas sur la capacité de travail du recourant. Il précise néanmoins que le recourant présente des céphalées depuis plus de vingt ans, dont le caractère ne s'est jamais modifié. Lorsque le recourant fut atteint d'un carcinome de la vessie, en 1992, il a été en arrêt de travail pendant une dizaine de jours à la suite d'une résection endoscopique avant de reprendre son activité lucrative à 100 % (cf. anamnèse de l'expertise psychiatrique, p. 3). Depuis lors, aucun signe de récidive n'a été signalé, le docteur I._, spécialiste FMH en urologie, ayant conclu à l'absence de contrôles endoscopiques systématiques à l'avenir (cf. rapport du 15 mars 1999). En 1993, le recourant a été victime d'un infarctus, lequel a entraîné un arrêt de travail d'un mois et demi. Le recourant a ensuite pu reprendre une activité en qualité d'aide-magasinier à plein temps et ce, jusqu'en septembre 1998. A partir de cette date, c'est l'affection de son genou droit qui l'a amené à cesser son activité lucrative. Il en découle que ni les céphalées, ni le cancer de la vessie, ni l'infarctus du myocarde n'ont laissé subsisté des séquelles invalidantes, le recourant ayant toujours pu continuer l'exercice de son activité lucrative à 100 %.
3.4 C'est par conséquent à juste titre que les premiers juges ont écarté l'avis du docteur P._ et se sont ralliés aux avis concordants et suffisamment clairs des médecins F._, B._ et M._, selon lesquels une capacité de travail de 100 % était exigible de la part de l'assuré dans une activité adaptée.
Au vu de ce qui précède, la demande du recourant visant la mise en oeuvre d'une expertise médicale supplémentaire apparaît dès lors superflue (<ref-ruling> consid. 4a).
Au vu de ce qui précède, la demande du recourant visant la mise en oeuvre d'une expertise médicale supplémentaire apparaît dès lors superflue (<ref-ruling> consid. 4a).
4. Dans son calcul du degré d'invalidité du recourant, l'OAI a retenu un salaire d'invalide de 56'415 fr. et un revenu d'assuré valide de 70'000 fr. La comparaison de ces revenus, lesquels ne sont ni critiqués ni critiquables, aboutit à un taux de 19,40 %, ce qui est insuffisant pour ouvrir le droit à une rente d'invalidité. C'est dès lors à bon droit que l'administration et la juridiction cantonale ont suprimé à l'assuré sa rente d'invalidité à partir du 1er juin 2000. A cette date en effet, son degré d'invalidité était passé de 100 % à 19,40 % depuis trois mois, ce qui constitue un changement important des circonstances propre à justifier la révision du droit (art. 41 aLAI et 17 LPGA en lien avec l'<ref-law>). Mal fondé, le recours doit être rejeté.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 26 septembre 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: