Faits:
A. P._, né en 1959 et père de trois enfants, a travaillé en qualité de soudeur en constructions métalliques jusqu'au mois de novembre 2000. Souffrant de lombalgies et d'un état dépressif, il a déposé, le 3 mai 2001, une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI).
Dans le cadre de l'instruction de la demande, l'office AI a notamment recueilli l'avis du médecin traitant, le docteur S._, spécialiste FMH en médecine générale, lequel a diagnostiqué un syndrome douloureux lombaire chronique et des troubles anxieux et dépressifs mixtes, attestant une incapacité de travail totale à compter du 31 mars 2000. Mandaté par l'administration pour effectuer une expertise, le docteur E._, spécialiste FMH en psychiatrie et psychothérapie, a constaté que si l'assuré avait présenté un état dépressif majeur de gravité moyenne justifiant une incapacité de travail totale du 31 mars 2000 au 31 décembre 2001 (évaluation théorique), la situation s'était nettement améliorée depuis 2002; il persistait tout au plus une dysthymie associée à un trouble somatoforme indifférencié provoquant une diminution maximale de la capacité de travail de 20 % (rapport d'expertise du 14 février 2003). Par décision du 10 février 2006, confirmée par décision sur opposition du 10 septembre 2007, l'office AI a alloué une rente entière d'invalidité à l'assuré pour la période du 1er mars 2001 au 31 mars 2002 et nié le droit à une rente au-delà de cette date, le taux d'invalidité n'étant plus que de 20 % à compter du 1er janvier 2002.
B. Saisi d'un recours formé par l'intéressé contre la décision sur opposition, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a confié la réalisation d'une expertise pluridisciplinaire à l'Hôpital X._. Sur le plan somatique, les docteurs I._ et A._, respectivement médecin adjoint et cheffe de clinique auprès de l'Unité de médecine physique et réadapation orthopédique au département de chirurgie de X._, ont posé les diagnostics avec répercussion sur la capacité de travail de syndrome lombo-vertébral chronique non déficitaire et de cervico-brachialgies droites, chroniques. Ils ont retenu une incapacité de travail totale dans l'ancienne profession de soudeur en constructions métalliques; en revanche, l'assuré était capable de travailler à concurrence de 80 %, moyennant une diminution de rendement de 5 à 10 % dans une activité adaptée (rapport du 6 avril 2010). Le docteur N._, spécialiste FMH en psychiatrie et psychothérapie, médecin adjoint agrégé, n'a pour sa part fait état d'aucune pathologie avec ou sans répercussion sur la capacité de travail depuis le 1er janvier 2002, celle-ci étant de 100 % à compter de cette date (rapport du 17 mai 2010). L'office AI a produit une copie d'un rapport du 12 avril 2010 de la section antifraude douanière de la Direction d'arrondissement de Genève, duquel il ressortait que le recourant effectuait en qualité de chauffeur, depuis 2005, des transports de personnes et de marchandises entre la Suisse et le Portugal, contre rétribution. De son côté, l'assuré a versé à la procédure d'autres rapports du docteur S._. Par jugement du 20 mai 2011, le Tribunal cantonal vaudois a débouté l'assuré.
C. P._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut principalement, sous suite de dépens, à l'octroi d'une rente entière d'invalidité pour la période du 1er mars 2001 au 31 janvier 2002 et d'une demi-rente à partir du 1er février 2002, et à ce qu'aucun frais judiciaire ne soit perçu. Il requiert subsidiairement la mise en ?uvre d'une expertise.
Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.

Considérant en droit:
1. Saisi d'un recours en matière de droit public (<ref-law>), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (<ref-law>) et statue sur la base des faits retenus par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (<ref-law>). Il examine en principe seulement les griefs motivés (<ref-law>) et ne peut pas aller au-delà des conclusions des parties (<ref-law>). Le recourant ne peut critiquer la constatation des faits importants pour le sort de l'affaire que si ceux-ci ont été établis en violation du droit ou de façon manifestement inexacte (<ref-law>).
2. Le litige porte sur le droit du recourant à une demi-rente rente d'invalidité à partir du 1er avril 2002 nonobstant les conclusions du recourant, dès lors qu'il convient de partir du principe que celui-ci ne souhaite pas recourir contre un droit qui lui a déjà été octroyé, à savoir une rente entière d'invalidité du 1er mars 2001 au 31 mars 2002. Le jugement attaqué expose correctement les principes jurisprudentiels applicables en l'espèce de sorte qu'il suffit d'y renvoyer.
3. Faisant siennes les conclusions de l'expertise judiciaire au détriment de celles du médecin traitant, l'autorité cantonale de recours a retenu que l'incapacité de travail du recourant était totale du 31 mars 2000 au 31 décembre 2001, celui-ci disposant en revanche dès le 1er janvier 2002 d'une capacité de travail résiduelle de 80 % avec une diminution de rendement de 10 %. En tenant compte d'un abattement de 10 % sur le revenu d'invalide, il est résulté de la comparaison des revenus déterminants un degré d'invalidité arrondi de 36 %, soit un montant inférieur au seuil minimum de 40 % permettant d'ouvrir le droit à une rente d'invalidité.
4. 4.1 Le recourant fait grief à la juridiction cantonale d'avoir accordé pleine valeur probante à l'expertise psychiatrique du docteur N._, alors que l'examen sur lequel elle s'est fondée n'aurait duré que quinze minutes. Il reproche également à l'expert judiciaire de n'avoir eu recours à aucun test et de ne lui avoir posé pratiquement aucune question, le laissant s'exprimer. Selon lui, les premiers juges auraient dû préférer l'avis de son médecin traitant, ou, à tout le moins, ordonner une nouvelle expertise.
4.2 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9). En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant, c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions médicales soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a p. 352; <ref-ruling> consid. 1c p. 160 et les références; arrêt 9C_1023/2008 du 30 juin 2009 consid. 2.1.1).
4.3 Les critiques formulées par le recourant ne suffisent pas à susciter un doute sur la validité de l'expertise du docteur N._, ni à remettre en cause l'appréciation des preuves opérée par l'autorité cantonale de recours. Le rapport de l'expert repose sur une anamnèse détaillée, comprenant les aspects personnels, professionnels et l'historique de la maladie, ainsi que sur un examen clinique complet, contenant une description précise des plaintes et du quotidien de l'assuré. Ses conclusions sont claires, dûment motivées et convaincantes au regard de l'ensemble du dossier médical.
Comme l'ont rappelé à juste titre les premiers juges, la durée d'un examen n'est pas un critère permettant en soi de juger de la valeur d'un rapport médical (cf. arrêt 9C_382/2008 du 22 juillet 2008 consid. 2 et la référence). La juridiction cantonale a en outre expliqué que la valeur probante d'un rapport médical dépendait davantage de savoir si la méthode utilisée par l'expert aboutissait à des conclusions motivées et convaincantes, comme en l'espèce, que du seul facteur de la durée de l'examen, ce qui ne contredit pas les principes jurisprudentiels exposés ci-dessus.
Contrairement à ce que voudrait laisser croire le recourant, le fait que l'expert n'a pas jugé utile de recourir à des tests, relevant leur absence de pertinence dans le cas particulier, ne signifie pas pour autant qu'il n'ait eu recours à aucune méthodologie. Au contraire, on retiendra que l'expert a invité le recourant à préciser ses plaintes, le questionnant sur sa santé psychique; il a par ailleurs relaté les réponses de l'assuré de façon détaillée, tout en les ponctuant de ses propres observations. Dans son ensemble, le rapport litigieux est bien structuré et contient les informations nécessaires à l'appréciation du cas de l'assuré, de sorte qu'il ne peut pas être qualifié de non méthodique. Enfin, en constatant que les tests d'auto-évaluation n'auraient pas permis de dépasser la composante subjective des plaintes, les premiers juges ne se sont pas substitués au docteur N._ et leurs propos ne vont pas à l'encontre des explications fournies par l'expert pour renoncer à la mise en ?uvre de tels tests, même si ces dernières étaient succinctes.
En ce qui concerne l'application des critères de la classification internationale des maladies (CIM-10), le docteur N._ s'y est référé dans la partie "diagnostics" de son rapport, ne retenant toutefois aucun diagnostic, avec ou sans répercussion sur la capacité de travail, dans le cas du recourant, vu l'absence de toute symptomatologie constatée en l'espèce. Dans la partie "appréciation du cas et pronostic", l'expert a en outre discuté les diagnostics précédemment posés par les autres médecins et donné les raisons pour lesquelles il les avait écartés. Dès lors, la juridiction cantonale n'a pas outrepassé les limites de son pouvoir d'appréciation en considérant que l'expert s'était livré à une approche plus scientifique et objective en appréciant les précédents diagnostics sur la base des critères CIM-10.
En ce qui concerne l'application des critères de la classification internationale des maladies (CIM-10), le docteur N._ s'y est référé dans la partie "diagnostics" de son rapport, ne retenant toutefois aucun diagnostic, avec ou sans répercussion sur la capacité de travail, dans le cas du recourant, vu l'absence de toute symptomatologie constatée en l'espèce. Dans la partie "appréciation du cas et pronostic", l'expert a en outre discuté les diagnostics précédemment posés par les autres médecins et donné les raisons pour lesquelles il les avait écartés. Dès lors, la juridiction cantonale n'a pas outrepassé les limites de son pouvoir d'appréciation en considérant que l'expert s'était livré à une approche plus scientifique et objective en appréciant les précédents diagnostics sur la base des critères CIM-10.
4.4 4.4.1 Se prévalant d'une violation de son droit d'être entendu et d'une constatation incomplète des faits, le recourant se plaint du taux d'abattement de 10 % retenu par les premiers juges.
4.4.2 Dans sa détermination du 4 octobre 2010, l'office AI a admis un abattement de 10 % sur le revenu d'invalidité, compte tenu des limitations fonctionnelles et de la restriction d'exercer désormais une activité à temps partiel. Les premiers juges ont relevé qu'une mauvaise maîtrise du français, une formation scolaire rudimentaire et minimale, ainsi que la durée de l'inactivité professionnelle après l'exercice de travaux particulièrement pénibles dès le plus jeune âge, tels que constatés par les experts judiciaires dans leur rapport du 6 avril 2010, auraient justifié de revoir le taux d'abattement établi par l'office AI. Toutefois, au regard des éléments mettant en lumière l'exercice d'une activité lucrative non déclarée (cf. rapport du 17 mai 2010 de l'expert psychiatre et lettre du 12 avril 2010 de la section antifraude douanière du canton de Genève), la juridiction cantonale a retenu que le recourant présentait non seulement une capacité de travail exploitable supérieure à celle alléguée, mais également une faculté d'adaptation au monde du travail. Elle a donc confirmé le taux d'abattement de 10 %.
4.4.3 Que ce soit en instance cantonale ou en instance fédérale, le recourant n'a apporté aucun élément objectif permettant de faire douter des constatations des premiers juges relatives à l'existence d'une activité lucrative non déclarée. Contrairement aux griefs soulevés par l'assuré, l'autorité cantonale de recours a tenu compte de ses arguments, mais ne les a pas jugés pertinents, ceux-ci n'étant au demeurant étayés par aucune pièce. Or, on aurait pu attendre de sa part qu'il recueille par exemple le témoignage des personnes qu'il transportait ou qu'il présente un justificatif des frais liés aux trajets exécutés entre la Suisse et le Portugal, dans la mesure où il soutient que c'était pour rendre service à ses proches qu'il effectuait ces trajets et que la participation financière de ces derniers était uniquement destinée à couvrir les frais de péage, d'essence, et d'amortissement du véhicule. Le recourant n'a par ailleurs fourni aucune explication au sujet du transport de marchandises (cf. rapport du 12 avril 2010), pas plus qu'il n'a justifié la présence de callosités aux mains (cf. rapport d'expertise du 17 mai 2010); à cet égard, on relèvera qu'il importe peu que les activités visées par ces deux pièces ne soient pas les mêmes. Cela étant, sur la base des documents dont elle disposait, la juridiction cantonale était en droit de retenir au degré de vraisemblance requise que le recourant disposait d'une capacité de travail supérieure à celle alléguée, ainsi qu'une certaine faculté d'adaptation, et partant, de confirmer le taux d'abattement admis par l'administration. Pour les mêmes motifs, les facteurs de la nationalité et de l'âge invoqués par le recourant, pour autant qu'ils eussent pu influer sur les perspectives salariales de l'intéressé, ne seront pas pris en considération.
5. Au vu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
6. Vu l'issue du litige, le recourant qui succombe supportera les frais judiciaires afférents à la présente procédure et ne peut prétendre de dépens (art. 66 al. 1, 1ère phrase, et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 26 avril 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen