Faits: A. P._, né en 1959 et père de trois enfants, a travaillé en qualité de soudeur en constructions métalliques jusqu'au mois de novembre 2000. Souffrant de lombalgies et d'un état dépressif, il a déposé, le 3 mai 2001, une demande de prestations auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI). Dans le cadre de l'instruction de la demande, l'office AI a notamment recueilli l'avis du médecin traitant, le docteur S._, spécialiste FMH en médecine générale, lequel a diagnostiqué un syndrome douloureux lombaire chronique et des troubles anxieux et dépressifs mixtes, attestant une incapacité de travail totale à compter du 31 mars 2000. Mandaté par l'administration pour effectuer une expertise, le docteur E._, spécialiste FMH en psychiatrie et psychothérapie, a constaté que si l'assuré avait présenté un état dépressif majeur de gravité moyenne justifiant une incapacité de travail totale du 31 mars 2000 au 31 décembre 2001 (évaluation théorique), la situation s'était nettement améliorée depuis 2002; il persistait tout au plus une dysthymie associée à un trouble somatoforme indifférencié provoquant une diminution maximale de la capacité de travail de 20 % (rapport d'expertise du 14 février 2003). Par décision du 10 février 2006, confirmée par décision sur opposition du 10 septembre 2007, l'office AI a alloué une rente entière d'invalidité à l'assuré pour la période du 1er mars 2001 au 31 mars 2002 et nié le droit à une rente au-delà de cette date, le taux d'invalidité n'étant plus que de 20 % à compter du 1er janvier 2002. B. Saisi d'un recours formé par l'intéressé contre la décision sur opposition, le Tribunal cantonal du canton de Vaud, Cour des assurances sociales, a confié la réalisation d'une expertise pluridisciplinaire à l'Hôpital X._. Sur le plan somatique, les docteurs I._ et A._, respectivement médecin adjoint et cheffe de clinique auprès de l'Unité de médecine physique et réadapation orthopédique au département de chirurgie de X._, ont posé les diagnostics avec répercussion sur la capacité de travail de syndrome lombo-vertébral chronique non déficitaire et de cervico-brachialgies droites, chroniques. Ils ont retenu une incapacité de travail totale dans l'ancienne profession de soudeur en constructions métalliques; en revanche, l'assuré était capable de travailler à concurrence de 80 %, moyennant une diminution de rendement de 5 à 10 % dans une activité adaptée (rapport du 6 avril 2010). Le docteur N._, spécialiste FMH en psychiatrie et psychothérapie, médecin adjoint agrégé, n'a pour sa part fait état d'aucune pathologie avec ou sans répercussion sur la capacité de travail depuis le 1er janvier 2002, celle-ci étant de 100 % à compter de cette date (rapport du 17 mai 2010). L'office AI a produit une copie d'un rapport du 12 avril 2010 de la section antifraude douanière de la Direction d'arrondissement de Genève, duquel il ressortait que le recourant effectuait en qualité de chauffeur, depuis 2005, des transports de personnes et de marchandises entre la Suisse et le Portugal, contre rétribution. De son côté, l'assuré a versé à la procédure d'autres rapports du docteur S._. Par jugement du 20 mai 2011, le Tribunal cantonal vaudois a débouté l'assuré. C. P._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut principalement, sous suite de dépens, à l'octroi d'une rente entière d'invalidité pour la période du 1er mars 2001 au 31 janvier 2002 et d'une demi-rente à partir du 1er février 2002, et à ce qu'aucun frais judiciaire ne soit perçu. Il requiert subsidiairement la mise en ?uvre d'une expertise. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.