Faits: A. A.a T._, né en 1952, travaillait comme maçon. Victime d'un accident professionnel le 31 janvier 2000, il a déposé le 16 novembre 2000 auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) une demande tendant à un reclassement dans une nouvelle profession et à un placement. Dans le cadre de l'instruction de cette demande, l'OAI a recueilli les renseignements usuels auprès du docteur C._, spécialiste en chirurgie orthopédique et médecin traitant. Celui-ci a diagnostiqué une fracture compression plurifragmentaire du plateau tibial externe du genou droit, une fracture du massif des épines non déplacée, une désinsertion de la corne antérieure du ménisque externe, une fracture du tiers proximal de la clavicule gauche, une instabilité sterno-claviculaire gauche, un status après ostéosynthèse de la fracture du plateau tibial externe accompagné d'une greffe osseuse autologue et d'une suture du ménisque externe du genou droit. L'activité habituelle n'était plus exigible, mais une activité moins lourde pouvait être exercée, au moins partiellement (rapport du 27 novembre 2000). L'OAI a également fait verser au dossier les données médicales recueillies par la CNA, notamment auprès du docteur S._, spécialiste en chirurgie orthopédique, pour qui une activité adaptée était exigible à plein temps (rapports des 19 février 2002 et 30 juin 2003). Le docteur C._ a fait état d'une rechute de l'accident de janvier 2000 (certificat du 2 novembre 2004). Interpellé par la CNA, le docteur H._, spécialiste en chirurgie orthopédique et médecin traitant, a notamment signalé qu'un dommage permanent était à craindre, sous la forme d'une gonarthrose fémoro-tibiale externe du genou droit et de douleurs sterno-claviculaires gauches résiduelles; il a déclaré que la situation de son patient évoluait de façon stationnaire depuis 2000 (rapport du 4 avril 2005). Invité à se prononcer sur ces observations, le docteur S._ a déclaré que le status décrit par son confrère renseignait d'une fonction globalement superposable à celle constatée lors de son examen de 2003, dont les conclusions demeuraient valables (rapport du 4 mai 2005). Interrogé par l'OAI, le docteur H._ a indiqué notamment que l'état de santé de l'assuré était stationnaire, et qu'une activité sédentaire demeurait exigible, probablement à temps complet (rapport du 13 mars 2007). Le docteur A._, spécialiste en radiologie, a diagnostiqué notamment une ostéopénie sévère sur tibia proximal avec une importante raréfaction des travées spongieuses épargnant quelque peu le plateau tibial interne (rapport du 22 mars 2007). Par décision sur opposition du 13 avril 2007, l'OAI a octroyé à l'assuré une rente entière d'invalidité du 1er janvier 2001 au 30 avril 2002. Au-delà de cette date, plus aucune prestation n'était due, la capacité de travail dans une activité adaptée ayant été entière à compter du 1er février 2002. L'implantation d'une prothèse du genou droit a eu lieu le 26 avril 2007. A.b T._ a recouru auprès du Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud) contre la décision sur opposition précitée. Une transaction judiciaire a été conclue entre les parties le 26 mai 2008, qui prévoyait notamment le réexamen d'un droit aux prestations dès le 1er mai 2002, et la cause a été rayée du rôle. Selon le docteur V._, spécialiste en chirurgie orthopédique auprès de la CNA, l'évolution de l'état de santé de l'assuré après son accident avait été globalement satisfaisante, avant qu'une arthrose n'ait nécessité l'implantation d'une prothèse du genou droit (rapport du 17 juin 2008). Le docteur L._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, a pour sa part constaté que, 15 mois après la pose de la prothèse du genou droit, l'évolution était stagnante, voire défavorable suite à une arthrose post-traumatique (rapport du 14 août 2008). Par décision du 14 mai 2009, l'OAI a alloué à l'assuré une rente entière de l'assurance-invalidité à partir du 1er mars 2008. En revanche, il a réitéré son refus s'agissant de la période courant de mai 2002 à février 2008. B. L'assuré a déféré cette décision auprès du Tribunal des assurances du canton de Vaud, concluant au renvoi de la cause à l'OAI pour instruction complémentaire. L'instance cantonale a rejeté le recours par jugement du 15 mars 2011. C. T._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'OAI pour complément d'instruction et nouvelle décision sur son droit à des prestations à compter du 1er mai 2002. L'Office de l'assurance-invalidité du canton de Vaud conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.