Faits:
A. A.a T._, né en 1952, travaillait comme maçon. Victime d'un accident professionnel le 31 janvier 2000, il a déposé le 16 novembre 2000 auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) une demande tendant à un reclassement dans une nouvelle profession et à un placement.
Dans le cadre de l'instruction de cette demande, l'OAI a recueilli les renseignements usuels auprès du docteur C._, spécialiste en chirurgie orthopédique et médecin traitant. Celui-ci a diagnostiqué une fracture compression plurifragmentaire du plateau tibial externe du genou droit, une fracture du massif des épines non déplacée, une désinsertion de la corne antérieure du ménisque externe, une fracture du tiers proximal de la clavicule gauche, une instabilité sterno-claviculaire gauche, un status après ostéosynthèse de la fracture du plateau tibial externe accompagné d'une greffe osseuse autologue et d'une suture du ménisque externe du genou droit. L'activité habituelle n'était plus exigible, mais une activité moins lourde pouvait être exercée, au moins partiellement (rapport du 27 novembre 2000).
L'OAI a également fait verser au dossier les données médicales recueillies par la CNA, notamment auprès du docteur S._, spécialiste en chirurgie orthopédique, pour qui une activité adaptée était exigible à plein temps (rapports des 19 février 2002 et 30 juin 2003).
Le docteur C._ a fait état d'une rechute de l'accident de janvier 2000 (certificat du 2 novembre 2004). Interpellé par la CNA, le docteur H._, spécialiste en chirurgie orthopédique et médecin traitant, a notamment signalé qu'un dommage permanent était à craindre, sous la forme d'une gonarthrose fémoro-tibiale externe du genou droit et de douleurs sterno-claviculaires gauches résiduelles; il a déclaré que la situation de son patient évoluait de façon stationnaire depuis 2000 (rapport du 4 avril 2005). Invité à se prononcer sur ces observations, le docteur S._ a déclaré que le status décrit par son confrère renseignait d'une fonction globalement superposable à celle constatée lors de son examen de 2003, dont les conclusions demeuraient valables (rapport du 4 mai 2005).
Interrogé par l'OAI, le docteur H._ a indiqué notamment que l'état de santé de l'assuré était stationnaire, et qu'une activité sédentaire demeurait exigible, probablement à temps complet (rapport du 13 mars 2007).
Le docteur A._, spécialiste en radiologie, a diagnostiqué notamment une ostéopénie sévère sur tibia proximal avec une importante raréfaction des travées spongieuses épargnant quelque peu le plateau tibial interne (rapport du 22 mars 2007).
Par décision sur opposition du 13 avril 2007, l'OAI a octroyé à l'assuré une rente entière d'invalidité du 1er janvier 2001 au 30 avril 2002. Au-delà de cette date, plus aucune prestation n'était due, la capacité de travail dans une activité adaptée ayant été entière à compter du 1er février 2002.
L'implantation d'une prothèse du genou droit a eu lieu le 26 avril 2007.
A.b T._ a recouru auprès du Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud) contre la décision sur opposition précitée. Une transaction judiciaire a été conclue entre les parties le 26 mai 2008, qui prévoyait notamment le réexamen d'un droit aux prestations dès le 1er mai 2002, et la cause a été rayée du rôle.
Selon le docteur V._, spécialiste en chirurgie orthopédique auprès de la CNA, l'évolution de l'état de santé de l'assuré après son accident avait été globalement satisfaisante, avant qu'une arthrose n'ait nécessité l'implantation d'une prothèse du genou droit (rapport du 17 juin 2008). Le docteur L._, spécialiste en chirurgie orthopédique et traumatologie de l'appareil locomoteur, a pour sa part constaté que, 15 mois après la pose de la prothèse du genou droit, l'évolution était stagnante, voire défavorable suite à une arthrose post-traumatique (rapport du 14 août 2008).
Par décision du 14 mai 2009, l'OAI a alloué à l'assuré une rente entière de l'assurance-invalidité à partir du 1er mars 2008. En revanche, il a réitéré son refus s'agissant de la période courant de mai 2002 à février 2008.
B. L'assuré a déféré cette décision auprès du Tribunal des assurances du canton de Vaud, concluant au renvoi de la cause à l'OAI pour instruction complémentaire. L'instance cantonale a rejeté le recours par jugement du 15 mars 2011.
C. T._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'OAI pour complément d'instruction et nouvelle décision sur son droit à des prestations à compter du 1er mai 2002.
L'Office de l'assurance-invalidité du canton de Vaud conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité entre le 1er mai 2002 et la fin du mois de février 2008. Le jugement entrepris expose de manière complète les règles légales et les principes jurisprudentiels sur la notion d'invalidité et la valeur probante des rapports médicaux. Il suffit d'y renvoyer.
3. Les premiers juges ont considéré que le recourant n'avait pas droit à une rente pendant la période en question, sa capacité de travail ayant été entière entre février 2002 et mars 2007. Les rapports du docteur S._ revêtaient une pleine valeur probante, contrairement à ceux des docteurs C._ (du 2 novembre 2004) et H._ (du 4 avril 2005), qui n'étaient pas suffisamment étayés. Une ostéopénie sévère avait certes été diagnostiquée par le docteur A._, mais celui-ci ne se prononçait pas sur les répercussions de cette atteinte sur la capacité de travail du recourant; de plus, il ressortait de plusieurs rapports médicaux, en particulier de ceux des docteurs V._ et L._, que ce n'était pas cette affection qui avait provoqué une dégradation durable de l'état de santé du recourant, mais l'implantation d'une prothèse du genou droit.
4. Le recourant reproche à la juridiction cantonale d'avoir procédé à une constatation manifestement inexacte des faits pertinents consécutive à une mauvaise appréciation des preuves. Il fait notamment grief aux premiers juges d'avoir retenu l'avis du docteur S._ quant à sa capacité résiduelle de travail, au détriment de ceux exprimés par les docteurs C._ (rapport du 2 novembre 2004), H._ (rapport du 4 avril 2005) et A._ (rapport du 22 mars 2007); le fait que l'intimé a admis une invalidité totale à partir du mois de mars 2007 prouverait que l'appréciation du docteur S._ était erronée. L'instruction menée par l'intimé serait insuffisante pour retenir qu'il pouvait travailler dans une activité adaptée à un taux de 100 %.
5. A teneur de l'argumentation du recourant, on ne saurait considérer que la juridiction cantonale a ignoré ou, du moins, apprécié de manière manifestement insoutenable l'une ou l'autre circonstance pertinente du cas d'espèce. Les premiers juges n'ont pas fait preuve d'arbitraire en considérant, sur la base du point de vue exprimé par le docteur S._, que le recourant disposait pendant la période considérée d'une capacité de travail entière dans une activité adaptée. Le recourant ne cherche nullement à démontrer, par une argumentation précise et étayée, que les rapports de ce médecin ne répondraient pas aux réquisits jurisprudentiels relatifs à la valeur probante de tels documents ou que les opinions exprimées par les docteurs C._ (rapport du 2 novembre 2004), H._ (rapport du 4 avril 2005) et A._ seraient mieux fondées ou justifieraient, à tout le moins, la mise en oeuvre d'une mesure d'instruction complémentaire. Enfin, l'admission par l'intimé d'une invalidité totale à partir de mars 2008 - et non pas mars 2007 comme l'invoque à tort le recourant, cette dernière date étant celle où l'intimé reconnaît qu'il présente une incapacité de travail totale - ne saurait remettre en question l'évaluation de la capacité de travail à laquelle a procédé le docteur S._, puisque c'est respectivement en 2002, 2003 et 2005 que celui-ci s'est prononcé sur cette question.
6. Le recours est mal fondé. Le recourant, qui succombe, supportera les frais judiciaires afférents à la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 24 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Borella
Le Greffier: Bouverat