Faits:
A. R._ a travaillé en qualité de journaliste. Invoquant les séquelles d'une opération du bras gauche subie en mai 1997, il a déposé le 6 janvier 1999 auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) une demande tendant à l'octroi d'une rente.
Interrogés par l'office AI, les docteurs H._, spécialiste FMH en chirurgie plastique, reconstructive et esthétique et en chirurgie de la main, et L._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, ont estimé que la capacité de travail dans l'activité habituelle s'était stabilisée à 40 % à partir du 15 juillet 1998 (rapports du 22 janvier respectivement du 13 décembre 1999).
Pour compléter ces données, l'office AI a soumis l'assuré à un examen clinique pluridisciplinaire. Les docteurs A._, spécialiste FMH en médecine générale, P._, spécialiste FMH en chirurgie plastique et reconstructive, et F._, spécialiste FMH en médecine interne-rhumatologie, médecins auprès du Service médical régional de l'office AI (ci-après: SMR), ont conclu à une capacité de travail de 80 % dans l'activité habituelle (rapport du 5 août 2002). Le docteur A._ a précisé que celle-ci existait depuis le 15 juillet 1998; entre mai 1997 et cette date, la capacité de travail avait varié entre 0 et 40 % (rapport du 7 août 2002).
Fort de ces éléments, l'office AI a, par projet de décision du 14 août 2002, envisagé de reconnaître à l'assuré le droit à une rente entière pour une durée limitée allant "du 17 mai 1998 jusqu'au au 31 octobre 1998".
R._ s'est opposé à ce projet, estimant que sa capacité de travail ne dépassait pas 40 %. L'administration a alors mis en ?uvre un stage d'évaluation professionnelle, qui s'est déroulé du 24 novembre au 24 décembre 2003. Il en est ressorti que l'intéressé était capable de travailler à plein temps avec un rendement de 80 % dans une activité en position assise ou debout, sans port de charges avec le membre supérieur gauche (rapport du centre d'intégration professionnelle X._ du 19 janvier 2004).
L'administration a versé au dossier le rapport du docteur O._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur et en chirurgie de la main, chargé d'une expertise par l'assurance responsabilité civile de l'hôpital ayant opéré l'assuré en mai 1997. Ce médecin a considéré que la capacité de travail dans l'activité habituelle était de 50 % (expertise du 2 novembre 2004). Il a précisé qu'une activité adaptée, ne sollicitant pas le membre supérieur gauche et permettant des changements de position réguliers, était exigible à 80 % (courrier au SMR du 2 mars 2005).
Afin d'obtenir des renseignements complémentaires, l'office AI a effectué, par le biais de son SMR, un nouvel examen clinique de l'assuré. La doctoresse G._, spécialiste FMH en chirurgie plastique, reconstructive et esthétique et en chirurgie de la main, a considéré que la capacité de travail était de 80 % dans l'activité habituelle et dans toute activité adaptée depuis le 15 juillet 1998 (rapport du 15 juillet 2005).
Par décision du 26 juin 2006, l'office AI a reconnu à R._ le droit à une demi-rente entre le 1er mai et le 31 août 1998 puis à une rente entière entre le 1er septembre et le 31 octobre 1998; aucune prestation n'était due au-delà de cette date, l'incapacité de travail n'étant plus que de 20 % à compter du 15 juillet 1998.
L'assuré a formé opposition contre cette décision. Le 27 mars 2007, il a déposé une nouvelle demande de prestations de l'assurance-invalidité, en raison d'une affection oculaire.
Par décision sur opposition du 14 septembre 2010, l'office AI a confirmé sa décision du 26 juin 2006. Considérant que l'état de santé de l'assuré s'était péjoré sur le plan oculaire, il lui a toutefois reconnu le droit à un quart de rente entre le 1er avril et le 30 juin 2007, puis à une rente entière à compter du 1er juillet 2007.
B. L'assuré a déféré cette décision auprès du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, concluant principalement à l'octroi d'une rente d'invalidité du 1er novembre 1998 au 23 janvier 2007 sur la base d'un degré d'invalidité de 50 %, puis à une rente entière dès le 23 janvier 2007, subsidiairement au renvoi de la cause à l'administration pour instruction complémentaire et nouvelle décision.
Par jugement du 14 juin 2011, le Tribunal cantonal a rejeté le recours.
C. R._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement dont il demande l'annulation. Il conclut principalement à l'octroi d'une rente de l'assurance-invalidité entre le 1er novembre 1998 et le 30 juin 2007, fondée sur un degré d'invalidité de 50 %, et subsidiairement au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouveau jugement au sens des considérants.
L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public réalise les conditions de recevabilité posées par les art. 82 à 85 LTF. Partant, en raison de son caractère subsidiaire, le recours constitutionnel n'est pas recevable (art. 113 LTF).
1.2 Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité entre le 1er novembre 1998 et le 30 juin 2007, plus particulièrement sur la question de savoir dans quelle mesure sa capacité de travail était réduite en raison des lésions de son avant-bras gauche. Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels applicables, en particulier s'agissant de la valeur probante de pièces médicales. Il suffit d'y renvoyer.
3. 3.1 L'instance cantonale a considéré, en se fondant sur l'appréciation de la doctoresse G._, que le recourant présentait une capacité de travail de 80 % dans son activité habituelle - laquelle était adaptée à son état de santé. Les conclusions de ce médecin corroboraient celles auxquelles étaient parvenus ses confrères du SMR en 2002 et correspondaient aux observations faites pendant le stage d'évaluation professionnelle auquel le recourant avait été soumis. Elles s'opposaient certes aux constatations des docteurs H._ et L._. Les rapports de ces derniers étaient toutefois trop succincts et insuffisamment motivés pour bénéficier d'une pleine valeur probante. Quant à l'avis du docteur O._, il n'était pas déterminant, les limitations fonctionnelles retenues par celui-ci laissant à penser qu'il ignorait que le recourant était ambidextre.
3.2 Le recourant se plaint d'une appréciation arbitraire des preuves. C'est à tort que les premiers juges n'auraient pas attribué une pleine valeur probante aux rapports des docteurs H._ et L._. Ils auraient également dû considérer que la capacité de travail retenue par la doctoresse G._ était surévaluée, ne tenant compte ni des douleurs qu'il ressentirait de manière persistante, indépendamment du type d'activité exercée, ni de ses limitations fonctionnelles, ni des contraintes liées au métier de journaliste. En outre l'instance cantonale n'aurait pas dû écarter l'avis du docteur O._: celui-ci n'aurait pas ignoré qu'il était un gaucher contrarié et son rapport remplirait les conditions pour bénéficier d'une pleine force probante. Les premiers juges auraient également violé son droit d'être entendu en renonçant à mettre en ?uvre une expertise. Compte tenu des contradictions existant entre les différents rapports médicaux figurant au dossier, et en l'absence d'éléments qui permettaient de les expliquer, une telle mesure se serait imposée.
3.3 Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 129 I 8 consid. 2.1 p. 9).
3.4 L'appréciation par la doctoresse G._ de la capacité résiduelle de travail du recourant dans l'activité de journaliste, singulièrement son affirmation selon laquelle les seules limitations fonctionnelles consistaient en une diminution de l'habileté et de la rapidité lors de l'utilisation d'un ordinateur, résulte de la prise en considération de toutes les circonstances, non seulement subjectives - le recourant ne signalait aucune limitation dans sa vie courante en dehors du fait qu'il avait cessé d'utiliser son automobile (rapport du 15 juillet 2005 p. 4) - mais surtout objectives. Cette spécialiste a en effet tenu compte de l'aspect symétrique de la musculature des bras, des avant-bras et des mains, qui indiquait une bonne utilisation de la main gauche. Elle a également procédé à des mesures du flexum des doigts dont les résultats ont confirmé ceux obtenus par d'autres médecins et démontré qu'il était possible à l'intéressé d'étendre les deux derniers doigts de sa main gauche même s'il avait pris l'habitude de les maintenir fléchis. Enfin, le médecin du SMR a relevé la présence d'une callosité au dos de cette main, qui ne pouvait résulter que d'un appui répété et en charge ou contre résistance (rapport précité p. 4 s.). En revanche, les conclusions du docteur O._ quant à la capacité de travail du recourant dans l'activité habituelle sont motivées essentiellement par des considérations relatives à l'organisation de son activité professionnelle et à la nécessité pour lui de se reposer l'après-midi, lesquelles sont fondées uniquement sur les déclarations de l'intéressé (rapport du 2 novembre 2004 p. 5 point 4); partant, l'appréciation de ce médecin n'est pas apte à remettre en cause celle de la doctoresse G._. Enfin, le recourant ne cherche pas à démontrer par une argumentation précise, étayée et se référant à la jurisprudence topique, en quoi les constatations des premiers juges concernant la valeur probante des rapports des docteurs H._ et L._ seraient insoutenables. Dès lors, en retenant une capacité résiduelle de travail de 80 % dans l'activité de journaliste, les premiers juges n'ont pas procédé à une appréciation des preuves arbitraire dans son résultat (cf. ATF 129 I 8 consid. 2.1 p. 9) et c'est à bon droit qu'ils ont renoncé, par une appréciation anticipée des preuves, à ordonner une expertise complémentaire (sur l'appréciation anticipée des preuves, voir notamment ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2 p. 428 s.). Cette capacité de travail ne déterminant pas une invalidité justifiant le droit à une rente, c'est à juste titre qu'une telle prestation ne lui a pas été reconnue jusqu'au 1er avril 2007, date à laquelle l'état de santé du recourant s'est péjoré en raison de l'affection oculaire.
4. Il suit de ce qui précède que le recours est mal fondé.
Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 29 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat