Faits:
A. A.a Z._ a travaillé pour le compte de la société X._ SA, à C._, du 4 janvier 1971 au 31 octobre 2001, d'abord en qualité de mécanicien puis de superviseur dans le département de réglage optique.
Le 6 octobre 1974, Z._ s'est blessé au genou droit en jouant au football. La Caisse nationale suisse en cas d'accidents (CNA) a pris en charge le cas, ainsi que deux rechutes survenues en juin 2000 et février 2001. Depuis le 14 février 2001, l'assuré n'a pas repris le travail et la CNA a versé des indemnités journalières dès cette date. Le 27 juin 2001, Z._ a été opéré par le docteur E._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, qui a posé une prothèse totale du genou bilatérale. Par la suite, l'assuré a été vu par de nombreux médecins et a séjourné à la Clinique Y._ du 6 novembre au 17 décembre 2002 et du 21 février au 17 mars 2006. Par décision du 5 novembre 2008, entrée en force, la CNA a alloué à l'intéressé une rente fondée sur une incapacité de travail de 43 % dès le 1er octobre 2008.
A.b Entre-temps, le 30 janvier 2002, Z._ a déposé une demande de prestations de l'assurance-invalidité en vue d'une orientation professionnelle et d'un reclassement dans une nouvelle profession. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a recueilli des renseignements économiques et médicaux, dont les rapports médicaux au dossier de la CNA. Parmi ceux-ci, les docteurs I._ et G._, médecins à la Clinique Y._, avaient indiqué à la suite du premier séjour de Z._ dans cette clinique, que la capacité de travail dans l'activité antérieure était entière à partir du 18 décembre 2002 (rapport du 3 janvier 2003). Par décision du 6 juin 2003, l'office AI a mis l'assuré au bénéfice d'une rente entière d'invalidité du 1er février 2002 au 28 février 2003 (trois mois après l'amélioration de l'état de santé constaté à la Clinique Y._. En bref, il a considéré que l'assuré ne présentait plus d'incapacité de travail et, partant, d'invalidité à partir du 1er mars 2003.
A la suite de l'opposition de Z._, l'office AI a soumis l'assuré à un examen bidisciplinaire auprès de son Service médical régional (SMR), où les docteurs P._, spécialiste FMH en rhumatologie, et la doctoresse V._, spécialiste FMH en psychiatrie, ont rendu leur rapport le 18 août 2005. Ces médecins ont diagnostiqué différentes atteintes à la santé et conclu que l'assuré présentait, dans son activité habituelle et une activité adaptée, une incapacité de travail inférieure à 20 % avant une fracture du coude (recte cubitus) gauche le 5 mars 2004; dès cette date et jusqu'au 30 novembre 2004, l'incapacité de travail avait été totale, puis avait baissé à 50 % jusqu'au 10 février 2005 et à 25 % par la suite. Ils ont indiqué qu'après l'ablation du matériel d'ostéosynthèse, la capacité de travail était de 85 %.
Fort de ces conclusions, qui confirmaient selon lui, l'appréciation des médecins de la Clinique Y._, l'office AI a maintenu son point de vue, par décision sur opposition du 1er décembre 2005.
B. Z._ a recouru contre cette décision auprès du Tribunal des assurances du canton de Vaud (aujourd'hui, Cour des assurances sociales du Tribunal cantonal vaudois). Il a produit une expertise rendue le 23 mars 2007 par le docteur A._, spécialiste en chirurgie orthopédique à la demande de la CNA. Pour sa part, la juridiction cantonale a confié une expertise judiciaire au Bureau T._, où les examens et différents tests ont été menés par les docteurs U._, spécialiste FMH en psychiatrie et psychothérapie, B._, spécialiste FMH en rhumatologie et médecine interne, W._, spécialiste FMH en chirurgie orthopédique et M._, spécialiste FMH en neurologie, ainsi que par la psychologue et neuropsychologue FSP N._. Dans leur rapport du 2 décembre 2010, les experts ont retenu pour l'essentiel les atteintes suivantes:
- une aponévrosite plantaire gauche opérée compliquée d'une neuropathie péronière responsable de signes irritatifs persistant à la marche et provoquant des douleurs neuropathiques,
- un trouble statique plantaire occasionnant une hyperkératose qui nécessitait des soins de pédicure en raison d'un risque de mal perforant inhérent à la polyneuropathie sensitive,
- une atteinte cérébelleuse significative rendant la marche instable et provoquant des chutes à répétition dont la gravité était plus évidente à partir de juin 2004 (fracture du cubitus gauche),
- une omarthrose gauche avec arthrose acromio-claviculaire,
- une cervicarthrose évaluée dès 2003, sévère et symptomatique,
- un abus d'alcool avec conséquences hépatique et neuropsychologique,
- un status post prothèse de genou droit et gauche, avec douleurs, instabilité et un syndrome rotulien persistant (à gauche) et massif (à droite).
Pour les experts, l'effet cumulatif de ces différentes atteintes avait entraîné une diminution durable, définitive et partielle de la capacité de travail. Dans l'activité antérieure de l'assuré, les médecins ont retenu une réduction de la capacité de travail de 50 % dès mars 2003; dans une activité adaptée, plus sédentaire, légère, avec alternance de position, ils ont admis que la capacité de travail était entière, mais avec une diminution de rendement de 40 % en raison des troubles cognitifs.
Par jugement du 17 août 2011, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours de Z._ et modifié la décision de l'office AI en ce sens que l'assuré a droit à une rente entière d'invalidité du 1er février 2002 au 30 mai 2003 et à une demi-rente dès le 1er juin 2003 (ch. II du dispositif).
C. Z._ interjette un recours en matière de droit public contre ce jugement. Sous suite de dépens, il demande principalement la réforme de celui-ci, en ce sens que lui soit reconnu le droit à une rente entière d'invalidité dès le 1er février 2002 et pour une durée illimitée; à titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi de la cause aux premiers juges au sens des considérants.
L'office AI a conclu au rejet du recours, alors que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2. 2.1 Compte tenu du dispositif du jugement entrepris et des conclusions du recours (cf. <ref-law>), le litige porte sur le droit du recourant à une rente supérieure à une demi-rente d'invalidité à partir du 1er juin 2003. A cet égard, le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels sur le droit applicable ratione temporis, sur la notion d'invalidité et son évaluation ainsi que sur la valeur probante des rapports médiaux. Il suffit donc d'y renvoyer.
2.2 On rappellera cependant, puisque cela ne semble pas clair pour le recourant (cf. requête d'interprétation du 13 octobre 2011 et décision cantonale du 18 octobre 2011), que le juge examine la légalité des décisions attaquées, en règle générale, d'après l'état de fait existant au moment où la décision administrative litigieuse a été rendue (in casu, le 1er décembre 2005); les faits survenus postérieurement, et qui ont modifié cette situation, doivent en principe faire l'objet d'une nouvelle décision administrative (<ref-ruling> consid. 3.1.1. p. 220; <ref-ruling> consid. 1b p. 366 et les références).
3. En se fondant sur l'expertise de T._, la juridiction cantonale a retenu que le recourant avait été en incapacité totale de travailler de février 2001 à février 2003, mais que son état de santé s'était amélioré à partir de mars 2003, de sorte qu'il disposait alors d'une capacité résiduelle de travail de 50 % dans son ancienne activité et de 60 % dans une activité adaptée (capacité de travail de 100 % avec une baisse de rendement de 40 %). Pour évaluer le taux d'invalidité, les premiers juges ont admis que le recourant était tenu, en raison de son obligation de limiter le dommage, de conserver son ancienne activité à 50 % car le salaire réalisé dans une activité adaptée, simple et répétitive exercée à 60 %, aurait été sensiblement inférieur à celui qu'il pouvait obtenir dans son ancienne activité. Ils ont constaté en conséquence que le taux d'invalidité de l'assuré s'élevait à 50 %, en fonction d'une capacité de travail de 50 % dès mars 2003. Aussi, ont-ils fixé le début du droit à une rente entière d'invalidité au 1er février 2002 (après le délai de carence d'un an, à compter du début de l'incapacité de travail le 14 février 2001), cette prestation devant être remplacée par une demi-rente d'invalidité dès le 1er juin 2003, soit trois mois après l'amélioration de l'état de santé constatée à partir de mars 2003.
4. 4.1 Le recourant reproche tout d'abord à la juridiction cantonale d'avoir motivé son jugement de façon insuffisamment claire. Il ne serait en particulier pas possible de dire si elle a tenu compte de l'évolution de l'état de santé après le 1er décembre 2005, cette lacune relevant d'une absence de motivation et d'un cas d'arbitraire.
4.2 A la lecture de l'expertise de T._ sur laquelle s'est fondée la juridiction cantonale, on doit admettre qu'elle peut prêter le flanc à la critique en raison, par moment, d'un certain manque de structure: les éléments médicaux sont, dans un premier temps (cf. p. 56 ss. de l'expertise) examinés sans réelle systématique chronologique et la liste des diagnostics retenus comporte une énumération des atteintes dont souffrait le recourant au moment de l'expertise, sans précision quant au moment de la survenance des troubles (p. 61 de l'expertise). On constate cependant que l'autorité cantonale de recours s'est fondée essentiellement sur la partie de l'expertise consacrée à la réponse à la question de savoir "Qu'en était-il des troubles lors de la décision de l'OAI du 1er décembre 2005" (p. 62 ss de l'expertise). Les experts y ont exposé, de façon suffisamment claire et systématique, de quelles atteintes à la santé souffrait le recourant au moment de la décision sur opposition et quelles en étaient les répercussions sur sa capacité de travail à ce moment-là. Les constatations de la juridiction cantonale sur l'état de santé de l'assuré, son évolution et ses effets sur la capacité de travail, qui se réfèrent à l'avis des experts, se rapportent donc clairement à la période s'étendant jusqu'à la date du prononcé de la décision administrative litigieuse, de sorte que les griefs du recourant relatifs au défaut de motivation et à l'arbitraire sont mal fondés.
5. 5.1 Le recourant conteste ensuite que son état de santé se soit amélioré en mars 2003 et que sa capacité de travail se soit modifiée entre 2003 et 2005. Ses arguments ne suffisent cependant pas à démontrer que les constatations des premiers juges sur ce point sont manifestement inexactes ou autrement contraire au droit.
5.1.1 En premier lieu, le recourant ne peut rien tirer en sa faveur du rapport du Professeur L._ du 3 décembre 2003 qu'il cite, puisque ce médecin ne s'est pas prononcé sur sa capacité de travail.
Contrairement à ce qu'il prétend ensuite, les experts de T._ ont attesté d'une augmentation de sa capacité de travail à partir de mars 2003, puisqu'ils ont retenu une incapacité totale de travail dans l'activité antérieure depuis 2001 ("dans les mois qui ont précédé l'implantation prothétique"), jusqu'en mars 2003 (p. 66 de l'expertise). A cet égard, on relèvera qu'une amélioration de l'état de santé avait été mise en évidence par les docteurs I._ et G._ de la Clinique Y._, qui avaient conclu à une capacité de travail entière de l'assuré dès le 18 décembre 2002 (rapport du 3 janvier 2003). Les experts de T._ ont cependant indiqué de manière circonstanciée, comme l'ont relevé à juste titre les premiers juges, les raisons pour lesquelles ils ne retenaient qu'une capacité de travail de 50 % dans l'activité exercée habituellement.
5.1.2 Toujours en ce qui concerne l'expertise de T._, le recourant semble reprocher à ses auteurs de n'avoir pas tenu compte de la "cervicarthrose évaluée dès 2003, sévère et symptomatique", ni de l'atteinte neuropsychologique et neurologique due à l'alcool. Ces critiques sont dénuées de fondement, tant il ressort clairement de l'expertise que les médecins de T._ ont pris en considération les atteintes mentionnées (cf. par exemple, p. 62 ss.), à l'inverse, du reste, des médecins du SMR.
5.1.3 En soutenant ensuite qu'il faut aussi tenir compte d'une fibromatose plantaire et d'une polyneuropathie associée à une atteinte cérébelleuse qui le gênaient à la marche, le recourant s'en prend aux constatations de fait de la juridiction cantonale. Il se limite cependant à lui opposer sa propre appréciation des faits, sans dire en quoi celle des premiers juges serait arbitraire, de sorte que sa critique, de nature appellatoire, n'a pas à être examinée plus avant.
5.2 C'est en vain que le recourant se réfère, dans un autre grief, à la décision de la CNA de lui verser des indemnités journalières à 100 % jusqu'au 30 septembre 2008, pour en déduire qu'il aurait droit à une rente entière au moins jusqu'à cette date. Les conditions du droit aux indemnités journalières de l'assurance-accidents (cf. <ref-law>) ne sont en effet pas les mêmes que celles du droit à une rente d'invalidité de l'assurance-invalidité, qui supposent que l'intéressé soit invalide au sens de la LAI.
5.3 Le recourant fait encore valoir qu'il ne serait pas possible de savoir sur quels critères la juridiction cantonale a fixé l'incapacité de travail à 50 %. Cette critique tombe également à faux.
L'autorité cantonale de recours s'est en effet expressément référée dans son jugement (p. 32) à l'expertise de T._, en précisant que les experts avaient expliqué de manière détaillée les raisons qui les avaient amenés à s'écarter de l'avis tant des médecins de la Clinique Y._ que ceux du SMR. Contrairement à ce que prétend le recourant, les experts ont exposé en détail et sans contradiction dans leurs observations l'ensemble des limitations fonctionnelles dont souffrait l'assuré, ainsi que l'incidence de celles-ci sur sa capacité de travail en 2005, dans l'activité antérieure ou dans toute autre activité adaptée. Faute d'élément médical au dossier qui ferait douter des conclusions des médecins de T._, l'appréciation de la juridiction cantonale, qui les a faites siennes pour constater que le recourant avait une capacité de travail de 50 % dans son activité habituelle et de 100 % avec une baisse de rendement de 40 % dans une activité adaptée, n'est pas arbitraire et lie le Tribunal fédéral (consid. 1.2 supra).
6. Le recourant fait également grief aux premiers juges de n'avoir pas pris en compte son âge (de 63 ans en 2011), soit un facteur qui, à lui seul, l'empêcherait de se réadapter ou d'exercer une activité de substitution.
Son argumentation est mal fondée. Les premiers juges ont en effet renoncé à juste titre à examiner la situation du recourant au regard de la jurisprudence sur l'évaluation de l'invalidité d'un assuré proche de l'âge donnant droit à la rente de vieillesse, puisqu'il était âgé de 57 ans au moment où la décision litigieuse a été rendue (le 1er décembre 2005), ce qui ne correspond pas à la limite d'âge à partir de laquelle le Tribunal fédéral admet qu'il peut être plus difficile pour un assuré de se réinsérer sur le marché du travail (cf. arrêts 9C_918/2008 du 28 mai 2009 consid. 4.2.2; 9C_437/2008 du 19 mars 2009 consid. 4 et I 819/04 du 27 mai 2005 consid. 2.2 et les références). C'est en vain que le recourant invoque à cet égard son âge au moment de recourir en instance fédérale, dès lors que cette circonstance n'entre plus dans le cadre temporel dans lequel les faits doivent être pris en compte en l'occurrence (consid. 2.2 supra).
7. 7.1 En ce qui concerne le calcul du taux d'invalidité résultant de l'incapacité de travail ainsi constatée, le recourant reproche à la juridiction cantonale d'avoir admis qu'il avait encore effectivement la possibilité d'exercer son activité antérieure à 50 % et de réaliser un salaire proportionnel au taux d'occupation. Selon lui, le fait qu'il avait été licencié en 2001 excluait toute reprise de cette activité. De plus, compte tenu de la spécificité de son ancien travail, il n'existerait aucune place de travail équivalente en Suisse. Il demande donc que le taux d'invalidité soit fixé en calculant le salaire d'invalide sur la base des salaires déterminés dans l'Enquête suisse sur la structure des salaires (ESS), publiée par l'Office fédéral de la statistique.
7. 7.1 En ce qui concerne le calcul du taux d'invalidité résultant de l'incapacité de travail ainsi constatée, le recourant reproche à la juridiction cantonale d'avoir admis qu'il avait encore effectivement la possibilité d'exercer son activité antérieure à 50 % et de réaliser un salaire proportionnel au taux d'occupation. Selon lui, le fait qu'il avait été licencié en 2001 excluait toute reprise de cette activité. De plus, compte tenu de la spécificité de son ancien travail, il n'existerait aucune place de travail équivalente en Suisse. Il demande donc que le taux d'invalidité soit fixé en calculant le salaire d'invalide sur la base des salaires déterminés dans l'Enquête suisse sur la structure des salaires (ESS), publiée par l'Office fédéral de la statistique.
7.2 7.2.1 Les règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus (prévue à l'<ref-law>), y compris celles concernant l'utilisation de l'ESS, relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit si elle se fonde sur l'expérience générale de la vie. Ainsi, relèvent du droit les questions de savoir si les salaires statistiques de l'ESS sont applicables ou quel tableau statistique est déterminant (<ref-ruling> consid. 3.3 p. 399).
7.2.2 Le revenu d'invalide doit être évalué avant tout en fonction de la situation professionnelle concrète de la personne assurée. Lorsque l'activité exercée après la survenance de l'atteinte à la santé repose sur des rapports de travail particulièrement stables, qu'elle met pleinement en valeur la capacité de travail résiduelle exigible et que le gain obtenu correspond au travail effectivement fourni et ne contient pas d'éléments de salaire social, c'est le revenu effectivement réalisé qui doit être pris en compte pour fixer le revenu d'invalide. En l'absence d'un revenu effectivement réalisé - soit lorsque la personne assurée, après la survenance de l'atteinte à la santé, n'a pas repris d'activité lucrative ou alors aucune activité normalement exigible -, le revenu d'invalide peut être évalué sur la base de salaires fondés sur les données statistiques résultant de l'Enquête suisse sur la structure des salaires (ESS) ou sur les données salariales résultant des descriptions de postes de travail établies par la CNA (<ref-ruling> consid. 5.2 p. 301; <ref-ruling> consid. 4.2.1 p. 475).
7.3 A la suite de son licenciement, le recourant n'avait en l'espèce plus la possibilité d'exercer son activité professionnelle antérieure. Il n'était donc plus à même d'y réaliser effectivement un salaire égal à la moitié de ce qu'il gagnait avant la survenance des atteintes à la santé ayant entraîné une diminution de sa capacité de travail. Dans ces circonstances, il n'était pas possible, au regard des règles jurisprudentielles rappelées ci-avant, de déterminer le salaire d'invalide en tenant compte du revenu tiré de l'ancienne activité professionnelle que l'assuré n'exerçait plus et qu'il ne pouvait plus réaliser en pratique en raison de son licenciement. Même pour prendre en considération l'obligation de l'assuré de diminuer le dommage, il apparaît contraire au droit de retenir un salaire inhérent à un poste de travail dont on sait d'avance que l'assuré ne peut plus l'occuper.
Par conséquent, en admettant que le recourant était encore à même de réaliser dans son activité antérieure un salaire égal à la moitié de celui touché avant la survenance des atteintes à la santé, la juridiction cantonale a violé le droit fédéral et ses considérations sur ce point ne sauraient être suivies.
7.4 Il convient dès lors, en application de la jurisprudence exposée ci-avant (consid. 7.2 supra), de déterminer le salaire après invalidité en se fondant sur les données salariales de l'ESS, le recourant n'ayant pas repris d'activité lucrative depuis la survenance des atteintes à la santé ayant entraîné une diminution de sa capacité de travail.
Compte tenu de la formation du recourant, de ses connaissances et qualifications professionnelles (notamment en tant que chef d'équipe), il y aurait en principe lieu de se référer aux salaires statistiques du niveau de qualification 3 ("connaissances professionnelles spécialisées"). Au regard toutefois des constatations des experts de T._ sur les difficultés de l'assuré à se réadapter dans une nouvelle activité en raison des atteintes à la santé, qui mettent en doute l'aptitude effective de celui-ci à exercer une activité adaptée de niveau de qualification 3, il convient de se fonder sur les salaires de niveau de qualification 4 ("activités simples et répétitives").
Par conséquent, vu les activités de substitution que pourrait exercer le recourant dans une activité légère et adaptée, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives (niveau de qualification 4) dans le secteur privé, en 2002 - année de la naissance du droit à la rente (cf. <ref-ruling>; <ref-ruling>) -, soit 4'557 fr. par mois (ESS 2002, p. 43, TA1). Comme les salaires bruts standardisés tiennent compte d'un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 2002 (41,7 heures; La Vie économique, 10/2009, p. 90, B 9.2), ce montant doit être porté à 4'759 fr. par mois ou 57'008 fr. par an. Compte tenu d'une diminution de rendement de 40 % (cf. supra consid. 5.3), laquelle ne justifie pas d'appliquer un abattement au salaire statistique (arrêt 9C_40/2011 du 1er avril 2011 consid. 2.3.1 et les arrêts cités), on obtient un revenu d'invalide de 34'205 fr. par an.
Ce revenu doit être comparé au revenu sans invalidité retenu par la juridiction cantonale en fonction du questionnaire de l'employeur du 13 mars 2002, soit 6'855 fr. par mois (en 2001) ou 89'115 fr. par an, montant qui correspond, après adaptation à l'évolution des salaires entre 2001 et 2002 (+ 1,8 %; La Vie économique, 10/2009, p. 91, B 10.2), à 90'719 fr. par an.
La comparaison des deux revenus déterminants ([90'719 - 34'305 fr.] x 100 ./. 90'719 fr.) met en évidence un taux d'invalidité de 62 %. En fonction des normes de la LAI sur l'échelonnement de la rente successivement en vigueur depuis le 1er février 2002 et au regard de l'objet du litige devant le Tribunal fédéral (consid. 2.1 supra), le recourant a droit à une rente entière de l'assurance-invalidité du 1er février 2002 au 31 mai 2003, à une demi-rente du 1er juin 2003 au 31 décembre 2003 (<ref-law>, dans sa version en vigueur jusqu'au 31 décembre 2003), puis à un trois quarts de rente à partir du 1er janvier 2004 (<ref-law> dans sa teneur en vigueur du 1er janvier 2004 [4ème révision de la LAI] au 31 décembre 2007). Le jugement entrepris doit être réformé en ce sens, ce qui conduit à l'admission partielle du recours.
8. Compte tenu de l'issue de la procédure, les frais de justice sont répartis par moitié entre le recourant et l'intimé (<ref-law>). Par ailleurs, le recourant a droit à une indemnité de dépens réduite (<ref-law>).
L'issue du litige n'a en revanche pas d'incidence sur la répartition des dépens de première instance, au regard des conclusions du recourant qui demandait à la juridiction cantonale de lui octroyer (au-delà du 28 février 2003) une rente (entière) de l'assurance-invalidité (cf. art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis. Le ch. II du dispositif du jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 17 août 2011 est modifié en ce sens que la décision sur opposition du 1er décembre 2005 rendue par l'Office de l'assurance-invalidité pour le canton de Vaud est réformée en ce sens que le recourant a droit à une rente entière d'invalidité du 1er février au 31 mai 2003, à une demi-rente du 1er juin 2003 au 31 décembre 2003 et à un trois quarts de rente à partir du 1er janvier 2004.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis pour 250 fr. à la charge du recourant et pour 250 fr. à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'000 fr. à titre d'indemnité de dépens pour la procédure fédérale.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mai 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless