Faits:
A. G._, né en 1948, travaillait en qualité de directeur de l'entreprise X._ SA, à B._, dont il était également président du conseil d'administration. En sa qualité d'employé, il était assuré au titre de la prévoyance professionnelle par la Caisse de retraite professionnelle de l'Industrie vaudoise de la construction (ci-après : la caisse).
Le 12 février 2008, G._ s'est adressé à la caisse pour connaître les conditions auxquelles il pourrait bénéficier d'une rente transitoire de la prévoyance professionnelle. Par lettre du 19 février 2008, la caisse l'a informé qu'elle pouvait lui verser, dès le 1er octobre 2008, une rente transitoire d'un « montant approximatif » de 4'338 fr. par mois, calculée sur la base du salaire AVS 2006 qui s'élevait à 68'700 fr. A ce courrier, étaient joints, un questionnaire pour l'obtention de la rente transitoire et un résumé des conditions d'octroi de celle-ci.
Le 25 février 2008, G._ a rempli le questionnaire en manifestant son souhait de bénéficier d'une rente transitoire depuis le 1er octobre 2008 et en faisant état d'un salaire mensuel de 7'500 fr. La caisse a pris acte de cette demande le 4 mars 2008.
Par « décision » du 7 octobre 2008, la caisse a fixé la rente transitoire à 4'462 fr. par mois dès le 1er octobre 2008, en se fondant sur le salaire AVS déclaré en 2006, soit 68'700 fr., auquel ont été ajoutées les adaptations de salaire prévues par la Convention collective de travail de la construction (gros ?uvre) représentant 150 fr. par mois pour 2007 et 2008. Ainsi, le salaire annuel déterminant s'élevait à 70'650 fr.
B. Le 27 octobre 2008, G._ a actionné la caisse en demandant le versement d'une rente mensuelle de 5'350 fr. depuis le 1er octobre 2008 jusqu'à l'âge de 65 ans révolus.
Par jugement du 24 mars 2011, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud a rejeté l'action.
C. G._ interjette un recours en matière de droit public contre ce jugement. Il conclut, sous suite de frais et dépens, à son annulation et reprend les conclusions retenues en instance cantonale.
La Caisse de retraite professionnelle de l'Industrie vaudoise de la construction a confirmé sa position. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente ; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Est litigieuse la question du montant de la rente transitoire auquel le recourant peut prétendre de la part de l'intimée. A cet égard, le jugement entrepris expose correctement les principes applicables à l'interprétation des contrats de prévoyance et la jurisprudence s'y rapportant. Il suffit d'y renvoyer.
3. La juridiction cantonale a considéré qu'en application de l'art. 8 al. 1 de l'avenant au règlement concernant le « Fonds de la rente transitoire » (ci-après : le règlement), le recourant avait droit à une rente mensuelle de 85 % du dernier salaire mensuel moyen perçu dans les douze derniers mois. Le Conseil de fondation n'ayant pas fait usage de la possibilité que lui donnait l'art. 8 al. 2 du règlement de définir des modalités de calcul du salaire mensuel moyen, la juridiction cantonale a retenu un salaire mensuel moyen de 7'375 fr., ce qui conduit, en tenant compte du plafonnement de la rente transitoire à 5'350 fr., à l'octroi de la rente maximale. Elle a toutefois estimé que le recourant ne pouvait pas prétendre à ce montant, car le règlement (art. 6) ne prévoyait qu'un droit à une rente transitoire trois ans avant l'âge de la retraite selon l'AVS et que l'allongement de ce droit à 60 mois avait eu lieu en application de la Convention collective de travail pour la retraite anticipée dans le secteur principal de la construction (CCT RA), qui excluait son application aux cadres dirigeants. Le recourant ne pouvait donc pas se prévaloir d'un droit à une rente transitoire sur 60 mois. En accordant une rente transitoire de 4'462 fr. sur 60 mois, la caisse versera un montant global supérieur à celui auquel le recourant pouvait prétendre, à savoir 36 mois à 5'350 fr. La juridiction cantonale a enfin nié au recourant la possibilité de se prévaloir de sa bonne foi en se fondant sur les garanties données par l'intimée. Elle a considéré que les renseignements fournis par celle-ci étaient contradictoires et qu'en conséquence le recourant ne pouvait pas s'y fier sans demander des éclaircissements. Dans ces conditions, aucune promesse concrète d'obtenir une rente de 5'350 fr. n'avait été faite par la caisse au recourant.
4. Le recourant conteste la manière de voir de la juridiction cantonale. Il estime que, dans sa lettre du 19 février 2008, la caisse lui a donné une garantie de pouvoir bénéficier d'une rente transitoire à partir du 1er octobre 2008. S'agissant du montant de celle-ci, le recourant est d'avis que la caisse l'a conforté dans l'idée qu'il pourrait percevoir 85 % de son dernier salaire annuel, dès lors qu'elle l'avait mis en possession d'une feuille résumant les conditions d'octroi d'une rente transitoire. Selon le recourant, la caisse n'a jamais pris l'engagement de lui verser une rente à partir du salaire réalisé en 2006, mais elle a simplement opéré une projection à partir de ce revenu, ce qui supposait que, le moment venu, elle allait se référer aux salaires des douze derniers mois.
Le respect des principes de la confiance (art. 18 al. 1 CO) et de la bonne foi (art. 5 al. 3 et 9 Cst.) justifierait ainsi le versement d'une rente transitoire de 5'350 fr. depuis le 1er octobre 2008 jusqu'à l'âge de 65 ans révolus.
5. 5.1 Le droit à la protection de la bonne foi est expressément consacré à l'art. 9 Cst. Selon la jurisprudence, il permet au citoyen d'exiger que l'autorité respecte ses promesses et qu'elle évite de se contredire. Ainsi, un renseignement ou une décision erronés peuvent obliger l'administration à consentir à un administré un avantage contraire à la loi, si les conditions cumulatives suivantes sont réunies :
1. il faut que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées ;
2. qu'elle ait agi ou soit censée avoir agi dans les limites de sa compétence ;
3. que l'administré n'ait pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu ;
4. qu'il se soit fondé sur celui-ci pour prendre des dispositions qu'il ne saurait modifier sans subir un préjudice ;
5. que la loi n'ait pas changé depuis le moment où le renseignement a été donné (ATF 131 II 627 consid. 6.1 p. 637 et les références).
5.2 Concernant la première condition, il faut constater que l'intimée a, de façon très claire dans sa lettre du 19 février 2008, promis au recourant qu'il pourrait bénéficier d'une rente transitoire à partir du 1er octobre 2008, soit dès l'âge de 60 ans révolus. Cette promesse est en contradiction apparente avec le texte du règlement, dès lors que le recourant n'entrait pas dans la catégorie des salariés qui pouvaient y prétendre dès cet âge.
Quant au montant de la rente, il ressort également sans aucune équivoque de l'écriture de la caisse du 19 février 2008. En effet, la caisse a indiqué au recourant que le montant approximatif de la rente transitoire qui pourrait lui être versé dès le 1er octobre 2008 s'élèverait à 4'338 fr., cette prestation étant établie en fonction du salaire AVS 2006 de 68'700 fr. Le calcul figure dans la feuille annexe du 14 février 2008.
Il sied de préciser que les deux éléments essentiels (le montant et la date) sont les seuls qui ont été soulignés dans la lettre du 19 février 2008.
5.3 Comme on l'a vu, la caisse avait calculé la rente transitoire mensuelle de 4'338 fr. sur la base de la situation salariale qui prévalait en 2006. Avant de prendre des dispositions sur lesquelles il allègue ne plus pouvoir revenir, le recourant aurait assurément dû interpeller la caisse et lui demander de se prononcer à nouveau à la lumière de ses revenus 2007 et 2008 qui avaient augmenté, soit en fonction d'un élément essentiel que l'intimée n'avait pas pris en considération lorsqu'elle s'était exprimée le 19 février 2008, mais que le recourant avait annoncé ensuite dans le questionnaire pour l'obtention d'une rente transitoire du 25 février 2008.
Dans la mesure où la caisse intimée sert une rente transitoire mensuelle de 4'462 fr. au recourant depuis le 1er octobre 2008, soit un montant supérieur à celui qui avait été initialement annoncé (4'338 fr.), elle satisfait ainsi intégralement à sa promesse du 19 février 2008, de même qu'aux obligations qui lui auraient incombé si elle avait appliqué correctement le règlement. En pareilles circonstances, toute l'argumentation tirée du non-respect d'une promesse et de la protection de la bonne foi du recourant, aux conditions jurisprudentielles précitées, n'a plus d'objet et l'examen des autres conditions cumulatives apparaît superflu.
Le recours est mal fondé.
6. Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud