Faits:
A. A.a G._ travaillait en qualité de maçon chef d'équipe pour le compte de l'entreprise X._ SA, Bâtiments et Génie civil, à Y._. Le 9 mai 2001, il a été victime d'un accident de chantier, en chutant sur l'épaule droite. Il a été soigné le jour-même par la doctoresse B._, qui a diagnostiqué une contusion de l'épaule. Le cas a été pris en charge par la CNA. Dans son rapport du 17 août 2001, le docteur R._, spécialiste en chirurgie orthopédique, qui a assuré le suivi après l'accident, a diagnostiqué une déchirure de la coiffe des rotateurs (sous-scapulaire et sous-épineux). Le 29 octobre 2002, ce chirurgien a procédé à une acromioplastie et suture de la coiffe des rotateurs de l'épaule droite (protocole opératoire du 29 octobre 2002). L'assuré n'ayant pas pu reprendre le travail en raison de douleurs résiduelles, il a été adressé à la Clinique Z._ où il a séjourné du 28 mai au 2 juillet 2003. Les docteurs L._ et I._ ont diagnostiqué une acromioplastie et une suture du tendon du muscle sous-scapulaire droit, auxquelles s'ajoutent une cécité de l'?il gauche suite à un traumatisme en 1970 et une cataracte opérée en 1984. Ils ont estimé que l'assuré pouvait reprendre son travail à 100 % avec un rendement de 50 %, si ce travail ne comportait pas le port de lourdes charges ou des travaux répétés en élévation (rapport de la Clinique Z._ du 14 août 2003). La CNA ayant considéré que l'atteinte était stabilisée et qu'il était possible d'envisager des mesures de réadaptation (lettre de la CNA du 12 novembre 2003), l'office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a décidé de prendre en charge une orientation professionnelle faite au Centre W._ du 23 août 2008 au 22 novembre 2004 (décision du 24 juin 2004). Cette mesure a été prolongée jusqu'au 20 février 2005 par décision du 2 décembre 2004. Le 26 décembre 2004, le Centre W._ a mis fin prématurément à la mesure, car G._ était de plus en plus plaintif, se présentait comme travailleur monomanuel et avait des rendements exploitables de 20 à 30 %, ne s'estimant pas capable de travailler plus de deux heures par jour (rapport du Centre W._ du 23 décembre 2004).
Par décision du 17 mai 2005, la CNA a retenu que l'assuré était à même d'exercer une activité légère, à plein temps et plein rendement, dans différents secteurs de l'industrie à la condition d'éviter de solliciter le bras droit au-dessus de l'horizontale et le port de lourdes charges. Elle a décidé l'octroi d'une rente d'invalidité de 28 %. Par décision du 4 août 2005, elle a rejeté l'opposition de G._. Un recours de celui-ci contre cette décision a été admis par le Tribunal des assurances du canton de Vaud (jugement du 3 juillet 2008), qui a retourné le dossier à l'assurance pour procéder à un nouveau calcul du revenu d'invalide.
Après compléments d'instruction, la CNA a rendu une nouvelle décision le 16 juillet 2009, par laquelle elle a octroyé une rente d'invalidité de 35 % dès le 1er février 2007.
A.b Le 23 septembre 2003 G._ a déposé une demande de prestations AI tendant à l'octroi d'une rente en raison des atteintes à l'épaule droite, à la coiffe des rotateurs, à l'omoplate et à la nuque.
Dans le cadre de l'instruction de l'affaire, le docteur O._, médecin généraliste et médecin traitant, a diagnostiqué avec répercussion sur la capacité de travail un status après acromioplastie avec suture de la coiffe des rotateurs pour déchirure traumatique du tendon du sus-épineux et du sous-scapulaire ainsi que des cervicalgies sur troubles statiques et dégénératifs du rachis. En outre, il a posé les diagnostics sans répercussion sur la capacité de travail, de cécité de l'?il gauche suite à un traumatisme, de status après opération de la cataracte traumatique de l'?il gauche et de lombalgies chroniques sur troubles statiques du rachis. Il n'a toutefois pas pu se prononcer sur la capacité de travail de l'assuré car il ne l'avait pas revu après l'acromioplastie (rapport du 8 octobre 2003). Le 10 novembre 2003, G._ a été examiné par le docteur C._, médecin d'arrondissement de la CNA, qui a constaté une évolution favorable suite à cette opération sur le plan de la mobilité de l'épaule, qui a récupéré une amplitude proche de la normale en élévation et en abduction. La récupération était moins bonne pour les rotations et, subjectivement, il subsistait une symptomatologie douloureuse de l'épaule qui tendait à se chronifier. Des troubles douloureux cervicaux se sont également greffés sur l'évolution laissant subsister un léger syndrome cervical. Compte tenu de ces éléments, le docteur C._ a retenu une capacité de travail entière avec un rendement de 50 % dans l'activité actuelle alors qu'une pleine capacité de travail devait être admise dans une activité adaptée n'exigeant pas la sollicitation du bras droit au-dessus de l'horizontale, la manutention à deux mains et le port de charges de plus de 10kg (rapport du 10 novembre 2003). A la suite de l'échec des mesures de réadaptation en décembre 2004, le docteur T._, médecin au Centre V._, a admis la persistance d'un état douloureux après l'acromioplastie, l'existence de cervicalgies, de dorsalgies et la cécité de l'?il gauche (rapport du 11 avril 2005). Le docteur R._ a réexaminé l'assuré le 22 avril 2005 et a constaté une limitation fonctionnelle et des douleurs cervico-brachiales du membre supérieur droit non systématisées, associées à des vertiges d'origine non déterminée. Il a estimé que la capacité de travail en tant que maçon était nulle mais qu'il devait être possible de trouver une activité professionnelle adaptée à la situation où le patient n'utilisait que peu son membre supérieur droit (rapport du 25 avril 2005). Le 14 juin 2005, le docteur O._ a confirmé son diagnostic en précisant que depuis décembre 2004 il soignait l'assuré pour d'importantes cervicalgies avec céphalées de tension et troubles de l'équilibre. Le médecin traitant a considéré que la capacité de travail était nulle dans l'activité de maçon mais qu'une activité qui ménageait le rachis et qui ne nécessitait pas l'emploi du membre supérieur droit, était exigible à raison de six à huit heures par jour avec un rendement de 50 %. Il a adressé son patient au docteur S._, rhumatologue, qui a diagnostiqué des cervicobrachialgies chroniques sur dysfonction segmentaire C2-C3 droite et une omalgie droite avec un status post acromioplastie et suture du muscle sous-scapulaire. Ce médecin a constaté la présence d'un syndrome cervico-vertébral et de cervico-brachialgies chroniques sans signe radiculaire irritatif ou déficitaire ainsi que des omalgies gauches (recte : droites) chroniques. Ces atteintes induisaient une limitation fonctionnelle et algique du rachis avec amyotrophie du muscle deltoïde mais sans amyotrophie du bras et de l'avant-bras. Le bilan radiologique et l'examen clinique ne permettaient pas d'expliquer l'ampleur de la symptomatologie douloureuse et des limitations fonctionnelles qu'elles entraînaient (rapport du 1er mars 2005). Le docteur T._, médecin au Centre V._, a diagnostiqué avec répercussion sur la capacité de travail, des douleurs et limitations fonctionnelles séquellaires après rupture de la coiffe des rotateurs de l'épaule droite et acromioplastie ainsi que, sans répercussion sur la capacité de travail, des dorsolombalgies communes, des cervicobrachialgies et une cécité de l'?il gauche. Pour lui, la capacité de travail dans l'activité habituelle était nulle alors qu'elle était entière dans une activité ne comportant pas de ports de charges, pas de mouvements du bras droit au-dessus de l'horizontale, pas de mouvements de rotation répétitifs du membre supérieur droit, avec la possibilité d'alterner les positions et en tenant compte des difficultés visuelles (rapport du 9 novembre 2005).
Par décision du 1er juin 2006, l'Office AI a refusé toute prestation estimant que les mesures d'ordre professionnel n'étaient plus envisageables et qu'avec un taux d'invalidité de 26 %, les conditions d'octroi d'une rente n'étaient pas données.
Dans le cadre de la procédure d'opposition, G._ a produit une expertise du 7 février 2006, demandée au docteur E._, spécialiste en chirurgie orthopédique. Ce médecin a diagnostiqué la persistance des lésions anatomiques post-traumatiques (rupture du tiers supérieur du tendon du muscle sous-scapulaire avec atrophie des fibres musculaires correspondantes et luxation de la partie haute du tendon long chef du biceps), une dysfonction secondaire de l'épaule dans son ensemble (avec dyskinésie scapulaire) et répercussion rachidienne due aux insertions des muscles suspendeurs de l'omoplate, un status après acromioplastie et suture d'une lésion du tendon du muscle sous-scapulaire, un status après possible algodystrophie et une possible neuropathie du nerf axillaire. Pour ce médecin, l'exercice de la profession de maçon n'est plus possible sauf dans une activité de surveillance en terrain facile. S'agissant de la capacité de travail dans une activité adaptée, il l'a limitée aux capacités d'un manchot ayant perdu l'usage de son membre dominant. Le docteur U._, médecin au Centre V._, a considéré que l'atteinte à la santé relevait strictement des suites de l'accident du 9 mai 2001 et qu'il fallait donc attendre la décision de la CNA pour s'aligner sur elle (rapport du 14 août 2008). Dans un rapport du 20 avril 2009, le docteur A._, médecin au Centre V._, a confirmé l'avis du docteur U._ selon lequel il n'existe pas d'autres atteintes que l'atteinte accidentelle et ses séquelles. Partant de ce constat, il a admis une pleine capacité de travail dans une activité adaptée comme cela ressort du jugement du Tribunal des assurances du canton de Vaud rendu en matière d'assurance-accidents. Dans un rapport du 1er mai 2009, le docteur A._ est revenu sur son rapport du 20 avril 2009 en admettant qu'il existait des atteintes aux rachis sans rapport avec l'accident. Il a cependant confirmé qu'une activité adaptée restait possible à 100 % car « les limitations fonctionnelles retenues pour l'épaule sont celles qu'on retient aussi pour un problème de cervicobrachialgies ». Le 19 mai 2009, le même médecin a admis qu'il était évident qu'en huit ans depuis l'accident du 9 mai 2001, l'état de l'assuré s'était « forcément aggravé » car l'évolution habituelle des troubles dégénératifs est une péjoration graduelle au cours du temps. Selon ce médecin, cette aggravation ne change strictement rien sur le plan des limitations fonctionnelles et de la capacité de travail (rapport du 19 mai 2009). Appelé à se prononcer sur les céphalées, vertiges et autres maux d'oreille, évoqués par le jugement cantonal du 3 juillet 2008, le docteur A._, dans un rapport du 16 juillet 2009, a considéré qu'il s'agissait de plaintes subjectives de l'assuré, inconstantes car mentionnées occasionnellement et ne figurant pas dans l'expertise du docteur E._. Seules les céphalées pourraient être en rapport avec l'aphakie de l'?il gauche entraînant une diplopie. Toutefois, cette affection oculaire datant de 1970, n'a jamais empêché l'assuré d'exercer son activité professionnelle auparavant.
Se fondant sur le dossier de la CNA et les rapports des médecins du Centre V._, l'office AI a rendu une décision le 6 août 2009, par laquelle il a rejeté l'opposition faite le 7 juillet 2006. Pour fixer le taux d'invalidité, il a retenu un salaire valide de 80'015 fr. et un salaire d'invalide de 49'135.25 fr., calculé sur la base des salaires Enquête suisse sur la structure des salaires (ESS) 2002, TA1, niveau de qualification 4, converti pour 41,7 heures de travail hebdomadaire, indexé jusqu'en 2003 (+ 1.4 %) et avec un abattement de 15 %. Ainsi, l'office AI a retenu un taux d'invalidité de 38,6 % et refusé l'octroi d'une rente.
B. G._ a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui : Cour des assurances sociales du Tribunal cantonal du canton de Vaud), qui, par jugement du 3 novembre 2010, a rejeté le recours.
C. G._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut principalement à la reconnaissance du droit à une rente entière d'invalidité dès 2003, éventuellement une rente partielle, subsidiairement à l'annulation du jugement et au renvoi de la cause à l'autorité inférieure pour complément d'instruction.
L'office AI conclut implicitement au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon les art. 95 ss. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Cette disposition lui donne la faculté de rectifier ou compléter d'office l'état de fait de l'arrêt attaqué dans la mesure où des lacunes ou erreurs dans celui-ci lui apparaîtraient d'emblée comme manifestes. Quant au recourant, il ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. LTF).
1.2 A l'appui de son recours, le recourant produit un rapport médical du 30 décembre 2010 établi par le docteur K._, ophtalmologue à l'Hôpital ophtalmique D._ et une lettre de la doctoresse N._ du 17 décembre 2010 par laquelle elle atteste ne pas avoir écrit le rapport du 14 décembre 2009 émanant du même hôpital. L'attestation de la doctoresse N._ est d'aucune utilité puisque le rapport du 14 décembre 2009 est signé par le docteur M._. Pour les deux documents, il s'agit de pièces nouvelles au sens de l'<ref-law>, qui ne sont pas recevables : établies postérieurement au jugement attaqué, elles ne peuvent par définition « résulter » du jugement entrepris (ULRICH MEYER, Bundesgerichtsgesetz, Bâle 2008, ad <ref-law>, n. 43 p. 979).
2. Le litige porte sur le droit du recourant à une rente de l'assurance-invalidité, singulièrement sur le taux d'invalidité.
3. La juridiction cantonale a constaté que le recourant ne contestait pas que les atteintes en relation de causalité avec l'accident du 9 mai 2001 (status post-acromioplastie et suture du tendon du muscle sous-scapulaire droit) engendraient des limitations fonctionnelles, qui laissaient subsister une pleine capacité de travail dans une activité adaptée, permettant l'alternance des positions, évitant le port de charges, les mouvements du bras au-dessus de l'horizontale et les mouvements de rotation répétitifs du membre supérieur droit. Ce constat n'est pas remis en cause devant l'instance fédérale.
4. Concernant les autres atteintes dont souffre le recourant, en particulier les cervicalgies, les cervico-brachialgies, les céphalées, les vertiges et autres maux d'oreilles, la juridiction cantonale a retenu de façon à lier le Tribunal fédéral qu'elles ne provoquaient pas de limitations fonctionnelles supplémentaires et qu'elles ne modifiaient pas la capacité de travail du recourant.
5. 5.1 Celui-ci conteste cette appréciation de la juridiction cantonale. Il l'estime manifestement inexacte.
5.2 S'agissant de l'incidence sur la capacité de travail des cervicalgies et des cervico-brachialgies, dont l'existence en elle-même n'est pas contestée, les docteurs T._ et A._, sur l'avis desquels la juridiction cantonale a fondé son appréciation, ont nié qu'elles aient une incidence sur la capacité de travail de l'assuré. Pour le docteur A._, les limitations fonctionnelles engendrées par l'atteinte à l'épaule sont les mêmes que celles qui sont retenues en cas de cervico-brachialgies. Il n'y a donc pas d'atteinte supplémentaire à la capacité de travail. La justification des médecins du Centre V._ n'est pas probante dans la mesure où elle revient à prétendre qu'un cumul d'atteintes à une même partie du corps ne peut pas occasionner des limitations fonctionnelles plus importantes qu'une seule atteinte. Il y a donc lieu d'examiner les autres éléments médicaux du dossier pour évaluer l'incidence sur la capacité de travail des atteintes au rachis. Le docteur R._, qui avait constaté l'existence d'une limitation fonctionnelle et de douleurs cervico-brachiales du membre supérieur droit non systématisées associées à des vertiges d'origine indéterminés, a admis qu'il était tout à fait possible pour l'assuré de trouver une activité professionnelle adaptée à la situation (rapport du 25 avril 2005). Il n'a pas prévu de diminution de rendement. Le docteur S._, rhumatologue, a retenu les mêmes atteintes que les autres médecins. Son examen clinique et son bilan radiologique ne lui ont pas permis d'expliquer l'ampleur de la symptomatologie douloureuse et des limitations fonctionnelles qu'elle entraîne. A l'examen clinique, il a constaté une limitation fonctionnelle variable et algique du rachis, avec amyotrophie du muscle deltoïde mais sans amyotrophie du bras et de l'avant-bras. Ce médecin a relevé l'importance de stimuler une reprise de l'activité professionnelle (rapport du 1er mars 2005). Le docteur E._, dans son expertise du 7 février 2006 effectuée à la demande du recourant, a fait état d'atteintes à l'épaule droite avec leur répercussion rachidienne due aux insertions des muscles suspenseurs de l'omoplate. Pour lui, la capacité de travail de l'assuré dans une activité adaptée est celle d'un manchot qui a perdu l'usage de son membre dominant. Le docteur H._, neurologue, n'a pas constaté d'atteinte neurologique significative, sans pouvoir écarter une discrète irritation tronculaire ou radiculaire en relation avec les troubles dégénératifs cervicaux. Cette atteinte ne saurait toutefois rendre compte du tableau clinique et entraîner une incapacité de travail significative (rapport du 25 septembre 2006). Après avoir diagnostiqué les mêmes atteintes que les autres médecins, le docteur F._, orthopédiste, a estimé que l'examen clinique objectif ne montrait pas d'atteinte significative de la coiffe des rotateurs, ni de troubles dégénératifs gléno-huméraux pouvant expliquer les douleurs. Il a admis l'existence sur le plan orthopédique d'une discordance importante entre les plaintes de l'assuré et les constatations objectives (rapport du 24 novembre 2006). Enfin le docteur O._, médecin traitant, a fait état d'une capacité de travail dans une activité ménageant le rachis et ne nécessitant pas l'emploi du membre supérieur droit. Il a estimé la réduction de rendement de 50 %. A noter que ce médecin a précisé être en présence d'une situation orthopédique spécialisée pour laquelle ses réponses « ne reflètent certes pas un avis autorisé en la matière » (rapport du 15 juin 2005).
Compte tenu de ces différents avis médicaux, la juridiction cantonale pouvait sans arbitraire retenir que les affections touchant la colonne vertébrale ne réduisaient pas la capacité de travail.
5.3 Le recourant invoque également une baisse de sa capacité de travail en raison de céphalées, de vertiges et d'autres maux d'oreille.
Ces affections sont mentionnées pour la première fois dans le rapport du W._ du 23 décembre 2004. Le docteur R._ fait état, dans son rapport du 25 avril 2005, de vertiges d'origine indéterminée apparus depuis peu et faisant l'objet d'investigation de la part du docteur O._. Celui-ci, dans son rapport du 14 juin 2005, ne fait pas état de ces affections. Dans son expertise du 7 février 2006, le docteur E._ ne les mentionne pas non plus. Les céphalées ont été signalées par le docteur C._, médecin d'arrondissement de la CNA, qui a précisé qu'elles avaient disparu avec la physiothérapie (rapport du 9 mai 2003). Lors de l'examen par ce même médecin le 10 novembre 2003, l'assuré s'est plaint d'avoir mal à la tête souvent le samedi (rapport du 10 novembre 2003). Le recourant a également signalé des maux de tête dans un emploi administratif lors de son stage au Centre W._ (rapport du 23 décembre 2004). La doctoresse N._, ophtalmologue, a considéré que l'assuré, qui est monoculaire, peut travailler sur un ordinateur cependant avec fatigue visuelle accrue. Elle a aussi signalé qu'elle soignait la diplopie qui gênait l'assuré. Cette affection, si elle persistait, pouvait provoquer des maux de tête (rapport du 6 mai 2005). Le docteur M._, ophtalmologue, qui a examiné le recourant le 18 novembre 2009, a retenu que les troubles de la vision n'entraînaient pas de maux de tête et que la diplopie avait disparu (rapport du 14 décembre 2009). Pour le surplus, ni le docteur O._ ni le docteur E._ n'ont diagnostiqué de céphalées, qui pourraient entraîner des limitations fonctionnelles réduisant la capacité de travail. Ces éléments démontrent que ces affections ne sont pas présentes en permanence.
En conséquence, la juridiction cantonale pouvait retenir sans faire preuve d'arbitraire que ces affections ne diminuaient pas la capacité de travail du recourant.
6. Le recourant conteste l'abattement opéré par la juridiction cantonale sur le salaire avec invalidité résultant des statistiques ESS. A son avis, les limitations fonctionnelles liées aux cervicalgies, aux cervico-brachialgies, aux céphalées et aux problèmes oculaires, même si elles ne devaient pas être retenues comme facteur de réduction de la capacité de travail, devaient être prises en compte pour calculer le taux d'abattement. Ainsi, le recourant demande qu'il soit retenu l'abattement maximum de 25 % pour tenir compte de ses limitations fonctionnelles, de ses nombreuses années de service auprès du même employeur, de sa nationalité espagnole et de son taux d'occupation.
6.1 Selon la jurisprudence (<ref-ruling>), le point de savoir s'il y a lieu de procéder à un abattement sur le salaire statistique en raison de circonstances particulières (liées au handicap de la personne ou à d'autres facteurs) est une question de droit qui peut être examinée librement par le Tribunal fédéral. En revanche, l'étendue de l'abattement du salaire statistique dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire audroit, soit a commis un excès positif (« Ermessensüberschreitung ») ou négatif (« Ermessensunterschreitung ») de son pouvoir d'appréciation ou a abusé (« Ermessensmissbrauch ») de celui-ci (<ref-ruling> consid. 3.3 p. 399).
Contrairement au pouvoir d'examen du Tribunal fédéral, celui de l'autorité judiciaire de première instance n'est en revanche pas limité dans ce contexte à la violation du droit (y compris l'excès ou l'abus du pouvoir d'appréciation), mais s'étend également à l'opportunité de la décision administrative (« Angemessenheitskontrolle »). En ce qui concerne l'opportunité de la décision en cause, l'examen porte sur le point de savoir si une autre solution que celle que l'autorité, dans un cas concret, a adoptée dans le cadre de son pouvoir d'appréciation et en respectant les principes généraux du droit, n'aurait pas été plus judicieuse quant à son résultat. A cet égard, le juge des assurances sociales ne peut, sans motif pertinent, substituer sa propre appréciation à celle de l'administration ; il doit s'appuyer sur des circonstances de nature à faire apparaître sa propre appréciation comme la mieux appropriée (<ref-ruling> consid. 6 p. 81).
Il découle de ce qui précède que la juridiction cantonale, lorsqu'elle examine l'usage qu'a fait l'administration de son pouvoir d'appréciation pour fixer l'étendue de l'abattement sur le revenu d'invalide, doit porter son attention sur les différentes solutions qui s'offraient à l'organe d'exécution de l'assurance-invalidité et voir si un abattement plus ou moins élevé (mais limité à 25 % [<ref-ruling>]) serait mieux approprié et s'imposerait pour un motif pertinent, sans toutefois substituer sa propre appréciation à celle de l'administration.
6.2 La juridiction cantonale a admis que l'intimé n'avait pas commis d'abus de son pouvoir d'appréciation en retenant un abattement global de 15 % tenant compte des limitations fonctionnelles, de l'âge et des années de service.
Si la formulation utilisée par la juridiction cantonale pourrait laisser penser qu'elle a restreint son pouvoir d'examen de manière inadmissible, les considérations relatives à l'étendue de l'abattement émises dans le jugement, montrent qu'elle a également examiné l'opportunité de la décision.
Au cas présent, le recourant ne démontre pas en quoi la juridiction a violé le droit fédéral (<ref-law>), par un abus ou un excès (positif ou négatif) de son pouvoir d'appréciation, en retenant un abattement de 15 % au lieu des 25 % qu'il revendique. Les éléments invoqués par le recourant ne sont pas pertinents pour justifier un abattement supplémentaire. En effet, les atteintes à la santé, qui ne sont pas invalidantes ne sauraient être prises en compte alors qu'elles n'affectent ni le rendement ni le taux d'occupation. De plus, le recourant n'a pas contesté la décision de la CNA, qui a pourtant retenu qu'un abattement de 10 %.
Le recours doit donc être rejeté.
7. Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>). Il ne saurait en outre prétendre à une indemnité de dépens pour l'instance fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 22 août 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud