Faits:
A. A.a Ferrari S.P.A est une société de droit italien ayant son siège à Modène (I), qui fabrique des véhicules automobiles. Elle est titulaire de plusieurs marques internationales valables en Suisse, en particulier la marque "Ferrari" et la marque graphique correspondant à son logo, à savoir un cheval noir cabré; elle est également titulaire de la marque "F430" qui désigne un modèle de voitures.
Le 3 mars 2004, X._, domicilié à ... (VD), a déposé auprès de l'Institut fédéral de la propriété intellectuelle la marque "Auto Avio Costruzioni" dans la catégorie "véhicules, appareils de locomotion par terre, par air ou par eau". Il a également fait enregistrer cette marque auprès de l'Organisation mondiale de la propriété intellectuelle (OMPI), se référant à l'enregistrement en Suisse, et désignant comme pays l'Allemagne, la France, l'Italie et Monaco.
S'agissant du choix des mots "Auto Avio Costruzioni", il faut préciser ce qui suit. De 1920 à 1939, Enzo Ferrari a travaillé pour le constructeur automobile Alfa Romeo. En 1929, il a fondé la Scuderia Ferrari, qui faisait courir en compétition des bolides Alfa Romeo. En 1939, Enzo Ferrari a quitté Alfa Romeo en prenant l'engagement de ne pas utiliser son nom dans le cadre d'une activité liée à l'automobile durant quatre ans. En 1940, il a créé la société "Auto Avio Costruzioni" et a produit une voiture de sport dénommée "AAC 815", réalisée à partir d'éléments du constructeur Fiat. Après la seconde guerre mondiale, Enzo Ferrari a créé l'entreprise qui porte son nom et produit des voitures de sport sous la marque "Ferrari" qui ont acquis une grande réputation. Depuis 1947, le nom "Auto Avio Costruzioni" - qui n'a jamais été enregistré en Suisse comme marque - n'a plus été utilisé. Ces faits sont connus des passionnés de la marque "Ferrari", qui reconnaissent l'"Auto Avio Costruzioni (AAC) 815" comme la première voiture entièrement dessinée et construite par Enzo Ferrari.
A.b X._ a fait paraître - comme l'a établi l'enquête d'un détective privé - un publi-reportage anonyme dans le numéro du mois de mai 2008 de la revue "Sport Auto", intitulé "Auto Avio Costruzioni : l'origine du mythe Ferrari". On y voit un logo représentant un Pégase noir dressé sur ses pattes arrières avec les mots "Auto Avio Costruzioni", dans un cercle jaune sur un fond rouge. Il est indiqué que pour les septante ans de l'"AAC 815", une équipe de passionnés préparaient une automobile d'exception, à savoir une "Ferrari F430 Berlinetta" sur laquelle serait greffé le moteur de la "Ferrari 599 GTB Fiorano". Le reportage comprend également des illustrations qui correspondent très distinctement - sous réserve de menus détails - à la forme de la "Ferrari F430 Berlinetta", enregistrée en tant que dessins et modèles industriels auprès de l'OMPI .
X._ a expliqué que son idée était de réaliser "un produit Ferrari personnalisé" en procédant comme d'autres préparateurs automobiles - Hamann, Lorinser, Brabus, Techart et Hartge - avec des voitures de marques Porsche, Mercedes et BMW. Son but était ainsi de faire de la publicité en vue de produire et de commercialiser des jantes d'automobiles en titane sous la marque "Auto Avio Costruzioni".
Ferrari S.P.A a réagi en requérant des autorités judiciaires vaudoises, le 4 novembre 2008, des mesures préprovisionnelles et des mesures provisionnelles, dont il n'est plus nécessaire de parler à ce stade. Elle a également déposé, le 20 novembre 2008, la marque communautaire "Auto-Avio Costruzioni" et fait inscrire auprès de l'OMPI la marque internationale "Scuderia Ferrari Auto-Avio Costruzioni".
B. Par demande au fond du 20 février 2009 déposée auprès de la Cour civile du Tribunal cantonal vaudois et dirigée contre X._ (défendeur), Ferrari S.P.A (demanderesse) a conclu à ce que diverses interdictions soient prononcées à l'encontre du précité sous menace de la peine prévue par l'art. 292 CP et à ce que sa marque "Auto Avio Costruzioni" soit déclarée nulle.
Le défendeur s'est opposé à la demande en totalité et a pris des conclusions reconventionnelles.
Par jugement incident du 9 février 2010, la cour cantonale s'est déclarée incompétente pour connaître de la reconvention.
Statuant en instance cantonale unique par arrêt du 16 mars 2012, la Cour civile a prononcé quatre interdictions sous menace de la peine prévue par l'art. 292 CP et rejeté toutes autres conclusions. Elle a fait interdiction (I) à X._ «de se référer à l'histoire de la marque Ferrari, notamment à la création de la voiture dénommée "AAC 815" ou "Auto Avio Costruzioni" et/ou de l'entreprise du même nom par Enzo Ferrari, pour faire de la publicité, de quelque manière que ce soit et par quelque média que ce soit, y compris par internet, en faveur d'un véhicule automobile qu'il fabriquerait ou ferait fabriquer, ou qu'il modifierait ou ferait modifier, notamment en faveur d'un véhicule automobile qui serait commercialisé (sic) la marque "Auto Avio Costruzioni", "AAC 1260" ou "AAC"». Elle lui a fait interdiction (II) de reproduire ou de faire reproduire l'image figurant dans le publi-reportage en faveur d'un véhicule automobile. Elle lui a fait interdiction (III) d'utiliser les signes "Auto Avio Costruzioni", "AAC 1260" ou "AAC" sous quelque forme et dans quelque graphisme que ce soit, en relation avec la fabrication, la modification, la vente, la mise dans le commerce, l'importation ou l'exportation de véhicules automobiles. Enfin, elle lui a fait interdiction (IV) d'utiliser le signe formé du cheval cabré ailé en relation avec la fabrication, la modification, la vente, la mise dans le commerce, l'importation ou l'exportation de véhicules automobiles.
C. X._ exerce un recours en matière civile au Tribunal fédéral. Soutenant qu'il n'a créé aucun risque de confusion et qu'il n'a pas adopté un comportement trompeur, il conclut à l'annulation des trois premières interdictions prononcées à son encontre; subsidiairement, il demande que l'arrêt soit annulé et renvoyé à l'autorité cantonale pour nouveau jugement.
L'intimée propose l'irrecevabilité, subsidiairement le rejet du recours.
Les parties ont répliqué et dupliqué.
Considérant en droit:
1. 1.1 Dans l'arrêt attaqué, la cour cantonale a appliqué les dispositions civiles de la loi fédérale sur la protection des marques et des indications de provenance du 28 août 1992 (LPM; RS 232.11), de la loi fédérale sur le droit d'auteur et les droits voisins du 9 octobre 1992 (LDA; RS 231.1) et de la loi fédérale contre la concurrence déloyale du 19 décembre 1986 (LCD; RS 241). La décision a donc été rendue en matière civile au sens de l'art. 72 al. 1 LTF.
L'arrêt querellé a été communiqué aux parties après l'entrée en vigueur, le 1er janvier 2011, du CPC (RS 272), de sorte que les voies de recours sont régies par le nouveau droit (art. 405 al. 1 CPC). Or l'art. 5 al. 1 CPC prévoit que le droit cantonal institue une juridiction statuant en instance cantonale unique sur les litiges portant sur des droits de propriété intellectuelle (art. 5 al. 1 let. a CPC) et sur les litiges relevant de la concurrence déloyale, lorsque la valeur litigieuse - comme c'est manifestement le cas en l'espèce - dépasse 30'000 fr. (art. 5 al. 1 let. d CPC). Le recours en matière civile au Tribunal fédéral est donc ouvert en vertu de l'art. 75 al. 2 let. a LTF, quand bien même le tribunal supérieur cantonal n'a pas statué sur recours.
Il en résulte que le recours au Tribunal fédéral n'est lui-même pas soumis à l'exigence d'une valeur litigieuse (art. 74 al. 2 let. b LTF).
Interjeté par la partie qui a succombé dans ses conclusions libératoires et qui a donc qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un jugement final (art. 90 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF.
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente. Il peut donc admettre un recours pour un autre motif que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 138 II 331 consid. 1.3 p. 336; 137 II 313 consid. 4 p. 317 s.). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 137 III 580 consid. 1.3 p. 584; 135 II 384 consid. 2.2.1 p. 389). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; ATF 135 III 397 consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p . 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356). La partie recourante qui entend se plaindre d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit motiver son grief d'une manière qui réponde aux exigences de l'art. 106 al. 2 LTF (ATF 137 I 58 consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
En l'espèce, les conclusions du recourant montrent clairement qu'il ne s'en prend qu'aux trois premières interdictions prononcées à son endroit. Le Tribunal fédéral étant lié par ces conclusions, il en résulte que la quatrième interdiction - qui concerne le logo représentant le Pégase noir - n'est plus en cause. Quant à l'incompétence du tribunal saisi pour connaître des conclusions reconventionnelles, elle a fait l'objet d'une décision séparée, qui, faute d'avoir été attaquée en temps utile devant le Tribunal fédéral, est définitive (art. 92 al. 2 LTF).
2. 2.1 En raison du siège à l'étranger de l'intimée, la cause revêt un caractère international (ATF 137 III 481 consid. 2.1 p. 483). Le Tribunal fédéral doit donc examiner d'office la question du droit applicable, sur la base du droit international privé suisse en tant que lex fori (ATF 137 III 481 consid. 2.1 p. 483; 132 III 661 consid. 2 p. 663).
La demande formée par l'intimée est fondée, d'une part, sur les droits de la propriété intellectuelle et, d'autre part, sur les règles prohibant la concurrence déloyale. Les droits de la propriété intellectuelle sont régis par le droit de l'État pour lequel la protection de la propriété intellectuelle est revendiquée (art. 110 al. 1 LDIP). Or in casu, l'intimée revendique une protection pour le territoire suisse. En ce qui concerne la concurrence déloyale, l'art. 136 al. 1 LDIP instaure le principe de l'effet sur le marché ou du marché affecté (ATF 136 III 23 consid. 6.1 p. 29). En l'espèce, c'est sur le marché suisse que s'est déployée l'activité illicite prétendue. Il n'est donc pas douteux que le droit suisse est applicable sous cet angle.
2.2 Le recourant se plaint d'une constatation manifestement inexacte des faits (art. 97 al. 1 LTF), c'est-à-dire d'arbitraire (art. 9 Cst.) dans l'appréciation des preuves et l'établissement des faits (cf. ci-dessus consid. 1.3). Il devait donc présenter une motivation répondant aux exigences de l'art. 106 al. 2 LTF (ATF 137 I 58 consid. 4.1.2 déjà cité). Mais sa motivation, qui mélange des questions de fait et de droit, est particulièrement difficile à cerner. Elle n'est recevable que dans la mesure où l'on parvient à comprendre en quoi consisterait l'arbitraire.
Le recourant reproche à la cour cantonale d'avoir retenu que l'"AAC 815" était la première "Ferrari". Il joue cependant sur les mots, puisqu'il suffit de lire l'arrêt cantonal pour comprendre qu'il s'agit de la première voiture construite par Enzo Ferrari, mais qui ne portait pas encore la marque "Ferrari". L'état de fait est limpide à cet égard, à telle enseigne qu'il ne se justifie pas de le modifier. Au demeurant, on cherche vainement en quoi cette précision pourrait influer sur le sort du litige (art. 97 al. 1 LTF).
Le recourant reproche aussi à la cour cantonale de n'avoir arbitrairement pas compris que son but était seulement de "rebadger" une véritable "Ferrari", comme d'autres le font avec d'autres marques. On peut d'emblée douter qu'il s'agisse seulement de "rebadger", dès l'instant où il ressort des constatations cantonales - sans que l'arbitraire ne soit démontré - qu'il était question de monter un moteur d'un autre modèle "Ferrari" sur un modèle "F430".
Quoi qu'il en soit, la précision de fait que le recourant voudrait apporter est difficilement intelligible. Selon l'état de fait retenu - qui n'a pas été taxé d'arbitraire sur ce point -, son but est de vendre des jantes automobiles. Or la décision attaquée ne l'empêche nullement de vendre de telles jantes. Il explique - pour démontrer l'absence de toute volonté de tromper les clients - qu'il a l'intention de vendre une véritable "Ferrari". Pourtant, la décision attaquée ne s'oppose pas à ce qu'il revende une voiture de marque "Ferrari". En revanche, s'il veut vendre une voiture sous sa propre marque, il doit respecter les droits de la propriété intellectuelle d'autrui et les règles prohibant la concurrence déloyale. Il n'y a pas à sortir de ce schéma. Le fait que d'autres constructeurs aient accepté, expressément ou tacitement, que des tiers «rebadgent» leurs voitures ne lie évidemment pas l'intimée et ne saurait l'empêcher de faire valoir ses droits. Au demeurant, le recourant tente de déformer les faits jusqu'à l'absurde. Il n'est en effet pas possible de concevoir que des gens raisonnables achetassent une prétendue "véritable Ferrari", sur laquelle on aurait simplement enlevé la marque et le logo, pourtant prestigieux, pour y substituer une marque et un logo, lesquels ne jouissent manifestement pas de la même réputation, mais éveillent bien plutôt l'idée d'une copie ou d'une contrefaçon. Le projet commercial du recourant implique la volonté de faire croire aux clients potentiels qu'il vend une série particulièrement exclusive des voitures de la célèbre marque "Ferrari". Partant, il tend à se présenter sans droit comme un héritier de cette tradition. Les circonstances ne peuvent pas être comprises d'une autre façon.
Il n'y a pas trace d'arbitraire dans l'établissement des faits.
2.3 Le recourant ne discute pas de manière précise les conditions d'application des dispositions auxquelles la cour cantonale s'est référée, ni les conséquences juridiques qu'elle en a tirées. On peut même se demander si le recours n'est pas irrecevable, faute d'exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Un bref rappel des principes sera en tout cas suffisant pour liquider la querelle.
2.4 La LCD ne revêt pas un caractère subsidiaire par rapport aux diverses lois qui protègent la propriété intellectuelle; son but est simplement différent (ATF 129 III 353 consid. 3.3 p. 358; arrêt 4A_86/2009 du 26 mai 2009 consid. 4.1, non publié in ATF 135 III 446, mais in JdT 2010 I p. 665). Chaque disposition en matière de propriété intellectuelle ou de concurrence déloyale a son propre champ d'application. Il est parfaitement possible - comme l'a retenu en l'espèce la cour cantonale - qu'un même comportement puisse tomber sous le coup de plusieurs dispositions différentes. Dès le moment où les conditions d'application d'une disposition sont réunies et justifient la mesure prise, il n'y a plus d'intérêt à se demander si la même mesure pourrait être prise également sur la base d'une autre disposition.
A teneur de l'art. 2 LCD, est déloyal et illicite tout comportement ou pratique commercial qui est trompeur ou qui contrevient de toute autre manière aux règles de la bonne foi et qui influe sur les rapports entre concurrents ou entre fournisseurs et clients. L'acte de concurrence déloyale doit être objectivement propre à influencer le marché (ATF 136 III 23 consid. 9.1 p. 44). Il n'est toutefois pas nécessaire que l'auteur de l'acte soit lui-même dans un rapport de concurrence avec la ou les entreprises qui subissent les effets de la concurrence déloyale (ATF 126 III 198 consid. 2c/aa p. 202). La règle générale exprimée à l'art. 2 LCD est concrétisée par les cas particuliers énoncés aux art. 3 à 8 LCD, mais elle reste applicable pour les hypothèses que ces dispositions ne viseraient pas (ATF 132 III 414 consid. 3.1 p. 420 s.; 131 III 384 consid. 3 p. 388).
L'art. 3 let. b LCD considère comme déloyal le fait de fausser le jeu de la concurrence en donnant des indications inexactes ou fallacieuses (sur la notion d'indication inexacte ou fallacieuse : cf. ATF 132 III 414 consid. 4.1.2 p. 421 s.).
L'art. 3 let. d LCD qualifie de déloyal le comportement de celui qui prend des mesures de nature à faire naître une confusion entre ses propres biens ou services et ceux d'autrui (sur la notion de risque de confusion: cf. ATF 135 III 446 consid. 6.1 p. 450 s.). Le risque de confusion peut d'ailleurs n'être qu'indirect, en ce sens qu'il suffit que l'auteur fasse naître l'idée que deux produits, en soi distincts, proviennent de la même entreprise (arrêt 4A_467/2007 du 8 février 2008 consid. 4.2, in sic! 6/2008 p. 454).
L'art. 3 let. e LCD traite de déloyal le comportement, propre à influencer le marché, qui consiste à comparer deux concurrents de façon inexacte, fallacieuse, inutilement blessante ou parasitaire. Tombe notamment sous le coup de cette disposition le fait de s'approprier la réputation d'autrui (ATF 135 III 446 consid. 7.1 p. 460).
Il a été jugé que faire croire faussement à un lien entre deux entreprises tombe sous le coup de la clause générale de l'art. 2 LCD (arrêt 4A_128/2012 du 7 août 2012 consid. 4.2.2, in sic! 1/2013 p. 41; cf. également : ATF 131 III 384 consid. 5.1 in fine).
Selon l'art. 9 al. 1 let. a LCD, celui qui, par un acte de concurrence déloyale, subit une atteinte dans sa clientèle, son crédit ou sa réputation professionnelle, ses affaires ou ses intérêts économiques en général ou celui qui en est menacé, peut demander au juge de l'interdire, si elle est imminente.
La LPM protège la marque en tant que signe propre à distinguer les produits ou les services d'une entreprise de ceux d'autres entreprises (art. 1 al. 1 LPM). Le droit à la marque appartient à celui qui la dépose le premier (art. 6 LPM) et confère au titulaire le droit exclusif d'en faire usage pour distinguer les produits ou les services enregistrés et d'en disposer (art. 13 al. 1 LPM). L'art. 15 LPM accorde une protection particulière aux marques de haute renommée (sur cette notion : cf. ATF 130 III 748 consid. 1.1 p. 752 s.), puisque le titulaire d'une telle marque peut même s'opposer à ce qu'il en soit fait usage pour des biens ou services de nature différente (ATF 130 III 748 consid. 1.3 p. 753 s.). La personne qui subit ou risque de subir une violation de son droit à la marque peut demander au juge de l'interdire, si elle est imminente (art. 55 al. 1 let. a LPM).
La LDA protège l'auteur d'une oeuvre, en tant que création de l'esprit, littéraire ou artistique, ayant un caractère individuel (art. 2 al. 1 LDA). On considère notamment comme créations de l'esprit les oeuvres des arts appliqués (art. 2 al. 2 let. f LDA). L'auteur est la personne physique qui a créé l'oeuvre (art. 6 LDA), mais celui-ci peut céder ses droits patrimoniaux (art. 16 al. 1 LDA). L'auteur a le droit exclusif de décider de l'utilisation de son oeuvre (art. 10 al. 1 LDA). La personne qui subit ou risque de subir une violation de son droit d'auteur peut demander au juge de l'interdire, si elle est imminente (art. 62 al. 1 let. a LDA).
2.5 Quant à la première défense contestée (celle de se référer à l'histoire des automobiles "Ferrari"), elle peut s'appuyer sur plusieurs des dispositions qui viennent d'être citées, dont chacune suffit à justifier la mesure prise. Si, pour présenter son produit, le recourant se réfère à la première voiture créée par Enzo Ferrari et aux véhicules qui l'ont suivie en portant alors la marque "Ferrari", il est manifeste qu'il tend à inscrire sa voiture dans cette lignée pour qu'elle apparaisse comme l'une de ses héritières. Sachant qu'Enzo Ferrari a créé, après la seconde guerre mondiale, l'entreprise intimée qui perpétue la tradition de ses voitures, il est manifeste qu'une telle évocation suggère l'idée qu'il existe un lien juridique entre le recourant et l'entreprise intimée, ce qui est faux et tombe déjà sous le coup de l'art. 2 LCD. On peut aussi considérer qu'il tente ainsi d'exploiter à son profit, de manière parasitaire, la réputation d'autrui, ce qui tombe sous le coup de l'art. 3 let. e LCD. Même si sa voiture se distingue suffisamment, par sa marque et son logo, des voitures "Ferrari", la mention de l'histoire des voitures "Ferrari" est de nature à créer une confusion indirecte, les clients pouvant penser qu'il s'agit d'une série spéciale produite par l'entreprise intimée.
A propos de la deuxième interdiction contestée (celle d'utiliser l'image ressemblant à la "F430"), la cour cantonale a retenu - de manière à lier le Tribunal fédéral - que l'image litigieuse correspond à s'y méprendre à la forme de la voiture "Ferrari F430". Il appert ainsi qu'en se servant de ce signe, le recourant a derechef engendré dans l'esprit du public une confusion entre sa voiture et le bolide précité, laquelle tombe sous le coup de l'art. 3 let. d LCD.
Au sujet de la troisième et dernière interdiction litigieuse (celle d'utiliser les signes "Auto Avio Costruzioni", "AAC 1260" ou "AAC" sur des véhicules automobiles), la cour cantonale a constaté en fait - d'une manière qui lie le Tribunal fédéral (art. 105 al. 1 LTF) - que les passionnés de voitures "Ferrari" savent que l'"AAC 815" est la première voiture construite par Enzo Ferrari. Ainsi, pour ce cercle restreint d'amateurs, l'utilisation, sur une voiture élaborée à partir d'un modèle "Ferrari", des mots "Auto Avio Costruzioni" ou "AAC" est de nature à susciter l'idée qu'il s'agit d'une série spéciale, en hommage à la première voiture d'Enzo Ferrari, réalisée par l'entreprise intimée. Dans ce cas également, on discerne clairement une volonté de faire croire à un lien juridique entre le recourant et l'entreprise intimée (art. 2 LCD), une volonté de s'approprier la réputation d'autrui (art. 3 let. e LCD) et un risque de confusion indirecte (art. 3 let. d LCD), les clients pouvant croire qu'il s'agit d'un modèle spécial construit par l'intimée.
Il suit de là que les trois interdictions contestées sont fondées au regard du droit fédéral.
En conséquence, le recours doit être rejeté.
3. Les frais judiciaires et les dépens sont mis à la charge du recourant qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF)
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 avril 2013
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet