Faits :
A.
A.a. Y._ SA (demanderesse), à J._, était propriétaire de l'intégralité du capital-actions de la société A._ SA (ci-après: la société), elle-même propriétaire de l'Hôtel T._, à Z._ (VD).
Le 23 janvier 2006, la demanderesse (désignée comme "le vendeur"), représentée par le président de son conseil d'administration M._, qui est un homme d'affaires britannique, d'une part, B._ SA (désignée comme "l'acheteur"; ci-après: B._), à K._, dont l'administrateur président est l'homme d'affaires franco-britannique N._, ainsi que N._ lui-même en qualité de codébiteur solidaire, d'autre part, ont signé un contrat intitulé "contrat de vente d'actions et de cession de créance".
Selon les art. 1 et 2 de ce contrat, la demanderesse cédait à B._, moyennant paiement de la somme de 38'700'000 fr. en capital, (a) 24'000 actions nominatives entièrement libérées, d'une valeur nominale de 100 fr. chacune, de A._ SA représentant 100% du capital-actions de la société et (b) la créance actionnaire du "Vendeur" contre la société à la date du Closing. D'après l'art. 2, le prix de vente était payable par le versement d'un premier acompte de 13'500'000 fr. au Closing, de cinq acomptes de 2'500'000 fr. chacun, plus intérêts, payables entre le 22 janvier 2007 et le 20 janvier 2011 et, enfin, par le transfert de l'acheteur au vendeur avant le 31 décembre 2007 de la propriété de 25 appartements/studios, qui seraient construits dans une résidence de Miami Beach (Floride, USA). L'art. 3 stipulait que le transfert de propriété des actions s'effectuerait au Closing. L'art. 6 précisait que le Closing, qui devait intervenir au plus tard le 1er février 2006, était subordonné à la confirmation des financements bancaires requis par B._, laquelle s'engageait à déployer tous ses efforts pour les obtenir; dans l'hypothèse où les financements ne seraient pas obtenus, les parties contractantes acceptaient de renoncer à toutes prétentions l'une envers l'autre, à l'exception des engagements résultant d'un accord de confidentialité.
X._ (défendeur) est un homme d'affaires français, qui exerce principalement une activité de courtier spécialisé dans l'immobilier d'hôtellerie et de consultant dans les fusions/acquisitions d'entreprise.
Il a été retenu que dans l'opération sus-décrite, X._ est intervenu en tant que mandataire de B._ et de N._, et qu'il avait déjà été mandaté par N._ ou une de ses sociétés en rapport avec l'acquisition par ce dernier de trois établissements de luxe à Z._, soit les hôtels U._, V._ et W._.
A.b. Le 6 juin 2006, la demanderesse et le défendeur ont conclu un contrat de courtage.
Selon le "Préambule" de ce contrat, le mandataire (i. e. le défendeur) a proposé au mandant (i. e. la demanderesse) "ses services d'intermédiaire en vue de lui présenter un acquéreur pour les actions de la (société)......".
L'art. 1 dispose que le mandant charge le mandataire de la recherche d'un acquéreur pour les 24'000 actions de la société, le "prix de présentation" étant de 60 millions de francs.
L'art. 2 de l'accord, qui a pour objet les "Obligations du mandataire", a la teneur suivante:
"Le Mandataire s'engage à assister et conseiller le Mandant et à exécuter (sa mission) avec toute la diligence requise par les circonstances.
Le Mandataire s'engage également à tenir le Mandant régulièrement informé de l'exécution du mandat et à suivre les instructions données par ce dernier dans le cadre de l'objet du présent mandat.
Le mandataire sélectionnera sur dossier complet les acquéreurs potentiels en fonction de leur solvabilité et de leur sérieux, avec toute la discrétion indispensable.
Chaque acquéreur sera dénoncé au vendeur par mail ou fax ".
Le libellé de l'art. 3, 1er par., de l'accord, dont le titre est "Rétribution du mandataire", donne lieu à des divergences d'interprétation entre les cocontractants. Pour le défendeur, il faut s'en tenir au texte même de l'art. 3 et comprendre que la rétribution du mandataire est due en cas de vente à un acquéreur qui aurait été agréé par le mandant ou à tout autre acquéreur désigné par le mandataire. Pour la demanderesse, le sens de cette disposition est que la rétribution du courtier mandataire dépend de la vente des actions de la société à un acquéreur, que ce soit directement à ce dernier ou indirectement, par le biais d'une société contrôlée par celui-ci, pour autant cependant que l'acquéreur du capital-actions soit agréé par le mandant.
L'art. 3, 2e par., contient une "échelle d'intéressement" où la commission de courtage, d'un montant minimum garanti de 1'250'000 fr., peut atteindre au maximum le montant de 2'000'000 fr. pour un prix de cession des actions compris entre 58 et 59 millions de francs.
Dès la signature du contrat de courtage, le défendeur s'est lancé dans la recherche d'investisseurs souhaitant acquérir les actions de la société. Il a fait paraître à deux reprises une publicité dans le journal.... Le défendeur a fait signer des lettres d'intention et de confidentialité aux personnes intéressées à l'achat des actions, ces dernières devant préciser si elles agissaient pour leur propre compte ou pour celui d'un client, étant donné que, comme le précisait une clause desdites lettres, "l'accord des parties relève d'un fort intuitu personae ".
A.c. B._ et N._ n'ayant pas exécuté le contrat de vente d'actions signé le 23 janvier 2006, Y._ SA a ouvert action à leur encontre devant la Cour civile du Tribunal cantonal vaudois, par demande du 13 septembre 2006, pour qu'ils exécutent ledit contrat.
Le 5 octobre 2006, la demanderesse et le défendeur ont passé un "accord de coopération et de rétribution", par lequel le second s'est engagé à soutenir la première dans son action en exécution du contrat de vente d'actions, moyennant perception du 33% de la totalité des sommes recouvrées par la demanderesse et/ou dédommagements ou compensations accordés à celle-ci, sous déduction des frais de justice et d'avocat engagés.
Après avoir communiqué en octobre 2006 à la demanderesse le nom de quatre acquéreurs potentiels, le défendeur lui a présenté à la fin 2006 C._ SA (ci-après: C._), à S._ (VD), comme acheteuse potentielle de la société; le président du conseil d'administration de C._ était O._.
Lors d'une rencontre tenue à Z._ le 13 décembre 2006, les organes de C._ ont exposé à M._ qu'ils allaient mettre sur pied un partenariat avec un groupe du pays H._, soit E._ Company, à I._, dans le but de procéder à la rénovation d'hôtels de haut de gamme. M._, domicilié à Z._ et désireux d'y conserver une bonne image, s'est dit soucieux de ne pas vendre la société à n'importe qui et s'est déclaré intéressé par le concept développé par C._.
Le 19 décembre 2006, B._ et N._ ont adressé une télécopie à la demanderesse, lui annonçant que B._ se déclarait prête à exécuter en date du 21 décembre 2006 le contrat de vente "tel qu'amendé" par la remise d'un chèque bancaire de 13'500'000 fr. (augmenté d'intérêts) à titre de premier acompte; signalant n'avoir pas obtenu les crédits bancaires requis, B._ exposait que le complément de financement se ferait en fonds propres.
La demanderesse n'a pas donné suite à cette télécopie. Toujours le 19 décembre 2006, elle a déclaré qu'elle se désistait de l'action en exécution contractuelle qu'elle avait ouverte devant les tribunaux vaudois le 13 septembre 2006.
B._ et N._, par requête de mesures provisionnelles et préprovisionnelles du 27 décembre 2006, ont alors requis qu'interdiction soit faite à la demanderesse de disposer du capital-actions de la société. Le défendeur a été tenu au courant du dépôt de cette requête et de ses suites.
Entre janvier et avril 2007, la demanderesse et C._ sont entrées en négociation.
Par demande du 29 mars 2007, B._ et N._ ont à leur tour ouvert action contre la demanderesse devant la Cour civile en exécution du contrat de vente signé le 23 janvier 2006. Le dépôt de cette action, qui suivait la requête de mesures provisoires du 27 décembre 2006, a généré de l'animosité entre M._ et N._. Le défendeur, qui a eu connaissance dès mars 2007 du dépôt de cette demande, connaissait le conflit existant entre les précités.
Lors de l'audience de mesures provisionnelles du 2 avril 2007, la demanderesse a déclaré qu'elle ne souhaitait plus nouer de relations contractuelles avec B._ et N._, en raison d'une mauvaise entente avec eux. Par ordonnance de mesures provisoires du même jour, le Juge instructeur de la Cour civile a rejeté la requête de B._ et N._, aux motifs qu'ils n'avaient pas accepté les conditions de l'accord du 23 janvier 2006, mais avaient formulé une nouvelle offre, qui ne liait pas la demanderesse et que cette dernière avait refusée. Il a été retenu que le défendeur savait que le juge instructeur avait reconnu, en instance provisionnelle, le droit de la demanderesse de refuser l'exécution du contrat du 23 janvier 2006.
Le 24 mai 2007, en réponse à une lettre de C._ du 10 mai 2007 faisant état de la conclusion d'un partenariat plus large avec le groupe du pays H._, la demanderesse lui a fait savoir que selon des statistiques, le taux d'occupation des chambres de l'hôtel dont elle était propriétaire à Z._ s'améliorait nettement, de sorte qu'elle n'était plus certaine de vendre les actions de la société. La demanderesse a toutefois continué les pourparlers avec C._.
Au début juillet 2007, le défendeur a présenté Q._, qui réside en Amérique du Sud et n'a aucune expérience dans le domaine hôtelier, à M._ comme étant intéressée à acheter le capital-actions de la société, alors qu'en réalité la prénommée ne l'était pas. Le défendeur et N._, dont dame Q._ a été l'amie intime durant plusieurs années, avaient proposé à cette dernière de rechercher si la vente des actions de la société était toujours d'actualité en lui proposant de les acheter pour le compte de N._.
Le 17 juillet 2007, P._, comptable et expert en finances exploitant une fiduciaire dont le défendeur était client, a adressé à la demanderesse un courrier à l'en-tête de D._ SA (ci-après: D._), société avec siège à Genève qui, selon le pli, était contrôlée par dame Q._ mais qui en fait n'existait pas encore; P._ y a expliqué que Q._ souhaitait acquérir "l'Hôtel T._" au prix global de 55'000'000 fr.; à la lettre de P._ était joint un projet de convention de vente d'actions et de cession de créances entre la demanderesse et D._, dont P._ précisait qu'il avait été préparé avec l'assistance du défendeur.
Le 23 juillet 2007, par un nouveau courrier portant la même en-tête, P._ a réitéré son offre d'achat, en y joignant une copie d'un chèque bancaire de 35'000'000 fr. émis au nom de D._.
Il n'a pas été établi que la demanderesse ait donné une quelconque suite à ces deux plis.
Il résulte des constatations cantonales que la société D._ a été créée le 19 juillet 2007, qu'elle avait alors P._ comme administrateur (remplacé à cette charge le 8 août 2007 par l'avocat R._) et que le propriétaire économique de ladite société était N._.
Le 23 juillet 2007, un projet de contrat de vente a été établi entre la demanderesse et C._.
Le 25 juillet 2007, le défendeur a informé la demanderesse que C._, dans un courriel envoyé le 24 juillet 2007, lui a confirmé qu'elle avait convenu et signé un "plan d'affaires" avec son partenaire E._ Company laissant "assez de latitude" pour l'acquisition des actions; le défendeur a transmis ce courriel à la demanderesse.
Par courrier du 26 juillet 2007, le défendeur a écrit à la demanderesse ce qui suit:
" (...)
Je voulais vous informer que (O._)... va faire l'opération de toute manière, et il se réserve le droit de l'apporter à ses partenaires.
1/ L'acquéreur est donc (C._) ou toute société qu'il désignerait, représenté par O._ et (un tiers) administrateurs agissant conjointement.
(...) ".
Au début du mois d'août 2007, le défendeur a fait pression sur la demanderesse pour la pousser à conclure au plus vite, affirmant que C._ le souhaitait. Ainsi, le 7 août 2007, il a envoyé trois courriels à la demanderesse pour l'enjoindre à ne pas repousser la signature du contrat de vente d'actions.
En tout cas avant le 8 août 2007, à une date restée inconnue, D._, représentée par P._, désignée en tant que fiduciante, et C._, représentée par deux administrateurs, désignée en tant que fiduciaire, ont signé un "contrat fiduciaire". D'après l'art. 1 de cette convention, la fiduciante D._, souhaitant conserver toute la confidentialité sur la transaction en cause, confiait le mandat à C._ d'effectuer, en son nom mais pour le compte et aux risques et périls de D._, notamment l'acquisition de l'entier du capital-actions de la société A._ SA par la signature d'un "Sale and Purchase Agreement" avec la demanderesse. A teneur de l'art. 5, le fiduciaire s'engageait à céder à la fiduciante tous ses droits résultant du "Sale and Purchase Agreement", simultanément à la remise des actions à la fiduciante. Selon l'art. 6, le fiduciaire devait toucher pour son activité une rémunération de 500'000 fr.
Par contrat du 13 août 2007, rédigé en anglais et intitulé "Sale and Purchase Agreement", la demanderesse a vendu à C._ toutes les actions de la société pour le prix de 43'161'037 fr. Le contrat contenait, en exergue, une clause ayant la teneur suivante : "BUYER reserves the right to transfer the shares of the Company to any third party" (traduction libre: l'acheteur se réserve le droit de transférer les actions de la société à n'importe quel tiers). Il n'a pas été constaté que la demanderesse ait cherché à savoir quel était le financement obtenu par C._, ni qui était derrière ce financement.
L'intégralité du prix de vente convenu a été payé entre le 13 août 2007 et le 21 septembre 2007.
A.d. Le 15 août 2007, le défendeur a conclu avec N._ un accord au terme duquel celui-là avait droit à une rémunération pour sa participation à l'acquisition par celui-ci du capital-actions de la société.
Le 20 août 2007, le défendeur a adressé à la demanderesse une facture de 1'635'000 fr. pour son activité de courtier, tenant compte d'un acompte déjà perçu de 65'000 fr. La demanderesse a réglé cette facture le 24 août 2007.
Le 25 septembre 2007, le défendeur a envoyé à la demanderesse une nouvelle facture en paiement d'un reliquat d'honoraires de 300'000 fr., dû, à ses dires, dès l'instant où le prix de vente définitif des actions s'est monté à 59'924'249 fr. La demanderesse n'a pas payé cette seconde note.
Par courrier électronique du 28 septembre 2007, le défendeur a informé la demanderesse qu'un administrateur de C._ menait d'importantes négociations singulièrement avec E._ Company.
Par télécopie du 10 octobre 2007, un administrateur de C._ a révélé à la demanderesse que c'était D._ qui se trouvait derrière C._, et donc N._. Le 12 octobre 2007, M._ a fait part à cet administrateur de sa déception.
Mise en demeure le 11 octobre 2007 par le défendeur de payer le solde des honoraires de courtage, la demanderesse a demandé qu'il détaille l'activité qu'il a déployée pour le compte de N._ et/ou D._, laquelle a permis à ces derniers de prendre le contrôle de la société en violation des instructions qu'elle avait délivrées.
L'hôtel exploité par la société avait essuyé des pertes pendant cinq ans avant la vente des actions de celle-ci. A partir de 2007, il a dégagé des bénéfices et réalisé en 2008 un exercice record.
B._ et N._ ont laissé se périmer l'action qu'ils avaient ouverte contre la demanderesse le 29 mars 2007; le Juge instructeur de la Cour civile l'a constaté le 12 mars 2010 et a rayé la cause du rôle.
Le 5 janvier 2010, le défendeur a fait notifier une poursuite à la demanderesse pour une somme totalisant 3'709'000 fr. en capital, laquelle a été frappée d'opposition.
B.
B.a. Le 21 décembre 2007, la demanderesse a obtenu du Juge de paix du district de Vevey le séquestre des avoirs du défendeur déposés auprès d'une banque à Z._; les montants séquestrés se sont élevés à 369'154 fr.50 et à 11'678 fr.85. Elle a fourni des sûretés à hauteur de 100'000 fr. pour couvrir le préjudice pouvant être causé par la mesure.
Par arrêt du 28 août 2008 rendu par la Cour des poursuites et faillites du Tribunal cantonal vaudois, le séquestre a été levé. Cette décision a été confirmée par le Tribunal fédéral dans l'arrêt 5A_817/2008 du 30 juin 2009.
B.b. Le 27 décembre 2007, la demanderesse a ouvert action contre le défendeur devant la Cour civile. En dernier lieu, elle lui a réclamé remboursement du montant de 1'700'000 fr., plus intérêts à 5% l'an dès le 24 août 2007, correspondant à la commission versée à la suite de la vente à C._ du capital-actions de la société dont elle était propriétaire; elle a encore requis qu'ordre soit donné au Juge de paix de libérer à son profit les sûretés constituées pour couvrir le préjudice occasionné par le séquestre.
Le défendeur a conclu au rejet des conclusions de la demanderesse; il a formé une reconvention et conclu au versement en sa faveur de 300'000 fr. avec intérêts à 5% l'an dès le 23 août 2007 à titre de solde de son salaire de courtier, de divers montants en réparation du dommage subi pour séquestre injustifié, ainsi que de 2'100'002 fr.17 avec les mêmes intérêts en exécution de l'accord de coopération et de rétribution passé entre parties le 5 octobre 2006.
La demanderesse s'est opposée aux conclusions reconventionnelles.
Par jugement du 2 mai 2014, dont les considérants ont été notifiés le 22 avril 2015, la Cour civile a (I) condamné le défendeur à rembourser à la demanderesse le montant de 1'700'000 fr., plus intérêts à 5% l'an dès le 25 août 2007, représentant la commission de courtage qu'il a encaissée, (II) ordonné au Juge de paix du district de la Riviera-Pays-d'Enhaut de libérer en faveur de la demanderesse les sûretés, en capital et intérêts, constituées selon l'ordonnance de séquestre du 21 décembre 2007, (III et IV) statué sur les frais et dépens, (V) rejeté toutes autres ou plus amples conclusions.
Le défendeur a appelé de ce jugement, concluant principalement à la réforme du chiffre I en ce sens que la demanderesse lui doit paiement de la somme de 300'000 fr., avec intérêts à 5% l'an dès le 23 août 2007, et à ce qu'un chiffre Ibis soit ajouté au dispositif, prévoyant que l'opposition de celle-ci à la poursuite du 5 janvier 2010 soit levée à concurrence du montant réclamé au chiffre I.
Par arrêt du 3 août 2015, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel, confirmé le jugement de la Cour civile et dit que les frais judiciaires de deuxième instance, arrêtés à 21'000 fr., sont mis à la charge du défendeur.
C.
Le défendeur X._ exerce un recours en matière civile au Tribunal fédéral. Il conclut principalement à ce que l'action de la demanderesse soit entièrement rejetée, que celle-ci lui doive paiement de 300'000 fr. avec intérêts à 5% l'an dès le 23 août 2007, que l'opposition à la poursuite du 5 janvier 2010 soit levée à concurrence de ce montant, que les frais judiciaires de deuxième instance soient arrêtés à 10'000 fr. et que la demanderesse lui doive des dépens de première et seconde instances, à fixer à dire de justice. Subsidiairement, il requiert que l'arrêt attaqué soit annulé, la cause étant retournée à la Cour d'appel pour nouvelle décision dans le sens des considérants.
L'intimée propose le rejet du recours, tout en s'en remettant à justice à propos du montant des frais judiciaires de deuxième instance.
Considérant en droit :
1.
1.1. Interjeté en temps utile (art. 100 al. 1 LTF) par le défendeur qui a entièrement succombé sur ses conclusions tant libératoires que reconventionnelles et qui a ainsi la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse dépasse largement 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est recevable au regard de ces dispositions.
1.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 140 III 264 consid. 2.3 p. 266; 137 I 58 consid. 4.1.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas lié par l'argumentation des parties (ATF 138 II 331 consid. 1.3 p. 336) et apprécie librement la portée juridique des faits; il s'en tient cependant aux questions juridiques que la partie recourante soulève dans la motivation du recours et ne traite donc pas celles qui ne sont plus discutées par les parties (art. 42 al. 2 LTF; ATF 137 III 580 consid. 1.3 p. 584).
2.
Dans l'arrêt attaqué, la cour cantonale a tout d'abord confirmé l'interprétation opérée par les premiers juges de l'art. 3, 1er par., de la convention conclue par les parties le 6 juin 2006, accord qu'elle a considéré comme étant un contrat de courtage de négociation. Elle a ainsi admis que cette clause comporte une coquille et qu'il faut y remplacer les termes "désigné par le Mandataire" par les termes "désigné par le Mandant". Elle a ainsi interprété cette disposition comme stipulant que l'acquéreur du capital-actions de la société devait être agréé par la demanderesse (mandante), que cette acquisition se fasse directement par l'acquéreur ou indirectement, au moyen d'une société contrôlée par ce dernier.
La cour cantonale a ensuite retenu que le défendeur a participé activement à la manoeuvre ayant consisté à tromper la demanderesse sur le véritable acheteur des actions de la société et qu'il a agi dans l'intérêt d'un tiers contractant au mépris de ses obligations vis-à-vis de la demanderesse. Le défendeur savait que la demanderesse était en conflit ouvert avec N._ et qu'elle ne voulait plus lui vendre les actions de la société. L'autorité cantonale en a inféré que le défendeur avait perdu son droit au salaire en vertu de la première hypothèse visée par l'art. 415 CO, qui recouvrait précisément cette situation. Pour la cour cantonale, la seconde hypothèse de l'art. 415 CO (prohibition du double courtage de négociation générant un conflit d'intérêts) est également réalisée, car il importe peu à cet égard que la promesse de N._ de rémunérer le défendeur pour sa participation à l'acquisition du capital-actions de la société ait eu lieu postérieurement (deux jours plus tard) à la vente desdites actions à C._.
3.
Dans un premier moyen, le recourant s'en prend, sans invoquer une disposition légale, à l'interprétation objective de l'art. 3, 1er par., du contrat conclu le 6 juin 2006, dont la qualification de courtage de négociation (art. 413 al. 1 in fine CO) ne fait pas débat.
Il prétend que la cour cantonale a considéré erronément que le terme "mandataire" de cette clause devait être remplacé par "mandant". A l'en croire, selon la lettre de l'accord, la rétribution du mandataire était due en cas de vente des actions à un acquéreur agréé par la demanderesse ou à tout autre acquéreur désigné par le défendeur.
3.1. Si une volonté réelle et commune des parties contractantes n'a pas été constatée, comme c'est le cas en l'espèce, il faut recourir à l'interprétation objective. Lorsqu'il procède à l'interprétation de la volonté objective, le juge détermine le sens que, d'après les règles de la bonne foi, chacune des parties pouvait et devait raisonnablement prêter aux déclarations de volonté de l'autre (application du principe de la confiance; ATF 133 III 61 consid. 2.2.1 p. 67). Il doit donc rechercher comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances (ATF 136 III 186 consid. 3.2.1 p. 188). L'interprétation objective s'effectue non seulement d'après le texte et le contexte des déclarations, mais également sur le vu des circonstances qui les ont précédées et accompagnées, à l'exclusion des événements postérieurs (ATF 132 III 626 consid. 3.1 in fine). Même si la teneur d'une clause contractuelle paraît claire à première vue, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances que son texte ne restitue pas exactement le sens de l'accord conclu (ATF 136 III 186 consid. 3.2.1 p. 188 et les arrêts cités).
3.2. L'art. 3, 1er par., du contrat de courtage de négociation conclu le 6 juin 2006, clause qui porte le titre "Rétribution du mandataire", a la teneur suivante:
"En cas de vente des actions de la Société à un acquéreur qui aura été agréé par le vendeur, par cession il est entendu une cession des actions directement ou indirectement ou ( sic) toute société contrôlée par ce dernier ou à tout autre acquéreur désigné par le Mandataire, les services rendus par le Mandataire seront rémunérés par le versement d'un honoraire (sic) de conseil en montage financier de 3% du montant total de la vente des actions, dette incluse (...), ramenée d'un commun accord à l'objectif suivant, avec un minimum garanti de CHF 1'250'000 en cas de cession". (Suit une "échelle d'intéressement").
Pour le recourant, il y a lieu de recourir à une interprétation littérale et d'admettre que le courtier a droit à son salaire en cas de vente des actions de la société à un acquéreur agréé par l'intimée ou à tout autre acquéreur désigné par le courtier.
Il est indéniable que la disposition est mal rédigée, dans la mesure où la proposition principale, qui a trait à l'obligation du mandant de rémunérer le courtier en cas de succès, est coupée par une longue incise expliquant ce qu'il faut entendre pas "cession" des actions.
Il n'en demeure pas moins que l'interprétation textuelle préconisée par le recourant se heurte d'emblée au "Préambule" du contrat de courtage où il est dit que le mandataire propose à l'intimée "ses services d'intermédiaire en vue de lui présenter un acquéreur pour les actions de la (société)......". Si le défendeur doit donc proposer un acquéreur, il faut comprendre raisonnablement qu'il ne lui appartient pas de le désigner, c'est-à-dire, selon le sens ordinaire des mots, de le choisir lui-même.
De plus, l'art. 2, 3e et 4e par., du contrat de courtage, qui traite des obligations du mandataire, prévoit que le mandataire devra sélectionner sur dossier complet les acquéreurs potentiels en fonction de leur solvabilité et de leur sérieux, avec toute la discrétion indispensable, et que chaque acquéreur sera dénoncé au vendeur par mail ou fax. Cette obligation de sélectionner les amateurs selon des critères précis et de transmettre à la demanderesse les dossiers ainsi constitués est clairement incompatible avec la faculté qu'aurait le défendeur de désigner lui-même les acquéreurs.
Au vu de la teneur du préambule et de l'art. 2, 3e et 4e par., du contrat, lesquels, dans l'ordre des clauses adopté par les parties, précèdent la clause litigieuse, les parties devaient comprendre objectivement que l'art. 3, 1er par., de la convention comportait un lapsus calami et que l'expression "désigné par le Mandataire" devait être remplacée par "désigné par le Mandant".
L'interprétation purement littérale du recourant, qui fait abstraction des autres clauses du contrat, n'est pas conforme aux principes régissant l'interprétation normative. Pour les parties, la clause en question devait ainsi être comprise de bonne foi comme conditionnant le droit au salaire du courtier à la vente des actions à un acquéreur agréé par la demanderesse (vendeur), que l'acquisition ou "cession" se fasse directement par l'acheteur ou, indirectement, à savoir à l'aide d'une société contrôlée par celui-ci.
La cour cantonale, qui a interprété dans ce sens la disposition litigieuse, n'a pas enfreint l'art. 18 CO. Le moyen doit être rejeté.
4.
A suivre le recourant, l'autorité cantonale a violé l'art. 415 CO en considérant qu'en sa qualité de courtier il n'a pas respecté son obligation de fidélité envers la demanderesse en permettant à N._ de devenir le détenteur économique du capital-actions de la société, qu'il a agi dans l'intérêt du tiers contractant au mépris de ses obligations envers l'intimée et qu'il est déchu de son droit au salaire. Le recourant fait valoir que l'intimée n'a pas réagi au courriel du 26 juillet 2007 où il a indiqué à celle-ci que l'acheteur potentiel était C._ ou toute société qu'elle désignerait. Comme l'intimée aurait été mise au courant que les investisseurs du pays H._, partenaires de C._, rechignaient à financer l'opération, la première ne pouvait pas penser de bonne foi que C._ envisageait de leur transférer les actions de la société, en application de la clause de substitution du contrat de vente du 13 août 2007. Aux yeux du recourant, aucune directive claire ne lui a été donnée quant à la personne du cocontractant et il était indifférent à l'intimée de savoir qui allait acheter les actions de la société. On ignorerait d'ailleurs les motifs pour lesquels l'intimée n'aurait pas voulu conclure la vente avec N._. Enfin, l'intimée n'a subi aucun dommage dans la vente des actions conclue à la date susrappelée.
4.1. D'après l'art. 415 CO, le courtier perd son droit au salaire et au remboursement de ses dépenses, s'il agit dans l'intérêt du tiers contractant au mépris de ses obligations, ou s'il se fait promettre par lui une rémunération dans des circonstances où les règles de la bonne foi s'y opposaient.
Cette disposition vise des situations exceptionnelles, où le courtier agit tout à la fois pour son mandant et le tiers contractant (c'est-à-dire le cocontractant potentiel de son mandant), qui permettent de sanctionner le courtier par la déchéance de son droit au salaire, cela sans que le mandant n'ait à prouver un quelconque dommage; elle doit ainsi être interprétée de manière restrictive (FRANÇOIS RAYROUX, in Commentaire romand, Code des obligations, vol. I, 2e éd. 2012, n° 1 ad art. 415 CO; CHRISTIAN MARQUIS, Le contrat de courtage immobilier et le salaire du courtier, 1993, p. 156 et 158).
La première des deux hypothèses envisagées par la norme, qui est seule examinée ci-dessous, est celle où le courtier enfreint ses obligations de fidélité (cf. art. 412 al. 2 CO qui renvoie à l'art. 398 al. 2 CO) en agissant dans l'intérêt du tiers contractant au mépris des obligations qu'il assume envers son mandant (ATF 141 III 64 consid. 4.1 et les références doctrinales).
A raison de son obligation de fidélité, le mandataire est tenu de manière générale de sauvegarder les intérêts légitimes de son mandant (art. 321a al. 1 CO) et, par conséquent, de s'abstenir de tout ce qui peut lui nuire (ATF 117 II 560 consid. 3a p. 561; arrêt 4A_32/2008 du 20 mai 2008 consid. 3.1). Ainsi, lorsque le courtier exerce une activité en faveur de son mandant, son devoir de fidélité le contraint de veiller aux intérêts de celui-ci (ATF 110 II 276 consid. 2a p. 278). S'il a reçu des instructions qui concrétisent son devoir de fidélité, en particulier sur la qualité du cocontractant, il a le devoir de s'y conformer (PETER BURKHALTER, Maklerrecht in der Immobilienwirtschaft, SVIT-Kommentar, 2005, n. 7 ad art. 415 CO; TERCIER/FAVRE, Les contrats spéciaux, 4e éd. 2009, ch. 5617 p. 850).
4.2.
4.2.1. Pour traiter le moyen, au vu de la complexité factuelle et du nombre des intervenants, il convient de mettre le doigt sur les événements déterminants qui se sont déroulés entre janvier 2006 et octobre 2007 en rapport avec la vente du capital-actions de la société.
4.2.2. Il a été constaté (art. 105 al. 1 LTF) qu'en janvier 2006, la demanderesse, dont le président du conseil d'administration est M._, souhaitait vendre l'entier du capital-actions de la société, laquelle exploitait un hôtel de luxe à Z._, déficitaire depuis plusieurs années.
A cette fin, elle a conclu le 23 janvier 2006, comme venderesse, un contrat avec B._, comme acheteuse, dont l'administrateur président est N._, et avec N._ lui-même, en tant que codébiteur solidaire. Selon cet accord, la demanderesse cédait toutes les actions de la société à B._ contre paiement de la somme de 38'700'000 fr. en capital. Le transfert de la propriété des actions était prévu à la date du Closing, soit à la dernière étape du processus de vente, qui devait survenir le 1er février 2006 au plus tard.
Il a été retenu que le défendeur est intervenu dans l'opération en tant que mandataire de B._ et de N._.
Le transfert des actions n'a pas eu lieu au terme précité, B._ n'ayant apparemment pas obtenu les financements bancaires qu'elle avait requis.
Toujours désireuse de se séparer des actions de la société, la demanderesse, par contrat de courtage de négociation passé le 6 juin 2006, a chargé le défendeur de trouver un acquéreur pour ledit capital-actions au "prix de présentation" de 60 millions de francs et de conduire les négociations. N'ayant cependant pas renoncé à obtenir le prix de vente prévu par l'accord du 23 janvier 2006, elle a ouvert action devant la Cour civile contre B._ et N._, par demande du 13 septembre 2006, pour obtenir l'exécution de cet accord. Le 5 octobre 2006, elle a en outre passé un "accord de coopération et de rétribution" avec le défendeur, au terme duquel celui-ci s'engageait à la soutenir dans son action en justice, moyennant perception d'une part de 33% des sommes recouvrées et/ou des dommages-intérêts obtenus par la demanderesse.
A la fin de l'année 2006, parmi d'autres amateurs, le défendeur a présenté à la demanderesse C._ en tant qu'acheteuse potentielle des actions. Les organes de C._ ont exposé à M._ le 13 décembre 2006 que ladite société et un groupe du pays H._ allaient mettre leurs efforts en commun pour procéder à la rénovation d'hôtels de luxe, concept qui a suscité d'emblée l'intérêt de M._.
Par télécopie du 19 décembre 2006 envoyé à la demanderesse, B._ et N._ se sont dits prêts à exécuter le contrat de vente "tel qu'amendé", cela pour le 21 décembre 2006.
La demanderesse n'a pas donné suite à cette télécopie. Le 19 décembre 2006 également, elle s'est désistée de l'action en justice qu'elle avait intentée contre B._ et N._.
Le déroulement des faits permet de retenir que le 19 décembre 2006 la demanderesse avait renoncé à vendre les actions de la société à B._ et N._, tandis qu'elle était en pourparlers avec C._.
4.2.3. Mécontents de la tournure des événements, B._ et N._ ont déposé à l'encontre de la demanderesse le 27 décembre 2006 des mesures provisoires pour lui faire interdire de céder le capital-actions de la société, puis le 29 mars 2007 une demande devant la Cour civile tendant à l'exécution du contrat de vente signé le 23 janvier 2006. L'ouverture de ces procédures, dont le défendeur a été mis au courant dès mars 2007, a généré de l'animosité entre M._ et N._.
Le défendeur n'ignorait pas que les précités étaient dorénavant en conflit ouvert.
Lors de l'audience de mesures provisoires tenue le 2 avril 2007, la demanderesse a déclaré sans ambages qu'elle ne voulait plus passer de contrat avec B._ et N._. La requête de mesures provisionnelles de ces derniers a été rejetée par ordonnance du même jour, aux motifs que les requérants n'avaient pas accepté les termes de l'accord du 23 janvier 2006, mais formé une nouvelle offre de contracter qui ne liait pas Y._ SA et que celle-ci avait refusée, de sorte qu'il n'était pas possible de lui interdire provisoirement de disposer des actions de la société. Le défendeur a eu connaissance que le juge des mesures provisoires a reconnu le droit de la demanderesse de refuser l'exécution du contrat de vente.
Il apparaît ainsi que dès mars 2007 le défendeur savait que M._ avait du ressentiment envers N._ et que le premier ne voulait plus du tout faire d'affaires avec le second ou l'une de ses sociétés.
4.2.4. Le 24 mai 2007, la demanderesse a fait savoir à C._ que la rentabilité de l'Hôtel T._ s'améliorait, de sorte qu'elle hésitait désormais à vendre les actions de la société. Les négociations entre la demanderesse et C._ se sont toutefois poursuivies.
Afin de s'assurer que la demanderesse avait toujours l'intention de vendre le capital-actions, le défendeur lui a présenté au début juillet 2007 Q._, laquelle réside en Amérique du Sud et est une ancienne compagne de N._. A l'instigation du défendeur et de N._, la prénommée s'est présentée faussement à M._ comme étant intéressée, elle-même ou par l'entremise d'une société dont elle était prétendument propriétaire (i. e. D._), à acheter les actions, alors que la transaction devait en réalité être effectuée pour le compte de N._.
En juillet 2007, le défendeur a mis en oeuvre le comptable et expert en finances P._, exploitant d'une fiduciaire dont il était client.
Le 17 juillet 2007, P._ a envoyé à la demanderesse un pli à l'en-tête de D._ (société qui n'était pas encore créée et que dame Q._ semblait contrôler), en expliquant que la prénommée souhaitait acheter le capital-actions au prix global de 55'000'000 fr.; à ce courrier était joint un projet de convention de vente d'actions que P._ avait rédigé avec l'assistance du défendeur. P._ a réitéré son offre d'achat au nom de D._ le 23 juillet 2007. Il a été retenu que D._, créée le 19 juillet 2007 et dont P._ a été l'administrateur jusqu'au 8 août 2007, était dominée par N._, son propriétaire économique.
Le 25 juillet 2007, le défendeur a écrit à la demanderesse que C._ désirait toujours acheter les actions dans le cadre du partenariat qu'elle formait avec un groupe du pays H._. Le lendemain 26 juillet, le défendeur a précisé à la demanderesse que l'acquéreur était C._, laquelle se réservait le droit d'apporter l'affaire à ses partenaires.
Au début août 2007, le défendeur a pressé la demanderesse de conclure au plus vite avec C._.
Avant le 8 août 2007, à une date inconnue, D._, agissant par P._, et C._ ont conclu un contrat de fiducie, muni d'une clause de confidentialité. Selon cet accord, D._ (le fiduciant) chargeait C._ (le fiduciaire) d'acquérir en son nom propre le capital-actions de la société mais pour le compte du fiduciant, le fiduciaire s'engageant à céder au fiduciant tous les droits résultant du contrat de vente à conclure et à lui remettre les actions de la société. Le fiduciaire devait percevoir pour son activité une rémunération de 500'000 fr.
Il est établi qu'en août 2007 la demanderesse ignorait la passation du contrat de fiducie.
Le 13 août 2007, la demanderesse a vendu à C._ toutes les actions de la société pour le prix de 43'161'037 fr.; la convention contenait une clause autorisant l'acheteur à transférer les actions de la société à n'importe quel tiers.
Le 24 août 2007, la demanderesse a réglé la facture d'honoraires du défendeur, se montant à 1'700'000 fr., fondée sur les services rendus par celui-ci en exécution du contrat de courtage du 6 juin 2006. Elle n'a en revanche pas payé une nouvelle facture du courtier se montant à 300'000 fr.
Le 28 septembre 2007, le défendeur a encore écrit à la demanderesse que C._ était en phase de négociation notamment avec le groupe du pays H._.
Par télécopie du 10 octobre 2007, un administrateur de C._ a révélé à la demanderesse que D._, dont le propriétaire économique était N._, se trouvait derrière C._. Deux jours plus tard, M._ a fait part à cet administrateur de son désappointement.
4.2.5. Ce complexe de faits permet au Tribunal fédéral d'adopter la solution suivante.
D'après l'art. 3 du contrat de courtage, comme on l'a vu au considérant 3.2 ci-dessus, le salaire de courtier était dû au défendeur si le capital-actions de la société était vendu à un acquéreur qui soit agréé par la demanderesse.
Le défendeur avait agi précédemment comme mandataire de B._ et N._ lors des pourparlers ayant conduit à la signature le 23 janvier 2006 du contrat de vente par la demanderesse à ces derniers du capital-actions de la société. B._ et N._ n'ayant pas exécuté leurs obligations à la date de Closing prévue, la demanderesse a définitivement renoncé à leur vendre les actions le 19 décembre 2006.
A la fin 2006, le défendeur, agissant comme courtier négociateur de la demanderesse, lui a présenté C._ comme étant intéressée à acheter les actions de la société dans le cadre d'un partenariat avec un groupe du pays H._.
Dès mars 2007, le défendeur a appris que M._ était en litige avec N._, que celui-là avait de l'animosité envers celui-ci et qu'il ne voulait plus faire aucune affaire avec N._ ou une de ses sociétés.
Le défendeur entendait favoriser l'achat des actions de la société par N._, dont il escomptait toucher une rémunération venant s'ajouter à celle résultant du contrat de courtage conclu avec la demanderesse. Du reste, N._ l'avait mandaté par le passé dans le cadre de l'acquisition de trois établissements hôteliers de luxe à Z._.
Sachant que M._ n'aurait pas accepté que N._ ou une des sociétés qu'il contrôlait se porte acquéreur des actions de la société, le défendeur a mis au point un habile stratagème pour que N._ puisse tout de même parvenir à acheter le capital-actions.
Il a d'abord fait croire à la demanderesse, avec la complicité de l'expert en finances P._ et de dame Q._, laquelle se disait propriétaire économique de D._ (alors que ladite société était dominée par N._), que la prénommée, par l'entremise de D._, souhaitait acheter les actions en question. Le défendeur a fait intervenir dame Q._ pour s'assurer que la demanderesse voulait toujours vendre les actions, étant donné qu'elle avait fait part à C._ deux mois plus tôt de son hésitation à les céder, du fait que l'hôtel était en phase de redevenir rentable. En outre, cette manoeuvre a permis de laisser supposer à la demanderesse que deux amateurs se trouvaient en concurrence pour l'achat du capital-actions de la société, soit C._ et D._.
Au début août 2007, le défendeur a fait pression sur la demanderesse pour qu'elle vende le capital-actions à C._ et ses partenaires du pays H._. Dans le même temps, un contrat de fiducie a été conclu entre D._, représentée par P._, et C._, d'après lequel tous les droits résultant du contrat de vente que C._ conclurait avec la demanderesse seraient cédés à D._, et donc à son propriétaire économique N._. La remise par C._ du capital-actions à D._ devait permettre à la première d'encaisser une rémunération de 500'000 fr.
Le défendeur a tu l'existence de cet accord de fiducie à la demanderesse, que son comparse P._ a signé au nom de D._.
C'est dans ce contexte que la demanderesse, cédant aux sollicitations du défendeur, a vendu les actions de la société à C._. Celle-ci, à l'insu de la demanderesse, les a remises sans délai à D._, que contrôle N._, en exécution du contrat de fiducie précité.
Or, si la demanderesse acceptait de vendre le capital-actions à C._, elle ne voulait plus le céder à N._ ou à une de ses sociétés, ce dont était parfaitement informé le défendeur dès mars 2007. C'est pourtant bien N._ qui a finalement acquis les actions de la société, au grand dam de la demanderesse qui a exprimé son désarroi.
L'art. 3 du contrat de courtage liant les plaideurs conditionnait le droit du défendeur à obtenir sa rémunération à ce que la négociation conduite par le courtier aboutisse à la vente des actions à un acquéreur qui soit agréé par la demanderesse.
Il appert ainsi que le recourant a gravement enfreint son devoir de fidélité envers sa mandante (i. e. la demanderesse) en ne se conformant pas aux instructions que celle-ci lui avait données quant à la personne de son cocontractant, qui ne devait en aucun cas être N._ ou une des sociétés qu'il dominait.
Le défendeur a ainsi trahi les intérêts de sa mandante au profit de ceux de N._, lequel devait le rémunérer pour ses services.
Le recourant tente en vain de démontrer que la demanderesse pouvait savoir que l'acheteur des actions de la société serait une autre société que C._. Il se rapporte à son courriel du 26 juillet 2007 ainsi qu'à la clause de substitution insérée dans le contrat de vente du 13 août 2007.
Mais, dès l'instant où, dans le courriel précité, le défendeur a indiqué à la demanderesse que C._ se réservait le droit d'apporter l'affaire à ses partenaires, l'intimée était en droit de penser qu'il était fait ainsi allusion au groupe du pays H._, partenaire de C._. L'existence d'un partenariat avec ledit groupe, constitué pour effectuer la rénovation d'hôtels de luxe, avait en effet été signalée à la demanderesse dès le 13 décembre 2006.
Pour les mêmes motifs, la clause de substitution du contrat de vente autorisait la demanderesse à partir de bonne foi de l'idée que le droit de l'acheteuse de transférer les actions à un tiers était prévu au profit du groupe du pays H._.
Il suit de là que les conditions de la première hypothèse de l'art. 415 CO sont remplies et que le défendeur a transgressé son devoir de fidélité, par ses agissements dans l'intérêt du cocontractant potentiel de sa mandante, au mépris des obligations qu'il avait à l'égard de cette dernière.
Le défendeur est déchu de son droit à la rémunération en vertu de la norme précitée. Il doit être condamné à rembourser à la demanderesse le montant de 1'700'000 fr. avec intérêts à 5% l'an dès le 25 août 2007.
Le moyen est infondé.
5.
Le recourant prétend que la cour cantonale a transgressé le droit fédéral en retenant que la seconde hypothèse de l'art. 415 CO (interdiction du double courtage de négociation générateur de conflit d'intérêts) est également réalisée.
Etant donné que le recourant est déchu de son droit à la commission de courtage en vertu de la première hypothèse de l'art. 415 CO, il n'est nul besoin d'examiner s'il devrait encore l'être pour avoir conclu un double courtage.
6.
Le recourant prétend qu'il a droit à un solde de rémunération, par 300'000 fr.
Puisque le défendeur a perdu tout droit au salaire qu'il entendait déduire de la conclusion du contrat de courtage litigieux, le moyen n'a plus de consistance.
7.
Dans un dernier grief, le recourant prétend que le montant des frais judiciaires de deuxième instance, mis à sa charge par 21'000 fr., viole le principe d'équivalence des contributions causales garanti par les art. 5 al. 2, 8 et 9 Cst. Il fait aussi valoir que l'avoir condamné à payer ce montant conduit à une application arbitraire du droit cantonal, singulièrement des art. 4 et 62 al. 1 du Tarif des frais judiciaires civils adopté le 28 septembre 2010 par le Tribunal cantonal vaudois (ci-après: le Tarif). Il affirme que la Cour d'appel s'est bornée à reprendre intégralement l'état de fait des premiers juges et qu'elle a examiné les questions juridiques qui se posaient en seulement cinq pages. Pour le recourant, en raison d'une telle prestation, un émolument judiciaire de 10'000 fr. est justifié.
7.1. Selon la jurisprudence, le principe d'équivalence exige, en concrétisant notamment le principe de la proportionnalité, que le montant d'une taxe ne soit pas dans un rapport manifestement disproportionné avec la valeur objective de la prestation et reste dans des limites raisonnables (ATF 139 III 334 consid. 3.2.4 p. 337 et les arrêts cités). Lors de la fixation des frais de justice, la valeur litigieuse joue un rôle déterminant. Il n'est pas interdit de compenser les pertes subies dans des affaires de faible importance par les émoluments prélevés pour les affaires importantes. Dans les cas ayant une valeur litigieuse élevée et en présence d'un tarif fixe qui n'autorise pas la prise en compte du coût, la charge de l'émolument peut être disproportionnée, en particulier quand il est fixé en pour cent ou en pour mille et qu'une limite supérieure fait défaut (ATF 139 III 334 consid. 3.2.4 p. 337/338).
7.2. En l'espèce, à son art. 62 al. 1, le Tarif prévoit, pour les frais judiciaires générés par un appel dans les affaires patrimoniales, une limite maximale de 50'000 fr. s'agissant des causes ayant une valeur litigieuse supérieure à 30'000 fr. Quant à l'art. 4 al. 1, il prévoit que l'émolument forfaitaire est fixé, entre autres critères, en fonction de l'ampleur et de la difficulté de la cause. On ne voit donc pas en quoi le Tarif susmentionné, qui se réfère au coût et pose une limite maximale pour l'émolument, ne respecterait pas le principe d'équivalence.
7.3. Il reste à se pencher sur le grief d'arbitraire dans l'application du droit cantonal.
7.3.1. Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 139 III 334 consid. 3.2.5 p. 339; 138 I 49 consid. 7.1 p. 51, 305 consid. 4.4 p. 319).
Le Tribunal fédéral ne contrôle les décisions d'appréciation, auxquelles appartiennent celles ayant trait au montant des frais judiciaires, qu'avec une grande retenue (ATF 139 III 334 ibidem).
7.3.2. A teneur de l'art. 4 al. 1, 1ère phrase, du Tarif, l'émolument forfaitaire de conciliation et de décision est fixé en fonction de la valeur litigieuse, de la nature, de l'ampleur et de la difficulté de la cause. L'art. 4 al. 2 dispose que la valeur litigieuse est calculée conformément aux articles 91 à 94 CPC.
En vertu de l'art. 62 al. 1 du Tarif, pour une valeur litigieuse dépassant 30'000 fr., comme c'est le cas dans le présent litige, l'émolument forfaitaire de décision pour un appel ou un appel joint est fixé en principe à 1'000 fr. plus 1% de la valeur litigieuse, avec une limite maximale de 50'000 fr.
La cour cantonale a apparemment arrêté les frais judiciaires à 21'000 fr. en considérant que la valeur litigieuse du présent procès était de 2'000'000 fr. par l'addition des conclusions de la demande principale et de la reconvention, en prenant le 1% de cette somme, soit 20'000 fr., et en y ajoutant les 1'000 fr. de base prévus par l'art. 62 al. 1 du Tarif pour les causes ayant une valeur litigieuse supérieure à 30'000 fr.
Toutefois, la cour cantonale aurait dû faire application de l'art. 94 al. 1 CPC, auquel l'art. 4 al. 2 du Tarif renvoie, qui dit que lorsque la demande principale et la demande reconventionnelle s'opposent, la valeur litigieuse se détermine d'après la prétention la plus élevée.
En l'occurrence, le sort de la reconvention, qui tendait à l'obtention par le défendeur d'une commission de courtage supplémentaire de 300'000 fr., dépendait clairement du succès du défendeur dans l'action principale, laquelle tendait au remboursement du salaire de courtier qu'il avait touché, par 1'700'000 fr. Les demandes principale et reconventionnelle s'excluaient donc, de sorte que la valeur litigieuse était en réalité de 1'700'000 fr. conformément à l'art. 94 al. 1 CPC.
Il ne s'ensuit toutefois pas que les magistrats vaudois, en n'arrêtant pas l'émolument judiciaire à 18'000 fr. (1% de 1'700'000 fr. + 1'000 fr.), sont tombés dans l'arbitraire.
L'art. 62 al. 1 du Tarif, en disposant que l'émolument forfaitaire est en principe fixé à 1'000 fr. plus 1% de la valeur litigieuse pour les affaires ayant une valeur litigieuse supérieure à 30'000 fr., montre que le juge bénéficie d'un pouvoir d'appréciation.
Il est vrai que les considérants de droit de l'arrêt attaqué sont peu développés. Mais, si l'appel comportait neuf pages, le jugement de la Cour civile attaqué contenait 86 pages, dont 25 pages pour la partie "En droit".
L'essentiel des questions litigieuses en première instance l'étaient encore en appel, le défendeur ayant maintenu les conclusions prises dans sa reconvention.
Dans ces circonstances, il n'était pas insoutenable de fixer les frais judiciaires de deuxième instance à 21'000 fr., au lieu des 18'000 fr. découlant de l'application stricte du Tarif.
Le moyen est infondé.
8.
En définitive, le recours doit être rejeté.
Vu l'issue du litige, les frais de la procédure doivent être mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Celui-ci devra en outre verser des dépens à sa partie adverse (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 15'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 17'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 4 mars 2016
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Ramelet