Faits:
A. Z._ AG (ci-après: Z._), dont le siège est à ..., est active dans le domaine du conseil économique, plus particulièrement dans le secteur du placement de capitaux et de patrimoines privés. Cette société comprend un service externe et un service interne: le service interne s'occupe des affaires administratives et apporte son soutien aux agents du service externe, alors que ledit service a pour tâche de démarcher et conseiller les clients de Z._.
X._ a débuté son activité chez Z._ le 24 juin 1993; il a été inscrit au registre du commerce avec procuration collective à deux.
Selon le contrat signé par les parties les 24 juin et 27 août 1993, intitulé « Agenturvertrag », X._ était engagé en qualité d'agent indépendant au service externe de Z._. Ce contrat, rédigé en allemand - langue que X._ parle couramment -, stipulait ce qui suit: le rôle du prénommé était celui d'un simple négociateur, rémunéré exclusivement sur la base de commissions découlant de la conclusion de contrats; X._ était tenu de respecter les instructions commerciales, orales ou écrites, de la société concernant la palette des produits et devait suivre les formations dispensées par celle-ci; pour le reste, il était libre d'exercer son activité, à titre principal ou accessoire, dans les limites territoriales qui lui étaient imparties, soit l'ensemble de la Suisse et du Liechtenstein; il pouvait choisir son horaire ainsi que les personnes avec lesquelles il souhaitait négocier des affaires, mais n'était pas autorisé à recevoir des clients pour entretien ou conseil à son propre domicile ni à travailler avec des tiers non liés par contrat avec Z._; X._ devait prendre en charge les frais professionnels et matériels liés à son activité, s'acquitter des cotisations aux assurances sociales et conclure une assurance perte de gain maladie et accidents pour une période minimale de six mois.
Le contrat précité, conclu pour une durée indéterminée, était résiliable pour la fin de chaque trimestre, moyennant un préavis de trois mois.
Dans sa lettre de motivation, X._ avait indiqué qu'il souhaitait jouir d'un statut d'indépendant. Il a été constaté qu'il pensait conclure un contrat d'agence, et non pas un contrat de travail.
Le 10 mars 1998, les parties ont signé un avenant à leur accord, spécifique pour les « agents de direction », qui prévoyait notamment que « l'agent de direction est tenu de recruter de nouveaux agents, de suivre les agents et les clients de son organisation et de veiller à ce que son organisation procède constamment aux suivis nécessaires (...) ».
Il a été retenu que, tout au long de son activité, X._ n'a pas exercé des activités autres que celles découlant de son statut de collaborateur externe et d'« agent de direction », pas plus qu'il n'a eu à effectuer des travaux purement administratifs dans le seul intérêt de Z._; il n'a jamais demandé le remboursement de frais personnels ou de matériel liés à l'exercice de son activité (tels les frais de déplacement, de bureau, de téléphone), dépenses qu'il a assumées en totalité (sous réserve de certains frais de formation) et qu'il a déduites de son revenu imposable; sa rémunération, qui évoluait selon un plan de carrière, était exclusivement basée sur les commissions découlant des contrats que lui-même ou l'un des agents de son groupe concluaient; il décidait seul de la prise de jours de repos et était libre de travailler pour d'autres mandants.
En juin 2001, X._ a souhaité mettre fin aux rapports contractuels noués avec Z._. Aussi les parties ont-elles signé le 20 juin 2001 une convention d'annulation de l'« Agenturvertrag », à teneur de laquelle Z._ a accepté de verser à X._ une indemnité de départ unique de 50'000 fr.
Le 26 novembre 2002, Z._ a établi une lettre de référence pour X._, qui précisait en particulier que ce dernier avait travaillé au service de la première du 19 août 1993 au 20 juin 2001 en qualité de « conseiller économique indépendant dans le cadre d'un contrat d'agence ». Il n'a pas été établi que X._ ait contesté ce document.
Par courrier du 7 juillet 2004, le conseil de X._ a fait part à Z._ que son client avait des prétentions en remboursement de frais professionnels à son égard; Z._ a contesté devoir quoi que ce soit au précité.
Le 11 juillet 2005, X._ a fait notifier à Z._ un commandement de payer la somme de 527'870 fr.20 plus intérêts à 5% l'an dès le 20 juin 2001; la poursuivie y a fait opposition.
B. Par demande du 30 novembre 2005 déposée devant la Cour civile du Tribunal cantonal vaudois, X._ a conclu à ce qu'il soit dit que les parties étaient liées par un contrat d'engagement des voyageurs de commerce tel que l'entendent les art. 347 ss CO et à ce que Z._ soit condamnée à lui payer les montants de 101'471 fr.20 plus intérêts à 5% l'an dès le 20 juin 2001 et de 426'399 fr. avec les mêmes intérêts, libre cours étant laissé à la poursuite notifiée le 11 juillet 2005.
La défenderesse a conclu principalement à ce que l'action soit déclarée irrecevable, subsidiairement à ce qu'elle soit rejetée.
Par jugement incident du 26 septembre 2006, le Juge instructeur de la Cour civile a rejeté la requête en déclinatoire déposée le 4 avril 2006 par Z._. Dans cette décision, ce magistrat a considéré notamment qu'il paraissait « à tout le moins plausible que les parties étaient liées par un contrat de travail, plus précisément par un contrat d'engagement des voyageurs de commerce, sans qu'une autre qualification soit exclue » (cf. arrêt attaqué, consid. 4 p. 16).
Dans une décision préjudicielle prise le 7 avril 2009, la Cour civile a considéré, dans l'hypothèse où la convention conclue par les parties devrait être qualifiée de contrat de travail, que les prétentions du demandeur relatives au remboursement des frais professionnels échues avant le 11 juillet 1995 seraient prescrites.
Par jugement du 28 juillet 2011, dont la motivation a été communiquée le 7 mars 2012, la Cour civile a rejeté les conclusions prises par le demandeur contre la défenderesse.
Le demandeur a appelé de ce jugement. Il a conclu principalement à ce que le jugement déféré soit annulé et à ce que la défenderesse soit condamnée à lui verser les sommes de 88'483 fr.25 avec intérêts à 5% l'an dès le 20 juin 2001 à titre d'indemnités pour vacances non prises et de 347'994 fr., avec les mêmes intérêts, « au titre de frais professionnels (35% du revenu) ». Subsidiairement, « si le montant forfaitaire de 35% n'est pas admis », il a requis la condamnation de sa partie adverse à lui payer « le montant de 248'567 fr. avec intérêts à 5% dès le 20 juin 2001 (25% du revenu) ». Encore plus subsidiairement, « si le montant forfaitaire de 35 ou 25% n'est pas admis », il a sollicité la condamnation de la défenderesse à lui verser la somme de 227'911 fr.15 avec intérêts à 5% l'an dès le 20 juin 2001 « correspondant aux frais professionnels prouvés et admis par l'Administration fiscale ».
Par arrêt du 11 juin 2012, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel et confirmé le jugement attaqué. Examinant l'ensemble des circonstances de l'affaire, la cour cantonale a qualifié de contrat d'agence au sens des art. 418a ss CO la convention ayant lié les plaideurs et rejeté en conséquence les prétentions du demandeur en remboursement de frais professionnels et en paiement de vacances non prises que celui-ci avait fondées sur un contrat de travail.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Il reprend l'ensemble des conclusions qu'il avait formulées devant la Cour d'appel, sollicitant encore, à titre le plus subsidiaire, l'annulation de l'arrêt cantonal et le renvoi de la cause à la Cour d'appel pour nouvelle décision.
L'intimée propose le rejet du recours.
Les parties ont encore déposé des observations confirmant leur position juridique.
Considérant en droit:
1. 1.1 Le recours étant dirigé contre une décision finale, la valeur litigieuse doit être déterminée d'après les dernières conclusions prises devant l'autorité précédente (art. 51 al. 1 let. a LTF). Auprès de la Cour d'appel, le recourant avait conclu au paiement en capital (art. 51 al. 3 LTF) de la somme totale de 436'477 fr.25. Il n'est donc pas douteux que la valeur litigieuse minimale de 30'000 fr. de l'art. 74 al. 1 let. b LTF et, partant évidemment celle du seuil réduit de 15'000 fr. institué par l'art. 74 al. 1 let. a LTF pour les litiges notamment du droit du travail, est largement dépassée.
Interjeté par la partie demanderesse qui a entièrement succombé dans ses conclusions en paiement et qui a ainsi la qualité pour recourir (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 LTF), le recours est par principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés ou, à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 137 III 580 consid. 1.3 p. 584; 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; ATF 135 III 397 consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). Une rectification de l'état de fait ne peut être demandée que si elle est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, le recourant présente, sur treize pages, son propre état de fait, mais sans invoquer l'arbitraire dans l'appréciation des preuves, ni tenter d'en démontrer l'existence. On ne voit d'ailleurs pas que l'état de fait contenu dans l'arrêt cantonal ait été établi de façon manifestement inexacte (art. 105 al. 2 LTF), de sorte que le raisonnement juridique doit être mené exclusivement sur cette base.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Le recourant reproche d'abord à la Cour d'appel d'avoir considéré à tort que les parties étaient liées par un contrat d'agence, et non pas par un contrat de travail. Il fait grand cas du jugement incident rendu le 26 septembre 2006 par le Juge instructeur de la Cour civile, lequel aurait retenu que les plaideurs avaient conclu un contrat de travail, plus précisément un contrat d'engagement de voyageurs de commerce. A l'en croire, comme aucun fait nouveau, allégation nouvelle ou moyen de droit n'aurait été présenté après la reddition de ce jugement incident, tant le jugement de la Cour civile que l'arrêt déféré devaient se calquer sur cette ancienne décision. Il fait valoir que l'indice en faveur de la passation d'un contrat d'agence, déduit par la Cour d'appel du traitement fiscal de ses frais professionnels, serait contrebalancé par la participation de l'intimée à ses charges sociales. Il relativise la liberté qui lui était conférée dans l'exercice de son activité et affirme que tous les éléments impliquant un lien de subordination, mis en évidence par la jurisprudence du Tribunal fédéral à l'ATF 129 III 664 ss, étaient réalisés au cours de la période où les parties avaient noué un lien contractuel. Pour étayer sa thèse de l'exercice d'une activité dépendante, il déclare encore qu'il utilisait les locaux de l'intimée contre rémunération, qu'il n'avait pas de papier à en-tête propre et qu'il n'était pas inscrit au registre du commerce.
S'agissant de l'indemnité pour les vacances non prises, le recourant se rapporte à un tableau, produit au dossier, détaillant tous les revenus qu'il a perçus sous forme de commissions; après déduction de la période 1993 jusqu'à fin 1994, où il n'a pas de prétentions à faire valoir, il soutient qu'il a droit de ce chef à 8,33% des revenus afférents aux années 1995 à 2001, lesquels se montaient en tout à 1'062'223 fr.90, ce qui donne une indemnité due de 88'483 fr.25.
S'agissant du calcul des frais professionnels, lesquels ne sont pas prescrits s'ils sont postérieurs au 11 juillet 1995 selon le jugement préjudiciel du 7 avril 2009, le recourant prend en considération un revenu de 994'269 fr.60. Compte tenu notamment de la position juridique adoptée par la défenderesse, qui a toujours soutenu, à rebours du bon sens à ses yeux, la passation d'un contrat d'agence, le recourant est d'avis qu'il se justifie de prendre en compte un pourcentage forfaitaire de 35% des revenus pour arrêter les frais professionnels dus. Sinon, il faudrait retenir le taux de 25% admis par les assurances sociales, voire à tout le moins les frais admis par l'administration fiscale de juillet 1995 à 2001.
2.1 Dans un premier temps, il faut contrôler si la cour cantonale pouvait considérer à bon droit que les parties avaient conclu à l'été 1993 un contrat d'agence. En effet, si cette solution devait être retenue, le recourant ne disconvient pas que toutes les prétentions pécuniaires qu'il fait valoir contre l'intimée seraient alors privées de fondement juridique.
2.2 Il sied d'emblée de préciser que le recourant ne peut rien tirer du jugement incident rendu le 26 septembre 2006 par le Juge instructeur de la Cour civile. En effet, cette décision concernant la compétence de la Cour civile n'emporte pas autorité de chose jugée sur le fondement matériel des conclusions pécuniaires du demandeur, faute d'identité de l'objet du litige (cf. ATF 125 III 241 consid. 1 p. 242). D'ailleurs, en principe, seul le jugement au fond ( »Sachurteil ») jouit de l'autorité de la chose jugée (ATF 128 III 191 consid. 4a p. 195; 125 III 8 consid. 3b p. 13).
2.3 Lorsqu'il est amené à qualifier ou interpréter un contrat, le juge doit tout d'abord s'efforcer de déterminer la commune et réelle intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (art. 18 al. 1 CO); s'il y parvient, il s'agit d'une constatation de fait qui lie en principe le Tribunal fédéral conformément à l'art. 105 LTF. Si la volonté réelle des parties ne peut pas être établie ou si leur volonté intime diverge, le juge doit interpréter les déclarations faites et les comportements selon la théorie de la confiance; il doit donc rechercher comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances. Le principe de la confiance permet d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même s'il ne correspond pas à sa volonté intime. L'application du principe de la confiance est une question de droit que le Tribunal fédéral peut examiner librement (art. 106 al. 1 LTF); cependant, pour trancher cette question, il doit se fonder sur le contenu de la manifestation de volonté et sur les circonstances, dont la constatation relève du fait (ATF 135 III 410 consid. 3.2 p. 412 s.).
In casu, il a été retenu que le recourant « pensait conclure un contrat d'agence et non pas un contrat de travail » (cf. consid. 2 in fine de la partie « En fait » de l'arrêt attaqué, p. 4). En revanche, la volonté intime de la défenderesse au moment de la conclusion de l'accord de l'été 1993 n'a fait l'objet d'aucune constatation. Comme il n'est pas possible de déterminer la volonté réelle et concordante des parties lorsqu'elles ont passé l'accord litigieux, il faut analyser, à la lumière de la théorie de la confiance, leurs déclarations et comportements (interprétation objective) pour le qualifier juridiquement.
2.4 D'après la jurisprudence, le critère essentiel de distinction entre le contrat d'engagement des voyageurs de commerce (art. 347 ss CO), qui est un contrat individuel de travail à caractère spécial, et le contrat d'agence (art. 418a ss CO), réside dans le fait que l'agent exerce sa profession à titre indépendant, tandis que le voyageur de commerce se trouve dans un rapport juridique de subordination à l'égard de son employeur (ATF 129 III 664 consid. 3.2 p. 667 s.). L'agent, contrairement au voyageur de commerce, peut organiser son travail comme il l'entend, disposer de son temps à sa guise et n'est pas lié par les instructions et directives de son cocontractant. Le fait de devoir visiter un certain nombre de clients, d'avoir à justifier un chiffre d'affaires minimum, l'obligation d'adresser des rapports périodiques à la maison représentée sont des indices permettant d'inférer l'existence d'un contrat d'engagement des voyageurs de commerce (ATF 129 III 664 consid. 3.2 p. 668).
Il convient de tenir compte de l'ensemble des circonstances du cas d'espèce et de ne pas s'arrêter à la désignation choisie par les parties, qui peut être délibérément erronée (cf. ATF 129 III 664 consid. 3.2 p. 668 et les références).
2.5 En l'occurrence, l'accord conclu entre les parties a été intitulé « Agenturvertrag », ce qui semblerait exclure la qualification du contrat de travail. Mais, ainsi que l'on vient de le rappeler, il ne faut pas se focaliser sur cette dénomination.
D'après l'arrêt critiqué, le recourant, affecté au service externe de l'intimée, ne devait respecter les instructions de l'intimée qu'en ce qui concernait la gamme des produits financiers offerts aux clients. Il pouvait exercer son activité où il l'entendait, en Suisse et au Liechtenstein. Il n'avait aucun horaire à respecter et décidait librement de prendre ou non des jours de repos. Il ne lui était pas interdit de travailler pour d'autres mandants, pour autant que ces derniers soient liés conventionnellement avec l'intimée. Il n'a pas été établi que l'intimée possédât une structure hiérarchisée dans son service externe, au sein de laquelle le demandeur aurait occupé un rang précis.
A cela s'ajoute que le recourant s'est toujours comporté en indépendant. Il n'a jamais effectué des travaux purement administratifs dans l'unique intérêt de l'intimée. Quoi qu'il en dise en s'en prenant de manière irrecevable aux faits constatés (cf. art. 105 al. 1 LTF), il a été inscrit au registre du commerce et s'acquittait lui-même des cotisations aux assurances sociales. De plus, il avait souscrit personnellement une assurance couvrant le risque de perte de gain en cas de maladie et accidents. En outre, il a déduit de son revenu imposable l'ensemble des dépenses en relation avec son activité professionnelle, sans se limiter aux frais professionnels nécessaires à l'exercice de l'activité dépendante (cf. art. 9 al. 1 LHID; art. 26 al. 1 let. a à c LIFD).
L'ensemble de ces éléments, pris globalement, amène le Tribunal fédéral à nier tout rapport de subordination entre les parties et à admettre l'indépendance du recourant par rapport à sa partie adverse. C'est donc sans violer le droit fédéral que la cour cantonale a admis que les plaideurs ont été liés par un contrat d'agence au sens de l'art. 418a CO.
A considérer la qualification juridique de l'accord noué entre les parties, les prétentions pécuniaires du recourant, qui reposaient sur la conclusion d'un contrat de travail, ne pouvaient être que rejetées.
3. En résumé, le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supportera les frais de justice et versera une indemnité à titre de dépens à l'intimée (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 8'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 6 février 2013
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet