Faits:
A. D'octobre 2002 à décembre 2004, X._, expert-comptable diplômé, a travaillé au service de A._ SA, en qualité de directeur de sa filiale suisse. Depuis avril 2003, il est associé gérant de B._ Sàrl, dont le but social est l'"exploitation d'une fiduciaire, conseils". Le 22 juin 2005, il a signalé son intérêt pour le poste d'expert-comptable diplômé ouvert auprès de Fiduciaire Y._ SA. Le 30 août 2005, Fiduciaire Y._ SA et B._ Sàrl ont conclu un "contrat de prestation de services" pour la période du 1er septembre au 31 décembre 2005. B._ Sàrl s'est engagée à apporter à sa cocontractante toute l'assistance que l'"on peut raisonnablement attendre d'un directeur technique au sein d'une société fiduciaire"; les prestations prévues devaient être exclusivement réalisées par X._, qui avait la charge de consacrer à l'exécution de sa mission un temps comparable à celui de tout collaborateur à plein temps chez Fiduciaire Y._ SA. Le 14 mars 2006, Fiduciaire Y._ SA a informé B._ Sàrl qu'elle acceptait sa domiciliation en ses bureaux.
Par contrat du 17 février 2006, Fiduciaire Y._ SA a engagé X._ en qualité de directeur général dès le 1er mars 2006, pour un salaire annuel brut de 260'000 francs. L'art. 13 du contrat prévoyait que le délai de résiliation était fixé à six mois pour la fin d'un mois (al. 1) et que "dans le cas d'une résiliation décidée par Fiduciaire Y._ SA, une indemnité sera allouée à Monsieur X._. Le montant de celle-ci correspondra à 13 (treize) fois la dernière rémunération mensuelle connue" (al. 2). Aux termes de l'art. 14, les parties ont convenu "que la présentation à Fiduciaire Y._ SA de tout nouveau client qui aura été en relations d'affaires avec Monsieur X._ avant le 1er mars 2006 entraînera le versement à Monsieur X._ d'une commission. Le montant de cette commission sera égal à 80 % des honoraires hors TVA facturés au client présenté par Fiduciaire Y._ SA pour le premier exercice complet dont aura eu à s'occuper Fiduciaire Y._ SA. La commission sera due dès que le client aura payé à Fiduciaire Y._ SA les honoraires servant de base de calcul à ladite commission. La commission sera ajoutée à la rémunération brute de Monsieur X._. Monsieur X._ aura cependant la possibilité, de cas en cas, de se substituer toute entité de son choix pour facturer à Fiduciaire Y._ SA le montant de la commission".
Le 8 janvier 2007, C._, nouvel administrateur délégué et associé de Fiduciaire Y._ SA depuis le 1er janvier 2007, a reçu X._ pour un entretien afin de faire un point de la situation, notamment en ce qui concernait les activités de l'employé, l'organisation interne de la société et les méthodes de travail appliquées aux collaborateurs. Par courriels des 10, 11 et 15 janvier 2007, C._ a demandé à X._ de lui fournir des explications quant à ses activités au sein de Fiduciaire Y._ SA et de B._ Sàrl, de faire un point de la situation en ce qui concernait trois dossiers et de lui procurer la liste des dossiers "critiques" ainsi qu'une note expliquant en détail le mode de fonctionnement de B._ Sàrl et l'historique des clients "qui étaient avant le mois de mars 2006 c/o la société B._ et que l'on retrouvait à ce jour ou prochainement c/o la société Y._", enfin de lui adresser son décompte de commissions liées à B._ Sàrl, avec tous les justificatifs y relatif. X._ a fourni les informations requises par courriels des 11 et 15 février 2007.
Par lettre du 16 janvier 2007, A._ SA a informé Fiduciaire Y._ SA de ce que : "C'est non sans surprise que nous avons appris par l'un de nos clients que, sous la plume, notamment, de son nouveau directeur général, Monsieur X._, votre fiduciaire s'est permise d'envoyer ses meilleurs v?ux pour la nouvelle année à nos clients. Ce comportement est assurément déloyal, en particulier de la part de Monsieur X._, qui n'a pu avoir l'adresse de nos clients que parce qu'il a été employé de A._ SA, et qui, comme vous le savez peut-être, est lié à cette dernière par une clause de prohibition de faire concurrence. Nous vous prions dès lors de bien vouloir rappeler Monsieur X._ à ses devoirs tant contractuels que déontologiques. Nous osons espérer que cet envoi de v?ux à nos clients ne cache pas d'autres manoeuvres de Monsieur X._ qui auraient pour but de tenter de les débaucher".
Le 22 janvier 2007, Fiduciaire Y._ SA a licencié X._ avec effet immédiat, exposant que "Les informations que vous avez vous-même données à Monsieur C._ (cf. e-mail du 11 janvier 2007) et celles qui ont été réunies par Mme D._, secrétaire générale de la Fiduciaire ont convaincu le Conseil d'administration du fait que, depuis votre engagement comme directeur général de la société le 1er mars 2006, vous avez eu une activité substantielle, parallèle, pendant les heures de travail, pour le compte d'une société fiduciaire concurrente, B._ Sàrl, dont vous êtes, par ailleurs, le gérant avec signature collective individuelle. Nous avons recensé 36 dossiers que vous avez traités pour le compte de B._, pendant l'année 2006, dont seuls cinq ont été transférés à la Fiduciaire Y._ SA, depuis le 1er mars 2006. Vous n'ignorez pas, qu'en votre qualité de directeur général de la société, vous avez une obligation de fidélité accrue et vous devez tout votre temps et votre énergie à développer l'entreprise dont vous avez la direction. Les informations dont le Conseil d'administration a pris connaissance aujourd'hui seulement, sont de nature à briser le rapport de confiance qui nous lie et sans lequel une collaboration et une direction efficace ne peuvent avoir lieu. La violation grave et répétée de votre obligation de fidélité depuis le 1er mars 2006 justifie une résiliation immédiate de votre contrat de travail pour justes motifs. La lettre du 16 janvier 2007 que la société A._ SA, votre précédent employeur, nous a fait parvenir, a confirmé le Conseil dans sa décision puisqu'il apparaît que vous utilisez votre position de directeur général de notre société pour démarcher, sans nous en informer, des clients actuels de A._ SA alors que vous seriez lié par une clause de non-concurrence de votre ancien employeur, exposant la Fiduciaire Y._ SA qui ignorait ce fait, à des réclamations de la part de ce concurrent et une atteinte importante à son image. Nous vous notifions donc votre congé avec effet immédiat".
B. Par demande du 7 mai 2007, X._ a ouvert action contre Fiduciaire Y._ SA, concluant en dernier lieu au paiement de 167'464 fr. 50 bruts à titre de salaire du 23 janvier au 30 septembre 2007, 13'466 fr. 50 bruts à titre de treizième salaire pour la même période, 8'243 fr. 00 nets à titre de prime d'assurance-maladie pour la période de janvier à septembre 2007, 9'600 fr. nets à titre d'indemnité forfaitaire pour les mois de février à septembre 2007, 284'482 fr. 90 nets à titre d'indemnité de résiliation au sens de l'art. 13 du contrat, 20'955 fr. 45 bruts à titre d'indemnité de vacances pour les mois de janvier à septembre 2007, 131'300 fr. nets à titre d'indemnité pour licenciement immédiat injustifié et 7'000 fr. nets à titre de remboursement de la somme payée pour l'achat du véhicule de fonction; il a également conclu à ce que celle-ci lui délivre un certificat de travail et soit condamnée à faire publier à ses frais, dans la presse spécialisée, un communiqué relatif à l'absence de justification de son licenciement et, sur messagerie interne, l'intégralité de la décision de la Juridiction des prud'hommes. Fiduciaire Y._ SA a conclu à ce qu'il lui soit donné acte de ce qu'elle s'engageait à remettre à X._ un certificat de travail et au déboutement de celui-ci de toutes ses autres conclusions; en cours d'instance, elle a déclaré invalider le contrat du 17 février 2006 pour dol, subsidiairement erreur de base, et a déposé de ce chef une demande portant en définitive sur 1'427'111 fr. 60 correspondant au dommage lié aux erreurs de l'employé.
Par jugement du 12 décembre 2008, le Tribunal des prud'hommes du canton de Genève a condamné Fiduciaire Y._ SA à payer à X._ les sommes de 200'763 fr. 40 bruts - à savoir 167'464 fr. 50 à titre de salaire pour la période du 23 janvier au 30 septembre 2007, 13'955 fr. 40 à titre de treizième salaire pour la même période et 19'343 fr. 50 à titre d'indemnité de vacances - (ch. 3) ainsi que 270'943 fr. nets - à savoir 8'243 fr. à titre de solde de prime d'assurance maladie, 262'600 fr. à titre d'indemnité de résiliation au sens de l'art. 13 du contrat et 100 fr. à titre d'indemnité pour licenciement immédiat injustifié - (ch. 4), condamné l'employeuse à remettre à l'employé un certificat de travail (ch. 5), invité la partie qui en avait la charge à opérer les déductions sociales, légales et usuelles (ch. 6) et débouté les parties de toute autre conclusion (ch. 7).
Fiduciaire Y._ SA a appelé de cette décision, concluant à son annulation, sur demande principale au déboutement de X._ de toutes ses conclusions et, sur demande reconventionnelle, à la condamnation de celui-ci à lui payer la somme de 1'427'111 fr. 60. X._ a conclu au déboutement de son adverse partie et, sur appel incident, à ce que celle-ci soit condamnée à lui payer les sommes de 202'375 fr. 35 bruts - à savoir 167'464 fr. 50 à titre de salaire pour la période du 23 janvier au 30 septembre 2007, 13'955 fr. 40 à titre de treizième salaire pour la même période et 20'955 fr. 45 à titre d'indemnité de vacances - et 423'725 fr. 90 nets - à savoir 8'243 fr. à titre de solde de prime d'assurance maladie, 284'482 fr. 90 à titre d'indemnité de résiliation au sens de l'art. 13 du contrat et 131'000 fr. à titre d'indemnité pour licenciement immédiat injustifié.
Par arrêt du 31 mai 2010, la Cour d'appel de la juridiction des prud'hommes du canton de Genève a annulé les chiffres 3, 4 et 6 du jugement du 12 décembre 2008 et l'a confirmé pour le surplus. Contrairement aux premiers juges, elle a considéré que le licenciement immédiat n'était pas tardif et que les deux griefs formulés dans la lettre de licenciement du 22 janvier 2007 constituaient des manquements particulièrement graves aux obligations contractuelles de l'employé, manquements propres à détruire définitivement la confiance qu'impliquaient les relations de travail avec un directeur général ou à les ébranler de telle façon que leur poursuite ne pouvait plus en être raisonnablement exigée de l'employeuse; elle a ajouté que même dans le cas contraire, les faits que l'employé faisait l'objet d'une suspension du Tableau de l'Ordre des experts-comptables français et qu'il avait été condamné pour fraude fiscale, falsification de documents comptables et abus de biens sociaux étaient certainement de nature à conduire l'employeuse, si elle avait connu ces éléments avant le 22 janvier 2007, à considérer que le rapport de confiance était rompu et à résilier le contrat de travail avec effet immédiat compte tenu notamment de la situation hiérarchique de l'employé dans l'entreprise et du type d'activité soumise à conditions et surveillance qu'elle exerçait; le congé avec effet immédiat étant justifié, l'employé n'avait pas droit à une quelconque rémunération ou indemnité au-delà du 22 janvier 2007, en particulier à l'indemnité de résiliation prévue à l'art. 13 du contrat, celui-ci ayant été résilié avec effet immédiat pour de justes motifs.
C. X._ (le recourant) forme un recours en matière civile au Tribunal fédéral; il conclut au fond à l'annulation de l'arrêt du 31 mai 2010 et à la condamnation de l'employeuse à lui payer les sommes - déjà articulées en appel - de 202'375 fr. 35 bruts et 423'725 fr. 90 nets; il sollicite accessoirement la condamnation de son adverse partie à lui payer la somme de 262'000 fr. nets au titre de l'indemnité prévue à l'art. 13 du contrat; il conclut subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Fiduciaire Y._ SA (l'intimée) propose le rejet du recours.
Considérant en droit:
1. Interjeté par le recourant qui a succombé dans ses conclusions condamnatoires (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire dont la valeur litigieuse dépasse le seuil de 15'000 fr. applicable en matière de droit du travail (art. 74 al. 1 let. a LTF), le recours en matière civile présentement soumis à l'examen du Tribunal fédéral est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels (ATF 135 III 670 consid. 1.4; 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art.105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui entend faire rectifier ou compléter un fait doit expliquer de manière circonstanciée en quoi les conditions pour le faire seraient réalisées (cf. ATF 133 IV 286 consid. 6.2).
3. Se plaignant en vrac d'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.), de violation du droit fédéral (art. 337 CO) et de violation du fardeau de la preuve (art. 8 CC), le recourant reproche à la cour cantonale d'avoir admis l'existence de justes motifs de licenciement immédiat.
3.1 Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat, ce qu'il appartient au recourant de démontrer (cf. art. 106 al. 2 LTF; ATF 135 V 2 consid. 1.3 p. 4 s.; 134 I 263 consid. 3.1 p. 265 s.).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si, sur la base des éléments recueillis, il a fait des déductions insoutenables, ou encore s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée (cf. ATF 134 V 53 consid. 4.3; 129 I 8 consid. 2.1).
3.2 Selon l'art. 337 al. 1 1ère phrase CO, l'employeur et le travailleur peuvent résilier immédiatement le contrat en tout temps pour de justes motifs. Doivent notamment être considérées comme tels toutes les circonstances qui, selon les règles de la bonne foi, ne permettent pas d'exiger de celui qui a donné le congé la continuation des rapports de travail (cf. art. 337 al. 2 CO).
Mesure exceptionnelle, la résiliation immédiate pour justes motifs doit être admise de manière restrictive. D'après la jurisprudence, les faits invoqués à l'appui d'un renvoi immédiat doivent avoir entraîné la perte du rapport de confiance qui constitue le fondement du contrat de travail. Seul un manquement particulièrement grave du travailleur justifie son licenciement immédiat; si le manquement est moins grave, il ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement. Par manquement du travailleur, on entend en règle générale la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent aussi justifier une résiliation immédiate. Une infraction pénale commise au détriment de l'employeur constitue, en principe, un motif justifiant le licenciement immédiat du travailleur. Le comportement des cadres doit être apprécié avec une rigueur accrue en raison du crédit particulier et de la responsabilité que leur confère leur fonction dans l'entreprise (ATF 130 III 28 consid. 4.1 p. 31).
Le juge apprécie librement s'il existe de justes motifs (art. 337 al. 3 CO). Il applique les règles du droit et de l'équité (art. 4 CC). A cet effet, il prendra en considération tous les éléments du cas particulier, notamment la position et la responsabilité du travailleur, le type et la durée des rapports contractuels, ainsi que la nature et l'importance des manquements. Le Tribunal fédéral revoit avec réserve la décision d'équité prise en dernière instance cantonale. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF 130 III 28 consid. 4.1 p. 32, 213 consid. 3.1 p. 220)
3.3 En l'occurrence, la cour cantonale a considéré que le recourant admettait qu'à teneur de son contrat de travail, il était tenu d'apporter les clients avec lesquels il était déjà en relation pour B._ Sàrl; peu avant le licenciement avec effet immédiat, l'intimée avait découvert que son collaborateur avait conservé, en parallèle avec sa charge de directeur général de celle-ci, les trois quarts de sa clientèle de B._ Sàrl qu'il traitait en parallèle avec son activité de directeur général à son service; ainsi, à la fin 2006, seuls cinq dossiers sur dix-neuf avaient été transférés à l'intimée, soit seulement environ un quart de ce que le recourant s'était lui-même engagé à transférer, étant précisé que les dossiers transférés ne représentaient qu'une partie du total des honoraires facturés par B._ Sàrl; il ressortait également de la procédure que l'essentiel des dossiers conservés par cette dernière société n'était pas traité exclusivement le week-end mais l'était pendant le temps de travail au service de l'intimée, comme l'attestaient tant le relevé des téléphones en absence du recourant concernant la clientèle de B._ Sàrl que le planning de réservation de salles et le contenu de l'armoire de son bureau.
Sur un autre plan, l'intimée avait appris le 17 ou le 18 janvier 2007 que le recourant était lié par une clause de prohibition de faire concurrence à A._ SA et qu'il démarchait par l'envoi de cartes de v?ux les clients de cette dernière; pour apprécier la situation dans laquelle se trouvait l'intimée par rapport aux agissements du recourant, il y avait lieu de tenir compte de la fonction dirigeante que celui-ci occupait à la tête de l'intimée et des exigences fixées par les art. 10 et 11 du Règlement d'admission des membres à la Chambre fiduciaire suisse des experts comptables qui doivent "être dignes de confiance, jouir d'une bonne réputation et exercer la profession de manière irréprochable", exigences reprises par l'art. 5 de la loi fédérale sur l'agrément et la surveillance des réviseurs.
Les juges cantonaux sont parvenus à la conclusion que compte tenu de cette situation, les deux griefs formulés par l'intimée dans la lettre de licenciement du 22 janvier 2007 constituaient des manquements particulièrement graves aux obligations contractuelles du recourant, propres à détruire définitivement la confiance qu'impliquaient les relations de travail avec un directeur général ou à les ébranler de telle façon que leur poursuite ne pouvait plus en être raisonnablement exigée de l'intimée.
3.4 Devant le Tribunal fédéral, le recourant se limite en bref, dans une argumentation à caractère appellatoire reposant d'ailleurs en partie sur des faits qui ne ressortent pas de la décision attaquée, à réaffirmer sa position et à tenter de l'opposer à celle de la cour cantonale, à laquelle il reproche d'avoir "arbitrairement fait siennes les conclusions de son adverse partie". A supposer recevable, son procédé est vain.
En effet, il a été constaté en fait que seul un quart des dossiers avait été transféré à l'intimée, et le recourant se prévaut dans ce contexte vainement de l'art. 14 du contrat, dont la lecture permet de se rendre compte qu'il a trait au principe et aux modalités de la rémunération de l'employé en relation avec l'apport de clientèle, mais n'a pas pour vocation d'autoriser celui-ci à en conserver les trois quarts pour lui, voire comme il le soutient à l'obliger à terminer le travail sur les exercices en cours de traitement; les juges cantonaux n'ont ainsi pas commis arbitraire en retenant en fait que le recourant avait une activité parallèle à celle de directeur général de l'intimée. Au demeurant, indépendamment de la question de savoir si et dans quelle mesure le recourant pouvait garder ses propres clients, il a en outre et surtout été constaté qu'il s'occupait des dossiers concernés pendant le temps de travail qu'il devait normalement consacrer à l'intimée; la cour cantonale s'est fondée à cet égard sur différents éléments sur lesquels le recourant ne revient pas spécifiquement, se bornant à affirmer sans autre démonstration qu'il aurait effectué ce travail "en dehors des heures de bureau".
Par ailleurs, la critique du recourant selon laquelle les juges cantonaux auraient arbitrairement considéré l'expédition d'une carte de v?ux - qu'il indique avoir envoyée à son destinataire en sa qualité de galeriste et non de client - comme une violation d'une clause de prohibition de concurrence n'est pas davantage pertinente; le recourant se focalise en effet indûment sur le seul envoi, en tant que tel, de la carte litigieuse, alors que cet épisode doit être considéré dans un contexte plus global, en ce sens que ledit envoi, respectivement la dénonciation qui en a été faite par la précédente employeuse du recourant, a également été l'occasion pour l'intimée de découvrir que son collaborateur lui avait caché l'existence d'une clause de prohibition de concurrence, respectivement du litige qui concernait sa validité.
L'on ne voit donc pas que la cour cantonale ait commis arbitraire en retenant, à l'issue de l'appréciation des preuves et de l'établissement des faits, que les griefs invoqués dans la lettre de licenciement étaient avérés; dès lors, le recourant se réfère vainement à l'art. 8 CC, puisque cette disposition ne dit pas comment le juge doit forger sa conviction, ni de quelle manière il doit apprécier les preuves (cf. ATF 128 III 22 consid. 2d p. 25). Pour le surplus, il n'apparaît pas que, compte tenu de l'ensemble des circonstances du cas particulier, singulièrement de la position dirigeante que le recourant occupait dans l'entreprise, la cour cantonale ait violé le droit fédéral en considérant que les griefs en question - qui se cumulaient - permettaient de retenir l'existence de justes motifs de résiliation immédiate du contrat de travail, étant rappelé que le Tribunal fédéral ne revoit qu'avec réserve la décision d'équité prise en dernière instance cantonale (cf. supra consid. 3.2 in fine).
3.5 Dans la mesure où les motifs susmentionnés suffisent à justifier le licenciement immédiat, il n'est pas nécessaire de se pencher sur la question de savoir si d'autres griefs auraient le cas échéant permis de justifier a posteriori le licenciement immédiat.
4. Succinctement, le recourant reproche enfin à la cour cantonale d'avoir "violé le droit" en ne tenant pas compte de l'art. 13 du contrat; il soutient que dès le moment où la rupture du contrat de travail résultait d'une décision prise par l'employeuse pour quelque motif que ce soit, l'indemnité concernée serait due. L'argument confine à la témérité. En effet, la disposition invoquée fixe à son premier alinéa la durée du délai de résiliation et prévoit à son deuxième alinéa l'allocation d'une indemnité dans le cas d'une résiliation décidée par l'employeuse; le seul texte de l'article en question n'est pas déterminant et sa structure, à savoir la mise en parallèle de ses deux alinéas, démontre déjà bien que le versement d'une indemnité n'était envisagé que dans l'hypothèse d'un licenciement ordinaire pour l'échéance du préavis, à l'exclusion d'un licenciement immédiat pour justes motifs; au demeurant, ladite disposition ne saurait de bonne foi être comprise comme donnant à l'employé congédié par sa faute droit à une indemnité (cf. principe de la confiance; ATF 136 III 186 consid. 3.2.1 p. 188; 135 III 295 consid. 5.2 p. 302). Le grief doit ainsi être écarté et le recours rejeté dans la mesure de sa recevabilité.
5. Comme la valeur litigieuse, calculée selon les prétentions à l'ouverture de l'action (ATF 115 II 30 consid. 5b p. 41), dépasse le seuil de 30'000 fr., le montant de l'émolument judiciaire est fixé selon le tarif ordinaire (art. 65 al. 3 let. b LTF) et non réduit (art. 65 al. 4 let. c LTF). Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimée sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 8'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour d'appel de la juridiction des prud'hommes du canton de Genève.
Lausanne, le 11 octobre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz