Faits:
A. A.a La société Y._ SA, de siège à ..., a pour but l'achat et la vente d'instruments pour laboratoires analytiques, de même que l'installation et l'équipement de laboratoires analytiques.
Par contrat du 13 janvier 2004 prenant effet le 26 du même mois, X._, docteur en chimie, a été engagé par Y._ SA en qualité de délégué technico-commercial. Dans le cadre de cette activité, qui consistait à visiter la clientèle de la Suisse romande, X._ était en particulier chargé du conseil technique et de la promotion des ventes des produits de la gamme chromatographie.
Le salaire, composé d'une part fixe et d'une part variable en fonction des objectifs atteints, a passé progressivement de 54'000 fr. à 108'000 fr. brut l'an dès le 1er janvier 2007.
Par avenant du 18 avril 2007, prenant effet le 1er janvier 2007, des changements de statut et de salaire de l'employé ont été convenus entre les parties. L'employé s'est ainsi vu confier la tâche de "Business Development Manager" et son salaire a été porté à 120'000 fr. brut l'an, versé en douze mensualités. A ce salaire fixe s'ajoutait un "bonus/commission" qui correspondait au 15% de la part dépassant la marge budgétée. L'employé était désormais chargé de la vente du secteur de la chromatographie pour la Suisse entière, tout en devant développer la gamme de produits de ce secteur proposés et distribués par l'employeur.
Le contrat de travail prévoyait également le paiement envisageable d'une gratification en fin d'année, avec la précision que cette prestation était à bien plaire et n'avait aucun caractère obligatoire.
Le jour de l'engagement de X._, une clause de confidentialité et de non-concurrence a été signée, de même qu'un document concernant les conditions d'utilisation du courrier électronique et d'internet. Par la clause de confidentialité, l'employé s'engageait à garder strictement secrets et à ne montrer ni révéler à des tiers tous documents ou informations liés à l'activité de l'employeur, ou d'une société soeur ou filiale, dont il a eu connaissance par son travail. Quant à la clause de non-concurrence, elle interdisait tout acte de concurrence, sur tout le territoire suisse, durant deux ans dès la fin des rapports de travail et prévoyait une peine conventionnelle de 200'000 francs; la clause n'était pas applicable si l'employé était licencié pour des raisons économiques.
A.b Le 21 avril 2008, l'employé a été congédié pour le 30 juin 2008 et libéré avec effet immédiat de son obligation de travailler. Les motifs invoqués à l'appui du licenciement étaient un net manque de collaboration avec l'équipe dirigeante de la société, un problème de communication et de relation avec l'ensemble des collaborateurs rattachés à la vente, ainsi que d'autres collègues de travail, un manque dans le développement des gammes de chromatographie et un manque de croissance des ventes chromatographies en Suisse allemande. Des griefs supplémentaires ont été invoqués par courrier du 23 avril 2008.
Le 15 mai 2008, X._ a formé opposition à ce congé qu'il a qualifié d'abusif au sens de l'art. 336 CO. Il n'a par ailleurs pas accepté le libellé du certificat de travail délivré le 1er juillet 2008 par l'employeur.
A.c Par contrat de travail signé le 2 juillet 2008, X._ a été engagé par la société M._ AG, active dans le même domaine que Y._ SA et seule distributrice avec cette dernière des produits de la marque xxx en Suisse. Par courrier du 18 juillet 2008, Y._ SA faisait valoir la clause de non-concurrence et sommait son ancien employé de lui donner l'engagement de ne pas développer la distribution de la marque xxx chez son nouvel employeur.
B. Le 27 août 2008, Y._ SA a ouvert action contre X._ devant le Tribunal de prud'hommes du canton de Genève; l'employé devait être condamné à payer le montant de 200'000 fr., avec intérêts dès le 1er juillet 2008, à titre de peine conventionnelle pour la violation de la clause de non-concurrence.
Le 29 août 2008, X._ a également ouvert action contre Y._ SA, concluant au paiement par l'employeur d'une somme de 96'483 fr.70, plus intérêts, à titre de solde de bonus/commission 2007 (12'452 fr.25) et de bonus/commission 2008 (23'721 fr.90), à titre de gratification 2007 (10'000 fr.), à titre de jours de vacances non prises en nature (5'948 fr.55) et à titre d'indemnité pour licenciement abusif (44'361 fr.).
Par jugement du 26 janvier 2010, le tribunal a condamné l'employé à payer à l'employeur la somme nette de 200'000 fr., avec intérêts moratoires à 5% l'an dès le 1er juillet 2008, et pris acte du fait que l'employeur s'engageait à modifier le certificat de travail délivré, tout en l'y condamnant en tant que de besoin. Les parties ont été déboutées de toutes autres conclusions.
Statuant le 30 novembre 2010 sur appel de l'employé, la Cour d'appel de la juridiction des prud'hommes du canton de Genève a annulé le jugement de première instance. Elle a donné acte aux parties de leur accord concernant le libellé du certificat de travail et condamné, en tant que de besoin, l'employeur à délivrer ledit certificat; elle a par ailleurs condamné l'employeur à verser à l'employé la somme de 12'452 fr.25 à titre de solde de bonus/commission pour l'exercice 2007, avec intérêts, et condamné celui-ci à verser à celui-là la somme de 40'000 fr., avec intérêts, à titre de violation de la clause de non-concurrence, en autorisant la compensation des montants précités. Les parties ont enfin été déboutées de toutes autres conclusions.
C. L'employé exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Invoquant l'arbitraire dans la constatation des faits et une violation des art. 340c al. 2, 336 al. 1 let. d et 322a CO, il conclut, sous suite de dépens, à l'annulation de l'arrêt entrepris et à la condamnation de l'employeur à lui verser la somme de 44'361 fr., avec intérêts dès le 30 juin 2008, à titre d'indemnité pour licenciement abusif, et la somme de 23'721 fr.90, avec intérêts dès le 31 juillet 2008, à titre de bonus/commission pour l'année 2008. Il conclut également au déboutement de l'employeur, "ainsi que de tout opposant", de toutes autres ou contraires conclusions.
Le recourant requiert par ailleurs que l'effet suspensif soit octroyé à son recours.
L'intimée sollicite le rejet du recours, sous suite de dépens.
Considérant en droit:
1. 1.1 Le jugement attaqué a été rendu en matière civile (art. 72 al. 1 LTF) par l'autorité judiciaire cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire pécuniaire dont la valeur litigieuse, qui correspond aux montants encore litigieux devant l'autorité précédente (art. 51 al. 1 let. a LTF), atteint le seuil de 15'000 fr. fixé en matière de droit du travail (art. 74 al. 1 let. a LTF). Interjeté par la partie qui a partiellement succombé dans ses conclusions condamnatoires et libératoires (art. 76 al. 1 LTF), le recours est en principe recevable puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF en liaison avec l'art. 46 al. 1 let. c LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 135 II 384 consid. 2.2.1 p. 389). Par exception à la règle selon laquelle il examine le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401; 135 II 145 consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 p. 287 s. et consid. 6.2 p. 288).
Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. La présente cause comporte un élément d'extranéité dans la mesure où le recourant a son domicile en France. Le Tribunal fédéral doit donc contrôler d'office la question du droit applicable au litige (ATF 136 III 142 consid. 3.2 p. 144 et les arrêts cités). L'arrêt attaqué ne contient aucune considération à ce sujet. Les parties se réfèrent toutes deux au droit suisse dans leurs écritures et ce droit correspond à celui de l'Etat dans lequel le recourant a accompli son travail (art. 121 al. 1 LDIP). Il y a donc lieu d'appliquer le droit suisse au présent litige.
3. Déterminer les motifs réels d'une résiliation est une question de fait (ATF 136 III 513 consid. 2.3 p. 515; 131 III 535 consid. 4.3 p. 540; 130 III 699 consid. 4.1 p. 702).
La cour cantonale a retenu que plusieurs des motifs avancés par l'employeur à l'appui du licenciement de l'employé sont bien réels. Il s'agit du manque dans le développement des gammes de chromatographie, du non-développement du secteur des ventes en chromatographie en Suisse allemande et de la disparition des serveurs de certaines informations et/ou répertoires. Parmi ces motifs ne figurent pas les revendications de l'employé s'agissant de l'octroi d'un "bonus/commission" et/ou d'une gratification. Pour la cour cantonale, dites revendications n'ont joué aucun rôle causal dans la décision de licencier l'employé (cf. jugement, p. 24 s.).
Le recourant dénonce en lien avec chacun des trois motifs retenus, le grief d'arbitraire dans la constatation des faits. De son point de vue, les reproches formulés par l'employeur ne sont pas fondés et la cour cantonale ne pouvait pas, sans arbitraire, retenir leur existence comme établie.
Pour le surplus, le recourant indique expressément s'en rapporter aux faits tels qu'établis par l'autorité cantonale.
4. Il n'est pas contesté que le recourant, initialement chargé de visiter la clientèle de la Suisse romande, plus spécialement d'assurer le conseil technique et la promotion des ventes des produits de la gamme chromatographie, s'est vu par la suite confier la tâche de "Business Development Manager". En cette qualité, définie par avenant du 18 avril 2007, l'employé ne devait plus seulement s'occuper de la vente du secteur de la chromatographie pour la Suisse romande, mais pour tout le pays; il était aussi chargé de développer la gamme de produits de ce secteur.
4.1 Il a été retenu que les termes "développement de la gamme de produits" figurant dans l'avenant, supposent, entre autres, la recherche de nouveaux fournisseurs et leur portée n'a pas pu échapper à l'employé, déjà actif depuis plus de trois ans dans l'entreprise. Cette interprétation est contestée par l'employé, qui prétend qu'il n'avait pas comme nouvel objectif de trouver des partenariats avec de nouveaux fournisseurs potentiels.
A supposer que l'autorité cantonale soit parvenue à déterminer la commune et réelle intention des parties - ce qui ne ressort pas clairement du jugement entrepris -, le recourant ne prétend pas et encore moins ne démontre que cette constatation aurait été établie de manière arbitraire. Le grief est donc irrecevable. Il l'est tout autant si la question a été tranchée sous l'angle du principe de la confiance, dès lors que le recourant n'expose pas en quoi sur ce point l'acte attaqué viole le droit. Il va donc sans dire que le moyen ne répond nullement aux exigences de motivation de l'art. 42 al. 2 LTF.
En opposition avec le premier argument soulevé (absence d'objectif consistant à accroître le nombre de fournisseurs), le recourant affirme néanmoins avoir développé les gammes de chromatographie. Pour arriver à cette conclusion, il reproduit partiellement les dépositions des témoins A._, B._ et C._, ainsi que le contenu d'un courriel adressé le 18 avril 2008 à D._. Cette manière de faire ne permet bien évidemment pas de démontrer l'arbitraire dans la constatation des faits (art. 42 al. 2 LTF). Au demeurant, les éléments avancés par le recourant ne sont pas propres à faire apparaître l'appréciation des preuves faite par la cour cantonale comme insoutenable.
Le recourant invoque le témoignage de A._. Si le témoin en question cite les sociétés N._, O._ et P._, comme nouveaux fournisseurs apportés après avril 2007, en ajoutant que "en tout, environ sept ou dix nouveaux fournisseurs ont été amenés", il indique plus loin ne pas être certain de savoir si ces sociétés ont été apportées avant ou après la promotion de l'employé. Le même témoin, entendu une nouvelle fois devant l'instance de recours cantonale, a désigné les sociétés O._ et P._ comme nouveaux fournisseurs, apparus chez Y._ SA depuis la promotion d'avril 2007. Or, il a été retenu, sans que le recourant n'y revienne, que le volume d'affaires traitées avec les sociétés en question était tout à fait négligeable. La déclaration de A._, qui ne constitue du reste qu'un élément de preuve parmi d'autres appréciés par la cour, n'a par conséquent pas la portée que le recourant tente de lui attribuer.
Le recourant se fonde également sur le témoignage de B._, directeur commercial chez N._, qui a indiqué avoir évoqué avec X._ les nouvelles gammes de produits de la société lors de l'exposition ..., en .... Une telle évocation ne participe pas d'un travail de développement de la gamme de chromatographie, ce d'autant qu'elle se heurte à d'autres éléments de preuve concordants, comme le témoignage de D._, E._ et F._, dûment cités par les juges cantonaux et passés sous silence par le recourant. On relèvera encore que le recourant ne conteste pas ne pas avoir voulu se rendre aux Etats-Unis en mars 2008 pour participer à une exposition, ce qui pouvait contribuer à le mettre en contact avec d'éventuels nouveaux fournisseurs.
Comme indiqué, le recourant ne remet pas en cause le témoignage de E._. Or, selon cette dernière, la société Q._ a été approchée par elle-même lors de l'exposition ... et non pas par X._. Cela étant, il n'y a pas lieu de mettre à l'actif de ce dernier les contacts noués avec dite société et l'argumentation développée par le recourant en lien avec cette société, référence faite au courriel du 18 avril 2008, est vaine.
Enfin, le témoignage de C._ n'est d'aucun secours au recourant, puisqu'il fait état de clients fructueux, en citant les sociétés R._ et S._, et non pas de fournisseurs dont il est pourtant ici question.
En conclusion, la cour cantonale ne s'est pas livrée à une appréciation arbitraire des preuves en retenant que le recourant n'a pas cherché à développer les gammes de chromatographie, contrairement à ce qui était prévu dans l'avenant du 18 avril 2007.
4.2 La validité de la clause de prohibition de faire concurrence n'est pas remise en cause par le recourant (art. 340 et 340a CO), de même que le montant de la pénalité retenue par les magistrats cantonaux. Le recourant prétend toutefois que la prohibition a cessé du fait que le contrat a été résilié par l'employeur sans que l'employé lui ait donné un motif justifié au sens de l'art. 340c al. 2 CO. Il dénonce à cet égard une violation du droit fédéral.
Une clause de prohibition de faire concurrence valablement conclue devient caduque lorsque l'employeur congédie le travailleur sans que celui-ci ait donné un motif valable pour ce licenciement, ou lorsque le travailleur a résilié le contrat pour un motif justifié imputable à l'employeur (art. 340c al. 2 CO). Il ne faut toutefois pas confondre ce motif justifié avec le juste motif donnant lieu à un licenciement avec effet immédiat selon l'art. 337 CO. Ne sont des motifs justifiés au sens de l'art. 340c al. 2 CO que les événements qui ont été causés par la partie adverse, ou à tout le moins dont elle doit répondre. Est considéré comme un motif justifié au sens de l'art. 340c al. 2 CO tout événement imputable à l'autre partie qui, selon des considérations commerciales raisonnables, peut donner une raison suffisante pour un licenciement. Il n'est pas nécessaire qu'il s'agisse d'une violation contractuelle en tant que telle (ATF 130 III 353 consid. 2.2.1 p. 359 s. et les références citées).
Il convient de déterminer si le motif retenu ci-dessus (cf. supra, consid. 4.1 in fine) peut être considéré comme un motif justifié au sens de la disposition précitée. Si tel devait être le cas, il n'y a pas lieu d'entrer en matière sur les critiques se rapportant aux autres motifs retenus à l'appui du licenciement, à savoir un manque dans le développement des ventes en chromatographie en Suisse allemande et la disparition des serveurs informatiques de certaines informations et/ou répertoires.
En ne contribuant pas au développement de la gamme de chromatographie tel que convenu par avenant du 18 avril 2007, le recourant n'a pas rempli, de manière contraire à ses engagements contractuels, sa fonction de "Business Development Manager". En cela, la condition du motif justifié est réalisée (cf. ATF 130 III consid. 2.2.1 p. 359). On notera encore qu'il ressort des faits de la cause - sans que l'arbitraire ne soit invoqué - que l'employé avait déjà le projet de s'engager au service d'une concurrente et qu'il préparait la suite de ses activités avant la fin des rapports de travail avec l'intimée. Or, un tel comportement, évoqué par l'employeur pour dénoncer la violation par l'employé de son devoir de confidentialité, justifie en soi le licenciement (ATF 130 III 353 consid. 2.2.3 p. 361).
Partant, c'est sans violer le droit fédéral que la cour cantonale a admis que le congé ordinaire donné le 21 avril 2008 pour le 30 juin 2008 était justifié et que la clause de prohibition de faire concurrence pouvait déployer ses effets.
5. Le recourant soutient avoir été victime d'un congé-représailles au sens de l'art. 336 al. 1 let. d CO, parce que la résiliation a été donnée pour le motif qu'il faisait valoir de bonne foi des prétentions résultant du contrat de travail.
Il a été constaté en fait - de manière à lier le Tribunal fédéral (art. 105 al. 1 LTF) - que le recourant a été licencié du fait qu'il ne remplissait pas intégralement ses obligations contractuelles. Il a été jugé que ce motif, évoqué parmi d'autres motifs, justifiait le licenciement ordinaire notifié au recourant. Le congé litigieux ne saurait être qualifié de congé-représailles puisque l'employeur - ainsi que cela ressort de l'état de fait - n'entendait nullement, en licenciant l'employé, le sanctionner pour des revendications formulées en lien avec le contrat de travail. Les demandes de l'employé n'ayant joué aucun rôle causal dans le licenciement, c'est à bon droit que la cour cantonale a rejeté les prétentions du recourant en paiement d'une indemnité pour licenciement abusif (cf. ATF 136 III 513 consid. 2.6 p. 517 s.). Le grief est infondé.
6. Le recourant se plaint encore d'une violation de l'art. 322a CO. Il reproche à l'autorité cantonale de ne pas lui avoir accordé le montant réclamé à titre de commission/bonus 2008, lequel montant devait être déterminé ex aequo et bono.
Aux termes de l'art. 322a al. 1 CO, si, en vertu du contrat, le travailleur a droit à une part du bénéfice ou du chiffre d'affaires ou participe d'une autre manière au résultat de l'exploitation, cette part est calculée sur la base du résultat de l'exercice annuel, déterminé conformément aux prescriptions légales et aux principes commerciaux généralement reconnus. L'alinéa 2 de cette disposition fait obligation à l'employeur de fournir les renseignements nécessaires au travailleur ou à un expert désigné en commun par les parties ou par le juge; il fait également obligation à l'employeur d'autoriser le travailleur à consulter les livres de comptabilité dans la mesure nécessaire. Si une participation aux bénéfices de l'entreprise est convenue, l'art. 322 al. 3 CO oblige l'employeur à remettre une copie du compte de profits et pertes de l'exercice annuel au travailleur qui le demande.
Il n'est pas contesté qu'au salaire annuel fixe prévu s'ajoutait un "bonus/commission", arrêté à 15% de la part dépassant la marge budgétée. Il est de même admis que le budget des ventes devait être déterminé chaque année et être "avalisé par les acteurs"; en cas de rupture du contrat, un décompte devait être arrêté au jour de cette rupture, établi le mois suivant et payé au plus tard dans les 30 jours suivant le paiement du décompte de salaire.
Pour l'année 2008 - contrairement à l'année 2007 -, le recourant n'a pas participé à l'élaboration du budget. En outre, aucun décompte destiné au calcul du bonus/commission n'a été produit par l'employeur au terme du contrat. Il importe peu en définitive. L'autorité cantonale ne s'est pas fondée sur le budget établi unilatéralement par l'intimée pour dire que les résultats du trimestre concerné n'avaient pas atteint les objectifs fixés. Il a en effet été constaté, sans que le recourant n'y revienne, qu'en 2008, l'intimée a non seulement perdu la représentation des produits xxx et yyy, mais qu'elle a également perdu le client T._, qui représentait à lui seul le tiers du chiffre d'affaires de la chromatographie; il a de surcroît été retenu que les derniers temps de son activité auprès de l'intimée le recourant ne déployait plus une activité très intense. Dans ces circonstances, il ne fait nul doute que les résultats projetés, quels qu'ils soient, n'ont pas pu être raisonnablement réalisés et que, partant, l'octroi d'un bonus/commission n'était pas justifié pour le premier trimestre 2008 - comme retenu par les juges cantonaux. Le recourant ne remet par ailleurs pas en cause la décision des juges cantonaux, qui relève de l'administration des preuves, de ne pas ordonner une expertise pour suppléer à l'absence de décompte fourni par l'employeur. Il n'y a donc pas lieu d'y revenir.
On ne discerne aucune violation de l'art. 322a CO.
7. En conclusion, le recours est rejeté dans la mesure de sa recevabilité. Sur le vu de ce résultat, la requête d'effet suspensif devient sans objet.
8. Les frais judiciaires et les dépens doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure de sa recevabilité.
2. La requête d'effet suspensif est sans objet.
3. Les frais judiciaires, fixés à 5'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 6'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Cour d'appel de la juridiction des prud'hommes du canton de Genève.
Lausanne, le 21 mars 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin