Faits:
A. A.a A._ Sàrl, sise en France, fait partie du groupe B._. Cette société a trois filiales suisses, à savoir Y._ Sàrl, C._ Sàrl et D._ Sàrl.
A.b A._ Sàrl a fondé avec X._ une société suisse E._ SA, dans laquelle la première détenait 55 % des parts et le second 45 %. Par protocole d'accord du 5 avril 2005 soumis au droit et aux tribunaux français, X._ a concédé à sa partenaire une option d'achat exclusive et irrévocable sur ses parts, la cession devant intervenir au plus tard le 30 juin 2009; il s'est en outre astreint à une obligation de loyauté envers son employeur durant toute l'exécution du contrat et durant toute la période de collaboration avec le groupe B._.
Par contrat du 15 septembre 2005 soumis au droit suisse, X._ a été engagé par E._ SA en qualité de directeur général avec effet au 1er septembre 2005. La durée de travail était de 42 heures au minimum, répartie sur cinq jours par semaine. X._ s'engageait à consacrer tout son temps de travail à la société et à défendre loyalement les intérêts légitimes de cette dernière. Il s'interdisait, sauf accord préalable écrit, de s'intéresser d'une quelconque manière à toute entreprise susceptible de faire concurrence à la société (art. 5).
A compter du 1er août 2007, X._ a travaillé en qualité de directeur général pour le compte de Y._ Sàrl. Depuis cette date, il a également dirigé C._ Sàrl et D._ Sàrl tout en continuant à gérer E._ SA. Sa rémunération est restée la même et il a pu bénéficier du solde de vacances dont il disposait auprès de E._ SA. Aucun contrat de travail n'a été signé.
Par lettre d'objectifs du 9 novembre 2007, X._ s'est vu octroyer le droit à une prime pour la période du 1er juillet 2007 au 31 décembre 2008, soit une rémunération brute variable calculée en fonction des résultats des trois filiales suisses du groupe B._.
A.c X._ est devenu actionnaire de la société suisse F._ SA créée le *** 2008. Il a reçu des courriels adressés aux "membres du Board" et a participé à quatre réunions du conseil d'administration de cette société entre le 17 avril et le 2 septembre 2008. En juillet 2008, il a proposé à une personne dont l'adresse électronique se terminait par "E._.ch" d'envoyer son curriculum vitae au directeur général de F._ SA.
Par lettre du 10 octobre 2008, X._ a informé B._ SA, soit la société-mère de A._ Sàrl, du fait que D._ Sàrl employait une ressortissante étrangère sans permis de travail. Il précisait ne pas avoir été consulté ni averti de cette situation, dont il demandait la régularisation dans les cinq jours.
Dans un courrier du 17 octobre 2008, X._ s'est plaint auprès de Y._ Sàrl des deux événements suivants: d'une part, une employée avait été mutée de l'étranger dans cette société sans qu'il en ait été informé, alors qu'une telle décision entrait dans ses prérogatives; d'autre part, des rumeurs circulaient selon lesquelles il pourrait prochainement cesser d'être directeur général. Il demandait que toute disposition nécessaire soit prise afin de rétablir la situation dans la société et d'assurer la protection de sa personnalité.
Le 27 octobre 2008, B._ SA a écrit à X._ avoir récemment appris la création de F._ SA, dont les prestations étaient directement concurrentes à celles des sociétés du groupe B._ en Suisse. Il lui était notamment apparu que X._ se rendait régulièrement à des réunions au rythme moyen d'un après-midi par semaine. B._ SA se référait à un entretien du 1er octobre 2008 en rappelant qu'à cette occasion, elle lui avait clairement indiqué être au courant de ses activités parallèles. En définitive, elle s'interrogeait sur l'intérêt réel que X._ portait aux sociétés du groupe B._ et sur sa loyauté envers elles.
Le 30 octobre 2008, Y._ Sàrl a licencié X._ avec effet au 31 décembre 2008 et l'a immédiatement libéré de son obligation de travailler. Le 6 novembre 2008, X._ a informé Y._ Sàrl du fait qu'il s'était trouvé en incapacité de travail du 30 octobre au 5 novembre 2008 et a annoncé qu'il se présenterait le jour même sur son lieu de travail pour offrir ses services, ce qu'il a fait; il a alors constaté que ses accès aux répertoires des sociétés du groupe avaient été supprimés le jour même. Y._ Sàrl a repoussé les effets du congé au 31 janvier 2009.
Par lettre du 14 novembre 2008, A._ Sàrl, en sa qualité d'associée unique de Y._ Sàrl, a exposé à X._ les motifs justifiant son licenciement, à savoir:
- une diminution du chiffre d'affaires, des effectifs et du nombre de projets des sociétés du groupe, s'expliquant par l'absence d'encadrement des équipes commerciales et de stratégie de développement;
- une désorganisation progressive au sein de Y._ Sàrl, en raison d'un manque de gestion rigoureuse des ressources humaines et d'absences fréquentes de X._, qui avait ainsi démotivé ses équipes et provoqué le départ progressif des managers;
- un abandon de la gestion de Y._ Sàrl et de C._ Sàrl au profit des sociétés E._ dont il était actionnaire.
X._ a contesté son congé par courrier du 16 décembre 2008. Il a engagé une poursuite n° *** à l'encontre de Y._ Sàrl en lui faisant notifier, le 19 mars 2009, un commandement de payer la somme de 257'526 fr. à titre de prime d'objectifs due en vertu de la lettre du 9 novembre 2007. Y._ Sàrl a fait opposition.
Le 8 juin 2009, X._ a créé une société de conseil et d'accompagnement à l'ouverture et l'implantation de succursales ou filiales en Suisse.
B. B.a Le 30 juillet 2009, X._ a ouvert action contre Y._ Sàrl devant le Tribunal de prud'hommes du canton de Genève. Par jugement du 28 juillet 2010, cette juridiction a condamné la défenderesse à payer au demandeur respectivement 137'912 fr. 60 brut à titre de prime d'objectifs, 1'149 fr. 70 brut à titre de solde de salaire et 40'000 fr. à titre d'indemnité pour licenciement abusif. La mainlevée définitive de l'opposition au commandement de payer n° *** a été prononcée à concurrence de 137'912 fr. 60 brut.
B.b Y._ Sàrl a fait appel de ce jugement en concluant au rejet de l'action. Par appel incident, X._ a conclu au paiement de 257'526 fr. brut à titre de prime d'objectifs, à la mainlevée définitive de l'opposition à concurrence de ce montant et à la confirmation du jugement pour le surplus. Par arrêt du 20 mai 2011, la Chambre des prud'hommes de la Cour de justice a condamné l'appelante à payer 24'184 fr. brut à titre de prime d'objectifs, dont à déduire les cotisations légales et usuelles, et a prononcé la mainlevée de l'opposition à concurrence de la somme brute précitée. Elle a confirmé l'allocation d'un solde de salaire de 1'149 fr. 70 mais a supprimé l'indemnité de 40'000 fr. pour licenciement abusif.
C. X._ (ci-après: le recourant) interjette un recours en matière civile auprès du Tribunal fédéral. Il conclut au paiement de 257'526 fr. à titre de prime d'objectifs, à la mainlevée définitive de l'opposition au commandement de payer n° *** à concurrence du montant brut précité, ainsi qu'à l'octroi d'une indemnité pour licenciement abusif de 127'600 fr. Il conclut à la confirmation de l'arrêt attaqué en tant qu'il a trait au solde de salaire de 1'149 fr. 70.
Y._ Sàrl (ci-après: l'intimée) conclut au rejet du recours.
L'autorité précédente se réfère à son arrêt.
Un deuxième échange d'écritures a eu lieu, à l'issue duquel il a été indiqué qu'aucune écriture supplémentaire ne serait prise en considération.
Considérant en droit:
1. Le recours est dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF), dans une affaire pécuniaire de droit du travail dont la valeur litigieuse excède manifestement le seuil légal de 15'000 fr. (art. 51 al. 1 let. a et art. 74 al. 1 let. a LTF). Son auteur, qui a succombé pour l'essentiel devant l'autorité précédente (art. 76 al. 1 LTF), a agi dans le délai (art. 100 al. 1 LTF en relation avec l'art. 45 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, de sorte que le recours est recevable sur le principe.
2. 2.1 Le recours est ouvert pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique ce droit d'office, hormis les droits fondamentaux (art. 106 LTF). Il n'est pas lié par l'argumentation des parties et apprécie librement la portée juridique des faits. Il s'en tient cependant, d'ordinaire, aux questions juridiques que la partie recourante soulève dans la motivation du recours (art. 42 al. 2 LTF; ATF 135 III 397 consid. 1.4), et il ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief invoqué et motivé de façon détaillée (art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.2).
2.2 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'écarter des constatations de l'autorité cantonale que si elles ont été établies de façon manifestement inexacte - c'est-à-dire arbitraire (ATF 137 I 58 consid. 4.1.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). En outre, la correction du vice doit être susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Il n'incombe pas au Tribunal fédéral de rechercher lui-même dans le dossier si ce dernier pourrait éventuellement contenir des indices d'une inexactitude des constatations retenues par l'autorité précédente. L'art. 105 al. 2 LTF trouve application lorsque le Tribunal fédéral, en examinant les griefs soulevés, constate une inexactitude manifeste dans l'état de fait ou lorsque celle-ci saute d'emblée aux yeux (ATF 133 IV 286 consid. 6.2).
Pour le surplus, il incombe à la partie recourante qui entend s'écarter des constatations de l'autorité précédente d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées; à défaut, il ne peut être tenu compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 IV 286 consid. 6.2). Dans la mesure où le grief a trait au caractère arbitraire de l'établissement des faits ou à l'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3).
L'appréciation des preuves est arbitraire lorsque le juge omet de prendre en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier sa décision, ou qu'il se trompe manifestement sur son sens et sa portée, ou encore qu'il tire des déductions insoutenables des éléments de preuve recueillis (ATF 136 III 552 consid. 4.2).
2.3 Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF). Sont déterminantes les dernières conclusions prises devant l'autorité précédente.
En l'occurrence, le recourant requiert l'allocation d'une indemnité de 127'600 fr. pour licenciement abusif, conclusion qu'il avait certes déjà prise dans sa demande du 30 juillet 2009. Toutefois, devant l'autorité d'appel, il s'est contenté de demander la confirmation du jugement lui octroyant à ce titre 40'000 fr. Sa conclusion n'est donc admissible que jusqu'à concurrence de ce dernier montant et se révèle irrecevable pour le surplus.
3. 3.1 Dans une argumentation qui mêle des griefs de fait et de droit, le recourant se plaint de la manière dont la Chambre des prud'hommes a interprété la formule relative au calcul de sa prime énoncée dans la lettre d'objectifs du 9 novembre 2007.
3.2 En présence d'une clause contractuelle, le juge doit au premier chef rechercher la volonté réelle et commune des parties quant à sa signification (cf. art. 18 al. 1 CO). S'il ne peut établir une telle volonté, il doit recourir au principe de la confiance et rechercher comment les termes pouvaient être compris de bonne foi en fonction de l'ensemble des circonstances. Cette méthode d'interprétation permet d'imputer à une partie le sens objectif de sa déclaration même s'il ne correspond pas à sa volonté intime. L'application du principe de la confiance est une question de droit que le Tribunal fédéral revoit librement, tandis que la constatation de la volonté réelle et commune des parties est une question de fait (ATF 136 III 186 consid. 3.2.1 p. 188; 131 III 606 consid. 4.1 p. 611).
3.3 Dans le cas concret, il n'apparaît pas que la réelle et commune volonté des parties ait pu être établie, de sorte que la cour cantonale a recouru à juste titre à l'interprétation selon le principe de la confiance.
3.4 La lettre d'objectifs du 9 novembre 2007 précise que le recourant a droit à une prime pour la période du 1er juillet 2007 au 31 décembre 2008, calculée au pro rata du temps de présence exclusivement; les périodes dites d'inactivité telles que congé maternité, congé sans solde, préavis payé non effectué ne "f[ont] pas l'objet d'ouverture de droits". Cette rémunération variable brute en francs suisses est calculée sur la base des résultats "Ebit" (Earning before interest and taxes) des trois filiales Y._ Sàrl, C._ Sàrl et D._ Sàrl.
La formule convenue est la suivante:
P = 0,45 x 2 x [(0,5 x (Ebit 2007 - 0,5 x Ebit 2006)) / 2 + 0,5 x (Ebit 2008 - Ebit 2006)] / 1,14
3.5 La cour cantonale a considéré qu'à compter du 30 octobre 2008, le recourant s'était trouvé dans une période d'inactivité qu'il convenait d'exclure du calcul de la prime. Elle en a conclu que, dans le second terme du calcul qui comprend la soustraction (Ebit 2008 - Ebit 2006), les résultats Ebit 2008 déterminants ne pouvaient être que ceux afférents à la période du 1er janvier au 29 octobre 2008; pour l'Ebit 2006 en revanche, elle constatait que le texte de la lettre d'objectifs ne contenait aucune indication prescrivant de tenir compte d'une période inférieure à 12 mois; aussi fallait-il tenir compte des résultats afférents à la période du 1er janvier au 31 décembre 2006.
Le recourant conteste cette interprétation en plaidant que les résultats pris en compte devraient porter sur des périodes identiques; l'Ebit 2006 devrait ainsi se limiter aux résultats enregistrés entre le 1er janvier et le 29 octobre 2006, à l'instar de ce qui prévaut pour l'année 2008.
3.6 Il n'est pas contesté par les parties que la prime doit rémunérer une activité s'étendant du 1er juillet 2007 au 29 octobre 2008. Est seule litigieuse la question de savoir comment traduire cet élément par rapport à la formule énoncée ci-dessus.
La formule, plus lisible sous forme de fractions, est la suivante:
0,45 x 2 x 0,5 x (Ebit 2007 - 0,5 x Ebit 2006) + 0,5 x (Ebit 2008 - Ebit 2006)
2
1,14
Celle-ci était fondée sur la prémisse d'une activité exercée sur 18 mois, soit du 1er juillet 2007 au 31 décembre 2008. Toutefois, il était expressément convenu que la prime n'était due qu'au prorata du temps de présence. On ne discerne dans la formule aucune variable relative à cette inconnue que constitue la durée de l'activité effective. Selon la lettre d'objectifs, l'abréviation "Ebit" désigne le chiffre d'affaires des trois filiales suisses du groupe B._; lorsqu'on adjoint à ce mot une année (Ebit 2006, Ebit 2007 et Ebit 2008), il faut comprendre de bonne foi que l'on se réfère aux chiffres afférents à l'année entière. Certes, la formule intègre nécessairement le fait, déjà connu lors de son élaboration, que le premier semestre 2007 ne donne aucun droit à une rémunération. Toutefois, il n'est pas possible de comprendre comment cet élément a été intégré dans la formule; on ne dispose d'aucun détail sur sa conception, les parties fournissant des explications contradictoires à ce sujet. Le recourant insiste sur le facteur de multiplication 0,5 placé devant l'Ebit 2006, que l'on ne retrouve pas dans la deuxième soustraction; il n'explique toutefois pas pourquoi l'Ebit 2007 porte sur l'année entière. De surcroît, on observe une autre différence entre les deux soustractions, à savoir que la première fait l'objet d'une division par deux.
Il est toutefois constant que la formule en question définit la prime complète à laquelle le recourant aurait eu droit dans l'hypothèse où il aurait été actif sur toute la période envisagée, soit dix-huit mois. La prime doit ainsi être calculée sur cette base, puis le montant obtenu réduit en proportion de la période d'inactivité du recourant, soit deux mois; cela revient à appliquer un facteur de seize dix-huitièmes à la prime complète normalement due.
3.7 S'agissant des résultats annuels d'exploitation, la Cour de justice a retenu les montants suivants:
Ebit 2006: 1'032'463 fr.
Ebit 2007: 1'274'424 fr.
Ebit 2008: 1'008'583 fr. pour l'année entière, respectivement
1'002'745 fr. 30 du 1er janvier au 29 octobre 2008.
Le recourant soutient que le montant de 1'008'583 fr. correspond aux résultats du 1er janvier au 31 octobre 2008 et non de l'année entière; cet élément jouerait en sa faveur, dans l'hypothèse - erronée - où l'on admettrait, à l'instar de la cour cantonale, que l'Ebit 2008 devrait se restreindre aux 10 premiers mois de l'année. Si l'on se réfère aux tableaux MPL auxquels se réfère la cour cantonale, il n'apparaît pas qu'on obtiendrait un montant supérieur à 1'008'583 fr. pour l'année entière. Pour sa part, l'intimée, devant le Tribunal fédéral, ne conteste pas les chiffres retenus par la cour cantonale. Il n'y a ainsi pas de motifs de s'en écarter.
En les appliquant à la formule, on obtient le montant suivant:
0,45 x 2 x 0,5 x (1'274'424 - 0,5 x 1'032'463) + 0,5 x (1'008'583 - 1'032'463)
2
1,14
= 140'216 fr. 95.
Ce montant correspond à une pleine activité sur la période de dix-huit mois envisagée. En appliquant le facteur de seize dix-huitièmes, équivalant à l'activité effective du recourant, l'on obtient une prime de 124'637 fr. 30 (140'216,95 x 16/18). Ce montant est inférieur à celui retenu par la Chambre des prud'hommes, lequel s'élève à 137'912 fr. 60.
4. 4.1 Le recourant conclut au paiement de la prime d'objectifs discutée ci-dessus. Il réfute l'avoir déjà partiellement touchée sous forme de versements que l'intimée aurait opérés au profit de sociétés contrôlées par lui ou son épouse. Les constatations de la cour cantonale à ce sujet résulteraient d'une appréciation arbitraire des preuves et d'une violation de l'art. 8 CC.
4.2 Il est constant que l'intimée a payé diverses factures après leur validation par le recourant. Ainsi, la société G._, gérée par l'épouse du recourant, a touché 26'000 euros sur la base de deux factures des 10 et 30 décembre 2007, puis 9'400 euros en vertu d'une facture du 19 juin 2008. En outre, la société H._, détenue quasi exclusivement par le recourant, a touché la somme totale de 55'658 fr. sur la base de trois factures des 18 et 21 avril 2008.
Selon un courriel daté du 23 avril 2008, le recourant a adressé à un employé du groupe B._ un récapitulatif de son bonus 2007 en précisant qu'il tenait compte de ce qui avait déjà été payé. L'annexe jointe au courriel indiquait: "déjà payé sur 2007 (factures): 26'000 euros, soit 41'730 fr.". Le 27 mai 2008, le même employé a adressé au recourant, qui en a accusé réception, un courriel portant sur la mise à jour de la prime due, qui intégrait les montants déjà payés à titre d'avance. L'annexe au courriel indiquait que ces avances s'élevaient en 2007 à 26'000 euros, soit 42'860 fr., et en 2008 à 55'658 fr., ce qui laissait subsister un solde à payer de 15'210 fr. Comme le relève la cour cantonale, ce dernier montant, converti au taux de change de l'époque, correspond à quelques francs près à la somme de 9'400 euros payée à la société G._.
La cour cantonale a considéré, sur la base de ces courriels et de leurs annexes, que le paiement partiel de la prime d'objectifs due au recourant avait été établi à hauteur de 113'728 fr.
La cour cantonale a considéré, sur la base de ces courriels et de leurs annexes, que le paiement partiel de la prime d'objectifs due au recourant avait été établi à hauteur de 113'728 fr.
4.3 4.3.1 Le recourant conteste la force probante de ces courriels et leurs annexes en relevant qu'il s'agit de pièces informatiques non signées, que leur auteur n'a pas été auditionné et que l'intimée s'est plainte tout au long de la procédure du fait qu'elle n'avait pas accès à la messagerie électronique du recourant. La cour cantonale aurait en outre écarté arbitrairement les déclarations de son épouse alors qu'elles confirmaient la réalité des travaux facturés à l'intimée.
4.3.2 Ce faisant, le recourant s'en prend uniquement à l'appréciation des preuves, de sorte que le grief de fausse application de l'art. 8 CC est d'emblée infondé (cf. ATF 131 III 646 consid. 2.1).
Il n'est pas contesté que la prime n'a pas été payée par la voie ordinaire au même titre qu'un salaire, de sorte qu'il n'est pas décisif que les divers certificats de salaire et autres attestations d'impôt auxquels le recourant renvoie ne fassent pas état du paiement de la prime.
Dans la mesure où les courriels du recourant étaient adressés à une personne du groupe B._, celle-ci a été en mesure de les imprimer et les remettre à l'intimée; il n'est dès lors pas contradictoire que l'intimée ait pu les verser au dossier tout en requérant la production du contenu de la messagerie professionnelle du recourant. L'on ne dispose certes pas de la preuve formelle que les annexes annoncées dans les courriels sont bien celles produites en procédure; toutefois, les courriels eux-mêmes indiquent que la prime a été partiellement payée et le recourant ne prétend pas ni n'établit que les annexes avaient un contenu différent de celles produites. Quant au témoignage de l'épouse du recourant, il ne peut être accueilli qu'avec circonspection vu ses liens avec la partie au litige (cf. art. 226 de l'ancienne loi de procédure civile genevoise du 10 avril 1987 [aLPC], qui prévoyait l'audition des proches à titre de renseignement uniquement, sans prestation de serment).
Au vu de tous ces éléments, il n'était pas insoutenable de considérer que les courriels et annexes produits étaient propres à prouver le paiement partiel de la prime du recourant à concurrence de 113'728 fr.
4.4 En se fondant sur une prime totale de 137'912 fr. et le paiement partiel par 113'728 fr., la cour cantonale a condamné l'intimée à verser le solde de 24'184 fr. Ce montant doit être confirmé dès lors que le montant de la prime en question ne saurait être revu à la hausse, contrairement à ce que plaide le recourant (cf. supra, consid. 3.7).
5. 5.1 Le recourant reproche à la cour cantonale d'avoir violé l'art. 336 CO en refusant de reconnaître le caractère abusif de la résiliation de son contrat de travail. La preuve stricte que l'intimée a cherché à justifier le congé par des motifs fallacieux aurait déjà dû suffire à retenir un abus. De surcroît, le recourant aurait rendu plausible un motif abusif, soit la tentative de A._ Sàrl de racheter à bas prix les actions du recourant dans la société E._ SA en invoquant un "acte anormal de gestion" prévu par le protocole d'accord du 5 avril 2005. A cela s'ajouterait encore un motif de congé-représailles; l'intimée aurait en outre porté de graves atteintes à sa personnalité. Enfin, les juges genevois lui auraient reproché à tort une violation de son devoir de fidélité et de loyauté.
5.2 Chaque partie est en principe libre de mettre fin unilatéralement au contrat de travail, de sorte que la validité d'un congé n'est généralement pas subordonnée à l'existence d'un motif particulier. Ce droit de résiliation est toutefois limité par les dispositions sur le congé abusif (art. 336 ss CO). L'art. 336 CO énonce une liste non exhaustive de cas constitutifs d'abus. Est notamment qualifié d'abusif le congé donné par une partie en raison de l'exercice par l'autre partie d'un droit constitutionnel, à moins que l'exercice de ce droit ne viole une obligation résultant du contrat de travail (art. 336 al. 1 let. b CO). Est aussi abusif le congé donné parce que l'autre partie fait valoir de bonne foi des prétentions résultant du contrat de travail (art. 336 al. 1 let. d CO). En outre, la manière dont le congé est donné peut être constitutive d'abus. En effet, la partie qui veut mettre fin au contrat, même pour un motif légitime, doit exercer son droit avec des égards et s'abstenir de tout comportement biaisé ou trompeur. L'art. 328 al. 1 CO impose à l'employeur de respecter et de protéger la personnalité du travailleur; une violation manifeste de ce devoir, en relation avec le licenciement, peut caractériser l'abus. En revanche, un comportement de l'employeur simplement discourtois ou indélicat est insuffisant (ATF 136 III 513 consid. 2.3; 132 III 115 consid. 2.2 et 2.3; 131 III 535 consid. 4.2).
Pour se prononcer sur le caractère abusif du congé, il faut se fonder sur son motif réel. Déterminer le motif d'une résiliation est une question de fait (ATF 136 III 513 consid. 2.3 p. 515). Il n'existe aucune présomption légale selon laquelle le congé serait abusif lorsque la motivation donnée par l'employeur est fausse (ATF 121 III 60 consid. 3c p. 63). Toutefois, selon la jurisprudence, le juge peut présumer en fait l'existence d'un congé abusif lorsque l'employé parvient à présenter des indices suffisants pour faire apparaître comme non réel le motif avancé par l'employeur. Si elle facilite la preuve, cette présomption de fait n'a pas pour résultat d'en renverser le fardeau. Elle constitue, en définitive, une forme de "preuve par indices". De son côté, l'employeur ne peut rester inactif; il n'a pas d'autre issue que de fournir des preuves à l'appui de ses propres allégations quant au motif du congé (ATF 130 III 699 consid. 4.1 p. 703). Le point de savoir si une telle présomption est établie ou non relève de l'appréciation des preuves (cf. ATF 115 II 484 consid. 2b p. 487).
5.3 Le recourant prétend bénéficier d'une présomption du caractère abusif du congé et entend substituer d'autres motifs de licenciement à celui retenu dans l'arrêt attaqué; toutefois, il ne cherche pas à démontrer, comme le requiert pourtant l'art. 106 al. 2 LTF, en quoi l'appréciation des preuves ayant conduit la cour à retenir le motif contesté serait arbitraire. Pour établir le mobile économique de l'intimée, il se réfère à une clause du protocole d'accord qui ne ressort pas de la décision entreprise, sans pour autant soutenir que l'état de fait serait lacunaire. Les exigences permettant d'entreprendre une rectification de l'état de fait n'étant pas satisfaites en l'espèce (supra, consid. 2.2), la Cour de céans est liée par le motif réel retenu par l'autorité cantonale.
Selon la Cour de justice genevoise, ce ne sont pas les diverses réclamations formulées par le recourant à compter de son courrier du 10 octobre 2008 qui sont à l'origine de son licenciement, mais sa participation à des réunions du conseil d'administration de F._ SA entre avril et septembre 2008. Une telle constatation de fait exclut déjà la possibilité de retenir un congé-représailles au sens de l'art. 336 al. 1 let. d CO.
Il convient d'examiner en droit si le motif réel retenu par la cour cantonale permet de retenir un congé abusif.
Il convient d'examiner en droit si le motif réel retenu par la cour cantonale permet de retenir un congé abusif.
5.4 5.4.1 Par droits constitutionnels au sens de l'art. 336 al. 1 let. b CO, il faut entendre notamment la liberté d'association, la liberté de conscience et de croyance, la liberté économique et la liberté personnelle, qui inclut le droit d'organiser librement son temps libre (RÉMY WYLER, Droit du travail, 2e éd. 2008, p. 544; CLAUDIA CAMASTRAL, Grundrechte im Arbeitsverhältnis, 1996, p. 155).
Le congé n'est pas abusif lorsqu'il est donné en raison de l'exercice d'un tel droit mais que celui-ci viole une obligation découlant du contrat de travail. Entrent principalement en considération le devoir de travail et le devoir de fidélité de l'employé, ainsi que les devoirs prévus par la convention (CAMASTRAL, op. cit., p. 160; PHILIPP GREMPER, Arbeitsrechtliche Aspekte der Ausübung verfassungsmässiger Rechte, 1993, p. 174 s.). Les parties peuvent définir le devoir de fidélité de façon plus stricte que ne le fait l'art. 321a CO. La restriction aux droits constitutionnels doit toutefois se faire dans les limites de la liberté contractuelle, notamment de l'art. 27 al. 2 CC (CAMASTRAL, op. cit., pp. 133-136).
Se pose la question de savoir si toute violation contractuelle, même minime, est de nature à supprimer le caractère abusif du congé. La loi ne fait aucune distinction à cet égard. Selon la doctrine, il faut se demander si, dans un cas normal, la violation (par exemple une absence de durée peu importante) aurait été tolérée, et si l'employeur n'a réagi par un congé que parce que la violation en question était liée à l'exercice d'un droit constitutionnel (GREMPER, op. cit., p. 176).
5.4.2 Dans le cas concret, le recourant avait conclu le 15 septembre 2005 avec E._ SA un contrat de travail prévoyant une durée de travail hebdomadaire de 42 heures au minimum, répartie sur cinq jours. En vertu de l'art. 5, le recourant s'engageait à consacrer tout son temps de travail à E._ SA et à défendre loyalement les intérêts légitimes de cette société. Il s'interdisait, sauf accord préalable écrit, de s'intéresser d'une quelconque manière à toute entreprise susceptible de lui faire concurrence.
Le recourant est devenu actionnaire de la société F._ SA fondée le *** 2008. Il a reçu des courriels adressés aux "membres du Board" et a été convoqué à des réunions du conseil d'administration auxquelles il a participé selon l'agenda suivant:
- le jeudi 17 avril 2008, à 9 h 00 à I._;
- le samedi 17 mai 2008, le matin à I._ dans les bureaux du recourant;
- le jeudi 29 juillet 2008, à 17 h 00 à J._;
- le mardi 2 septembre 2008, à une heure et en un lieu non définis.
La cour cantonale a considéré que l'intimée avait repris l'intégralité du contrat de travail conclu par E._ SA et que le recourant avait contrevenu à l'art. 5 lui faisant obligation de consacrer tout son temps de travail à l'intimée, ce qui relevait du devoir de fidélité et de loyauté prévu par la loi. Elle a conclu que le motif de congé était licite et, partant, non abusif.
5.4.3 Les parties ne contestent pas l'applicabilité du contrat du 15 septembre 2005.
Cette convention ne fixe pas la durée de travail précise mais se contente d'indiquer un temps minimum. Le recourant avait une position de dirigeant et touchait un salaire mensuel brut d'un peu plus de 11'000 fr. Dans un tel contexte, la clause selon laquelle l'employé doit tout son temps à l'employeur signifie en principe que les heures supplémentaires qu'exige sa mission ne seront pas rémunérées ni compensées en temps libre. L'employé doit ainsi être disponible pour effectuer les heures supplémentaires selon les besoins de l'entreprise.
Le devoir de l'employé de mettre à disposition sa force de travail ne saurait être illimité, sauf à enfreindre l'art. 27 al. 2 CC ou les règles de droit public (cf. art. 9 ss LTr - RS 822.11, qui ne valent toutefois pas pour les travailleurs exerçant une fonction dirigeante élevée, art. 3 let. d LTr). L'on peut du reste admettre que la clause selon laquelle l'employé doit tout son "temps de travail" réserve implicitement du temps libre. En l'occurrence, il ne ressort pas de l'état de fait que le recourant aurait été astreint à un horaire déterminé comportant l'obligation d'être présent à certaines heures. La question peut se discuter de savoir si la participation à quatre séances de conseil d'administration, dont une, voire deux se situaient dans des heures de travail usuelles, suffit à constituer une violation contractuelle. Il faut toutefois avoir égard à un autre aspect.
Le recourant s'était engagé tout d'abord envers E._ SA à requérir son accord préalable écrit avant de s'intéresser d'une quelconque manière à toute entreprise susceptible de lui faire concurrence. Le contrat contenant cette clause a été repris par l'intimée. Le recourant a non seulement travaillé pour celle-ci, mais a aussi dirigé les autres filiales suisses du groupe, soit C._ Sàrl et D._ Sàrl, tout en continuant d'assumer la direction de E._ SA. La prime d'objectifs prévue selon la lettre du 9 novembre 2007 tenait compte des résultats des trois filiales suisses. Dans ce contexte, il faut admettre que l'obligation contractuelle précitée valait à l'égard de toutes les sociétés du groupe dirigées par le recourant.
La société F._ SA dans laquelle le recourant a pris des participations avait pour but social la fourniture de prestations pour la recherche et le recrutement de personnel, le conseil en ressources humaines et le coaching. Quant à C._ Sàrl, active dans les domaines technologique, informatique, électronique ou mécanique, elle poursuivait entre autres buts la recherche de main-d'oeuvre, la mise à disposition de personnel et la location de services à des tiers. Ce dernier élément figurait aussi dans les buts sociaux de D._ Sàrl, qui visait les domaines pharmaceutique, chimique et informatique. Enfin, E._ SA proposait notamment le conseil dans les technologies industrielles et la gestion des ressources humaines.
Il n'a certes pas été démontré que F._ SA ait effectivement exercé une activité concurrente, selon les constatations de l'autorité précédente qui lient la Cour de céans. Il n'en demeure pas moins que de par son but social, cette société était susceptible de faire concurrence aux deux filiales de l'intimée ainsi qu'à E._ SA; à ce titre, le recourant aurait dû solliciter l'autorisation préalable écrite de son employeuse.
En définitive, il faut admettre que le recourant, en prenant des participations dans une société sans en informer l'intimée, a commis une violation contractuelle, de sorte que l'hypothèse d'un congé abusif au sens de l'art. 336 al. 1 let. b CO ne saurait être retenue. Le fait que l'intimée a par ailleurs justifié le congé par des motifs dont l'exactitude n'a pas été démontrée, ou a même été contredite à certains égards, ne suffit pas à retenir un congé abusif, dès lors que le motif réel a été établi et que celui-ci se révèle non abusif.
5.5 Il reste à examiner si l'intimée a porté atteinte aux droits de la personnalité du recourant.
5.5.1 De l'avis du recourant, l'intimée aurait porté contre lui des accusations infondées et l'aurait gravement dénigré en cherchant à détruire l'estime que ses équipes avaient pour lui, ce dans le seul but de bénéficier de la clause de rachat à bas prix des actions E._. Il aurait indûment été écarté de la gestion des sociétés qu'il dirigeait et privé d'accès informatiques.
5.5.2 Dans des courriers du 19 novembre 2008, le recourant s'est plaint du fait que de fausses accusations étaient propagées sur sa gestion et sur l'exercice d'une activité parallèle et que l'on portait ainsi gravement atteinte à sa personnalité. Toutefois, rien n'indique dans l'arrêt attaqué que l'intimée ait effectivement critiqué la gestion du recourant auprès de tiers. Il apparaît tout au plus que l'intimée a adressé au recourant une lettre destinée à motiver son congé dans laquelle elle le tenait pour responsable des mauvais résultats de deux filiales et l'accusait de privilégier la gestion de E._ SA, reproches dont le bien-fondé n'a pas été démontré; seules les accusations de mauvaise gestion des ressources humaines et de fréquentes absences ont été contredites. La société-mère B._ SA a par ailleurs reproché par écrit au recourant de faire directement concurrence au groupe par la société F._, dont le but social se recoupait objectivement avec celui de certaines sociétés du groupe. Dans la mesure où le recourant occupait une fonction dirigeante, son activité de gestion était nécessairement exposée à la critique; outre qu'il n'est pas établi que l'intimée aurait sciemment formulé des reproches qu'elle savait erronés, ceux-ci ne sortent pas d'une critique admissible dans le cadre d'un rapport de travail. En bref, ces éléments ne sauraient être constitutifs d'une atteinte aux droits de la personnalité du recourant. La même conclusion s'impose quant au fait que l'intimée a produit, dans la procédure judiciaire, un courriel d'un employé destiné à démontrer le bien-fondé des reproches formulés à l'appui du congé, courriel auquel l'autorité précédente a par ailleurs dénié toute force probante.
Le recourant se plaint aussi des rumeurs qui ont précédé son départ et de la manière dont il a été exclu des prises de décision. La cour cantonale relève qu'il n'est pas démontré que les rumeurs soient dues à un manquement de l'intimée, ni qu'elles aient atteint une intensité et une nature propres à rendre le licenciement abusif sous l'angle des droits de la personnalité. L'on peut ajouter que de telles rumeurs ont pu être alimentées par les événements dont le recourant s'est plaint dans ses courriers des 10 et 17 octobre 2008, à savoir que des décisions relevant de son ressort avaient été prises sans qu'il soit consulté; à cet égard, l'arrêt attaqué admet un manque d'information général du recourant s'expliquant par l'intention de l'intimée de le licencier. Il est certes discutable de prendre des décisions à l'insu du directeur général à la veille de lui signifier son congé; toutefois, une telle attitude ne constitue pas un cas revêtant une gravité semblable aux hypothèses prévues par le législateur à l'art. 336 CO et ne saurait conduire à retenir une atteinte à la personnalité constitutive d'abus au sens de cette disposition. Quant au fait que le recourant a été privé d'accès aux répertoires des sociétés du groupe, il est intervenu quelques jours après la notification du congé. L'attitude de l'intimée, qui a immédiatement libéré le recourant de son obligation de travailler, peut s'expliquer par le fait qu'elle soupçonnait le recourant d'exercer des activités concurrentes et s'interrogeait sur sa loyauté envers le groupe; objectivement, le recourant n'avait pas informé l'intimée de sa prise de participation dans une société dont le but social, encore une fois, se recoupait partiellement avec certaines entités du groupe. Dans ces circonstances, la manière de procéder de l'intimée pouvait encore se justifier.
N'est ainsi pas démontrée l'existence d'une atteinte aux droits de la personnalité qui justifierait de retenir un congé abusif et l'allocation d'une indemnité fondée sur l'art. 336a CO, respectivement d'une indemnité pour tort moral au sens de l'art. 49 CO.
5.6 En bref, la cour cantonale n'a pas enfreint l'art. 336 CO en considérant que le congé donné n'était pas abusif.
6. En définitive, le recours est rejeté dans la mesure où il est recevable.
7. Le recourant, qui succombe, supportera les frais judiciaires et versera à l'intimée une indemnité à titre de dépens (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 8'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des prud'hommes de la Cour de justice du canton de Genève.
Lausanne, le 15 novembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti