Faits:
A. La société anonyme Y._ SA gère des caisses de compensation et perçoit à ce titre des honoraires. Cette activité était à l'origine exercée par l'entreprise individuelle de A_, puis par une société à responsabilité limitée, qui a pris la forme juridique actuelle en mai 2007. Initialement, les honoraires consistaient en un pourcentage de la masse salariale des entreprises affiliées aux caisses de compensation. Ces dernières versaient à Y._ SA des avances sur honoraires, que Y._ SA rétrocédait à A_ dans la mesure où les avances dépassaient les coûts effectifs. Ces rétrocessions représentaient environ 20 ou 30 % des avances, soit des sommes comprises entre 900'000 et 1'500'000 fr. par exercice.
Après le décès de A_, Y._ SA a décidé en 2007 que les rétrocessions seraient désormais allouées aux caisses de compensation, afin de leur permettre d'acquérir son capital-actions. A l'issue de cette opération, les rétrocessions devaient être abrogées et les honoraires, jugés trop élevés, devaient être réduits afin d'éviter une perte de clientèle.
Dans ce contexte, le directeur administratif de Y._ SA, X._, a appris en novembre 2006 par le futur conseil d'administration que son salaire allait être réduit et sa prime d'intéressement - 6 % du bénéfice brut - modifiée. Le prénommé a accepté les nouvelles conditions. Il a ensuite reçu un courrier du 22 décembre 2006 qui chiffrait son nouveau salaire réduit et précisait que sa prime serait maintenue selon une formule restant à définir. Il n'a pas exprimé d'opposition, mais a négocié et obtenu la même année un "complément de salaire" de 167'729 fr. brut qui, dans son esprit, représentait une compensation pour le changement de ses conditions salariales.
Le 4 juin 2007, le conseil d'administration de Y._ SA (ci-après: l'employeuse) a décidé que la prime des directeurs - désormais au nombre de trois, X._ compris (ci-après: l'employé) - serait fixée à 7 % du bénéfice brut de l'entreprise, pourcentage à diviser en trois parts égales. Cette décision devait valoir aussi longtemps que serait pratiqué le système de rétrocessions aux actionnaires; cette période était estimée à cinq ans.
En janvier 2009 déjà, les rétrocessions ont été abolies et le nouveau tarif d'honoraires introduit. Ceux-ci étaient calculés selon un barème de 75 fr. par employé, plus 150 fr. par employé appartenant au personnel d'exploitation des entreprises. Ces modifications ont entraîné une réduction des honoraires et évité le départ de membres. Le bénéfice brut de Y._ SA, qui était de 1'999'714 fr. en 2008, a chuté en 2009 à 658'543 fr. et en 2010 à 506'561 fr.
Le 26 juin 2009, l'employeuse a résilié le contrat de travail de X._ pour le 31 décembre 2009 au motif que son poste était supprimé. L'employé a été libéré de son obligation de travailler. Il s'est trouvé en incapacité de travail totale du 29 juin 2009 au 10 janvier 2010, de sorte que le terme du contrat a été prorogé au 31 juillet 2010.
Un litige s'en est suivi, notamment sur la prime de l'employé pour les années 2009 et 2010.
B. B.a Le 31 mars 2010, l'employé a intenté une action en paiement contre l'employeuse devant la juridiction prud'hommale du canton de Genève; il requérait la production des comptes 2009 et se réservait le droit de conclure au paiement de la prime 2009. Le 25 juin 2010, l'employé a touché 15'366 fr. à titre de prime 2009. Dans ses dernières conclusions du 5 août 2010, il a notamment réclamé 54'624 fr. comme solde de sa prime 2009 et 40'827 fr. à titre de prime 2010, en précisant que le calcul était effectué sur la base du bénéfice 2008. L'employeuse a conclu au rejet.
Par jugement du 16 novembre 2010, le Tribunal des prud'hommes a condamné l'employeuse à verser les sommes brutes suivantes: 17'343 fr. à titre de solde du salaire dû pendant la période d'incapacité de travail, 15'647 fr. pour la prime 2009 et 18'091 fr. pour la prime 2010. Le tribunal a invité la partie concernée à opérer les déductions sociales nécessaires et a rejeté toute autre conclusion.
B.b L'employé a fait appel auprès de la Chambre des prud'hommes de la Cour de justice, concluant au paiement de 54'624 fr. et 40'827 fr. à titre de primes 2009 et 2010, ainsi qu'à la confirmation du jugement pour le surplus. L'employeuse a exécuté le chiffre 2 du dispositif en versant la somme de 17'343 fr. Elle a requis l'annulation du jugement pour le surplus et le rejet de toutes les conclusions de l'appelant.
Par arrêt du 1er février 2012, la Cour de justice a cassé la décision entreprise. Statuant à nouveau, elle a donné acte à l'employeuse de son versement de 17'343 fr. et constaté que le point 2 du dispositif du jugement était privé d'objet. Pour le surplus, elle a condamné l'employeuse à payer 6'895 fr. brut à titre de prime pour l'exercice 2010 et a invité la partie concernée à effectuer les déductions sociales nécessaires.
C. L'employé (ci-après: le recourant) saisit le Tribunal fédéral d'un recours en matière civile. Il conclut à la réforme de l'arrêt attaqué, en ce sens que l'employeuse (ci-après: l'intimée) est condamnée à lui payer les sommes brutes de 54'624 fr. et 40'827 fr. à titre de primes 2009 et 2010.
L'intimée conclut au rejet. L'autorité précédente se réfère à son arrêt.
Considérant en droit:
1. 1.1 Le présent recours est dirigé contre une décision finale (art. 90 LTF) rendue par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF) dans une affaire pécuniaire civile dont la valeur litigieuse excède manifestement le seuil de 15'000 fr. requis en matière de droit du travail (art. 74 al. 1 let. a LTF). Déposé dans le délai (art. 100 al. 1 LTF en liaison avec l'art. 45 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, il est recevable sur le principe.
1.2 Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée (art. 99 al. 1 LTF).
L'intimée produit une pièce datée du 7 février 2012, destinée à prouver le paiement de 6'895 fr. à titre de prime 2010. Un tel document ne saurait être pris en compte dès lors qu'il est postérieur à l'arrêt attaqué. Il n'est au demeurant pas propre à influencer le calcul de la valeur litigieuse (cf. art. 51 al. 1 let. a LTF), contrairement à ce que plaide l'intimée.
2. Le recours peut être formé pour violation du droit fédéral (art. 95 let. a LTF). Le Tribunal fédéral applique ce droit d'office (art. 106 al. 1 LTF), hormis les droits fondamentaux. Pour ceux-ci - notamment la prohibition de l'arbitraire consacrée à l'art. 9 Cst. - prévaut le principe de l'allégation, en ce sens que le recourant doit expressément soulever le grief et exposer de manière claire et circonstanciée, si possible documentée, en quoi consiste la violation du droit constitutionnel invoqué (art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.2; 133 II 249 consid. 1.4.2).
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente, sous réserve d'une inexactitude manifeste ou d'autres exceptions qui lui permettent de rectifier ou compléter d'office l'état de fait (art. 105 al. 1 et 2 LTF; ATF 133 IV 286 consid. 6.2). Pour le surplus, il incombe à la partie recourante de faire valoir que des faits ont été établis de façon manifestement inexacte ou contraire au droit (art. 97 al. 1 LTF). Dans la mesure où le grief a trait au caractère arbitraire de l'établissement des faits ou à l'application anticonstitutionnelle du droit de procédure cantonal, les exigences de motivation sont celles, plus strictes, de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3).
Au vu de ce qui précède, il n'y a pas à tenir compte des faits présentés dans le mémoire de recours dans la mesure où ils s'écartent de ceux retenus par l'autorité précédente.
3. 3.1 Le recourant se plaint tout d'abord de ce que l'intimée lui aurait imposé indûment une diminution de salaire en modifiant de façon unilatérale l'un des paramètres de fixation de sa prime. A son sens, les art. 322 et 322a al. 1 CO imposaient de recueillir l'accord de l'employé, dès lors que l'employeuse abandonnait sa pratique commerciale des rétrocessions et provoquait ainsi une diminution drastique de son bénéfice brut, et donc de la prime du recourant, sans subir elle-même de perte effective sur le solde disponible du bénéfice. A défaut de consentement, l'intimée aurait dû calculer les primes 2009 et 2010 sur la base du "dernier bénéfice non faussé", soit celui réalisé en 2008 avant le changement de pratique.
3.2 Il convient d'examiner en premier lieu si le recourant a consenti à une réduction de sa prime. En effet, une réponse affirmative priverait d'objet la question d'une éventuelle violation de l'art. 322a al. 1 CO.
3.3 Les considérations de l'autorité précédente peuvent se résumer comme il suit: les modifications concernant le tarif d'honoraires et le système des rétrocessions ont été évoquées au début de l'année 2006, décidées en 2007 et mises en application en 2009. Entre 2006 et 2009, ces mesures et leur incidence sur le bénéfice de l'entreprise, donc sur la prime d'intéressement des directeurs, ont fait l'objet de nombreuses discussions et séances auxquelles le recourant a assisté ou participé, ou dont il a en tout cas été informé sans retard et sans restriction. Même s'il n'avait pas la qualité d'administrateur, il occupait un poste déterminant dans l'entreprise depuis de très nombreuses années et aurait eu la possibilité, fût-ce à titre consultatif, de faire entendre sa voix. Or, aucun procès-verbal desdites séances ne montrait qu'il avait formulé des objections au nouveau système.
A réception du courrier du 22 décembre 2006 l'informant des modifications sur son salaire et le système de prime, le recourant n'a pas exprimé d'opposition, mais négocié et obtenu le versement d'une somme de 167'729 fr. pour l'exercice 2006, qualifiée de "complément de salaire". L'expression est inadéquate; en effet, le salaire mensuel brut de base du recourant n'a été réduit que d'environ 1'500 fr. par mois pour 2007, de sorte qu'un véritable complément de salaire n'aurait guère excédé une vingtaine de milliers de francs pour un exercice. Selon toute vraisemblance, la somme obtenue compensait donc non seulement la réduction du salaire de base, mais aussi celle de la prime d'intéressement et ce, pour plusieurs exercices à venir. La question aurait pu se poser de savoir si le recourant, ainsi désintéressé, possédait encore un quelconque intérêt à agir et à réclamer des primes pour 2009 et 2010; l'intimée n'a toutefois pas soulevé un tel argument et l'instruction n'a pas porté sur ce point. Quoi qu'il en soit, il faut en tout cas retenir que les modifications décidées par l'intimée ainsi que leurs incidences sur le bénéfice de l'entreprise n'ont pas été adoptées à l'insu du recourant. Même si elles n'ont pas formellement recueilli son consentement, elles sont intervenues dans un processus auquel il a été entièrement associé, et dont il devait de bonne foi mesurer les conséquences pour le calcul de sa prime d'intéressement.
3.4 Le recourant ne taxe pas d'arbitraires les constatations de fait dont il ressort en substance qu'il a été pleinement informé des modifications relatives aux honoraires et rétrocessions, respectivement de leur incidence sur le bénéfice de l'entreprise. Le recourant se borne à souligner de façon appellatoire qu'il a recueilli ces informations en qualité de directeur et qu'il n'a participé aux séances du conseil d'administration que dès décembre 2007. Ce dernier point n'a pas échappé à la Cour de justice, qui a précisé que le recourant ne contestait pas avoir auparavant toujours été informé de la teneur des délibérations de cet organe. Le recourant ne réfute pas cet élément, ni le fait que la réforme a en outre fait l'objet de nombreuses discussions auxquelles il a assisté, ou dont il a eu connaissance sans restriction.
La Cour de justice déduit que le recourant, avec les connaissances qu'il avait de la réforme et de son incidence sur le bénéfice de l'entreprise, "devait, de bonne foi, mesurer les conséquences sur le calcul de sa prime d'intéressement". Cette conclusion fondée sur le principe de la confiance coule de source dès lors que la prime est un pourcentage du bénéfice. Elle sous-entend en fait que les conséquences de la réforme sur le bénéfice de la société - et partant sur la prime - étaient mesurables; or, le recourant ne remet nullement en cause ce point de fait.
Le recourant ne s'est pas opposé à la décision du 4 juin 2007, qui réduisait sa prime à 2,33 % du bénéfice brut, contre 6 % auparavant; cette décision devait valoir tant que serait maintenu le système des rétrocessions. Après l'abrogation de cette pratique en janvier 2009 et le départ d'un des directeurs en mars 2009, l'intimée a décidé dans une séance du 2 décembre 2009 de continuer à calculer la prime selon le même pourcentage du bénéfice brut. L'arrêt attaqué ne précise pas si le recourant, qui était alors licencié et libéré de son obligation de travailler, a eu connaissance de cette décision. Ce point importe peu. Il est constant que le recourant était informé de la réforme, de ses effets sur le bénéfice d'exploitation et du moment où elle est entrée en vigueur. Il n'apparaît pas que dans l'intervalle compris entre l'entrée en vigueur du nouveau régime et le moment où la prime 2009 est devenue exigible (art. 323 al. 3 CO), il ait sollicité un nouveau mode de calcul de sa prime, en particulier lorsqu'il a appris la résiliation de son contrat et reçu une offre qui portait notamment sur sa prime 2010. Il a ainsi tacitement consenti au maintien du même mode de calcul de la prime. Pour le surplus, l'on ne saurait déduire de la décision du 4 juin 2007, telle qu'elle est rapportée dans l'arrêt attaqué, que l'intimée se serait engagée à maintenir le même niveau de salaire variable après l'abrogation des rétrocessions, d'autant moins que cette décision intervenait dans le contexte - connu du recourant - d'une politique de réduction des honoraires pratiqués par l'intimée et de diminution des conditions salariales de ses employés.
Le recourant objecte que quand bien même il aurait adhéré comme directeur, doté au demeurant d'une simple voix consultative, à la mise en place de la réforme, il ne saurait être prétérité dans ses droits d'employé.
Il est certes concevable qu'en sa qualité de directeur, le recourant ait pu adhérer à une réforme qu'il jugeait conforme aux intérêts de l'intimée, dès lors qu'il s'agissait de parer à une perte de clientèle en revenant à des bénéfices "plus raisonnables", pour reprendre les termes d'une directrice. Cette situation n'empêchait pas pour autant le recourant d'exprimer son opposition, comme employé, à une diminution de son salaire et d'exiger une rediscussion des critères de fixation de sa prime.
Le recourant critique enfin l'interprétation de la Cour de justice quant au motif du versement de 167'729 fr. effectué en 2006. Cet élément ne revêt toutefois pas d'importance particulière, puisque les juges cantonaux se sont en définitive abstenus de retenir que le recourant avait ainsi renoncé à toute prétention pour les primes 2009 et 2010.
En bref, sur la base de l'état de fait qui lie la Cour de céans, l'autorité précédente était fondée à retenir un consentement tacite du recourant à ce que sa prime continue d'être fixée selon le bénéfice réalisé au cours de l'exercice pour lequel elle était due.
4. 4.1 Le recourant voit encore un autre motif de calculer les primes 2009 et 2010 sur la base du bénéfice 2008. Références doctrinales à l'appui, il expose que lorsque l'employé a été libéré de son obligation de travailler durant le délai de congé, il convient de calculer la prime selon le chiffre d'affaires de l'exercice précédent.
4.2 Des auteurs précisent effectivement que dans un tel cas de figure, il peut se justifier de calculer la prime selon le chiffre d'affaires de l'exercice précédent, voire le chiffre moyen de plusieurs années précédentes. Ce mode de faire s'impose en particulier lorsque l'activité du travailleur a un impact direct sur le chiffre d'affaires servant de base de calcul à sa rémunération (PHILIPPE CARRUZZO, Le contrat de travail individuel, 2009, p. 126; GUYOT/JACCARD/KERN/ZAPPELLA, Le contrat de travail, 2ème éd. 2010, publication de la Fédération des entreprises romandes, ch. 302.4 in fine). Le Commentaire bernois se réfère à un arrêt genevois concernant une personne employée en qualité d'esthéticienne, dont le salaire consistait en un pourcentage de son propre chiffre d'affaires (REHBINDER/STÖCKLI, Commentaire bernois, 2010, n° 8 ad art. 322a CO; JAR 1987 119).
4.3 En l'occurrence, l'arrêt attaqué indique tout au plus que le recourant était directeur et occupait un "poste déterminant" dans l'entreprise. La notion de bénéfice brut n'est pas explicitée. Ces quelques éléments ne permettent pas de retenir que le recourant aurait exercé une influence directe sur le critère pris en compte pour calculer sa rémunération variable. Il s'ensuit qu'il n'y a pas de motif de calculer la prime sur la base d'exercices précédents, d'autant moins que l'évolution du bénéfice en 2009 et 2010 paraît essentiellement liée à une réforme décidée alors que le recourant était encore en fonction.
5. 5.1 Le recourant plaide enfin que l'intimée, dans sa décision du 4 juin 2007, aurait clairement manifesté l'intention d'attribuer une enveloppe de 7 % du bénéfice à la direction de l'entreprise et de répartir cette enveloppe à parts égales entre les personnes exerçant une telle fonction. Il faudrait en inférer que le recourant pouvait de bonne foi prétendre à la moitié de cette enveloppe (soit 3,5 %) en cas de départ d'un des trois directeurs, comme cela s'est produit en mars 2009. La décision de maintenir la prime de chacun des deux dirigeants à 2,33 % du bénéfice ne lui serait pas opposable dès lors qu'elle a été prise après son licenciement.
5.2 Initialement, les deux directeurs de l'entreprise se partageaient 10 % du bénéfice, à raison de 6 % pour le recourant et 4 % pour l'autre personne. Le 4 juin 2007, l'intimée a décidé que la prime des directeurs, désormais au nombre de trois, serait fixée à 7 % du bénéfice brut, montant à diviser en trois parts égales. Cette décision devait valoir tant que le bénéfice serait rétrocédé aux actionnaires.
En l'absence de réserve expresse ou de précision selon laquelle l'enveloppe de 7 % constituait une limite supérieure absolue, l'intimée ne pouvait pas revoir à la baisse le pourcentage de salaire variable du recourant dans l'hypothèse où le nombre de directeurs aurait augmenté. De la même façon, le recourant ne pouvait pas de bonne foi prétendre à une augmentation de sa quote-part en cas de diminution du nombre de directeurs.
5.3 Pour le surplus, le recourant ne remet pas en cause le calcul des primes 2009 et 2010 en tant qu'il se fonde sur un taux de 2,33 % du bénéfice brut retenu pour les années 2009 et 2010.
6. En définitive, le recours est rejeté. En conséquence, le recourant assumera les frais de la procédure fédérale et versera une indemnité de dépens à l'intimée (art. 66 al. 1 et art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Un émolument judiciaire de 4'500 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 5'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des prud'hommes de la Cour de justice du canton de Genève.
Lausanne, le 17 juillet 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti