Faits:
A. A.a Entre le 1er octobre 1998 et le 31 décembre 2007, Y._ a travaillé comme ouvrier, puis chef d'atelier au service de X._, lequel exploitait en raison individuelle une entreprise de sertissage dans le canton de Neuchâtel. Le contrat conclu le 30 octobre 1998 prévoyait notamment la réglementation suivante: un salaire mensuel brut de 3'600 fr., payable 13 fois l'an; un horaire de travail de 40 heures par semaine, à raison de 8 heures quotidiennes; l'obligation pour l'employé, en cas de besoin, d'accomplir les heures supplémentaires nécessaires à la bonne marche de l'entreprise.
En septembre 2002, Y._ a été promu chef d'atelier; ce changement de statut n'a fait l'objet d'aucune convention écrite. La nouvelle fonction impliquait de donner des instructions aux sertisseurs et de les surveiller, de préparer leur travail et de gérer les commandes. Du point de vue de l'organisation du temps de travail, le chef d'atelier devait arriver un peu avant les ouvriers le matin et rester un peu après leur départ en fin de journée.
A.b En 2006, l'employeur a soupçonné Y._ de travailler parallèlement pour le compte d'un concurrent. Une procédure pénale a été ouverte contre diverses personnes, Y._ étant pour sa part accusé de faux témoignage. Il a été libéré de cette charge par jugement pénal du 17 février 2009, au motif qu'il avait été auditionné à tort en qualité de témoin. Il est toutefois établi, nonobstant les dénégations du prénommé, qu'il a travaillé le soir dans une autre entreprise de sertissage pendant deux mois et demi environ, à la fin de l'année 2005 et aux alentours de la Foire de Bâle 2006. Le nombre d'heures accomplies et la rémunération touchée n'ont pas pu être déterminés.
Le 9 octobre 2007, l'employé a résilié le contrat le liant à X._ dans le délai contractuel, soit pour le 31 décembre 2007. Dans un courrier du 21 mai 2008, l'employé a fait valoir des prétentions de 60'821 fr. à titre d'heures supplémentaires et de 42'000 fr. à titre de gratifications 2006 et 2007.
A.c En sus de l'horaire contractuel de 40 heures hebdomadaires, l'employé a effectué des heures supplémentaires. Celles-ci ont été rémunérées trimestriellement, dès l'engagement de l'employé jusqu'au mois d'avril 2003. Depuis lors, Y._ n'a plus touché de rétribution pour ses heures supplémentaires et n'a pas pu prendre de congé compensatoire. Au préalable, l'employeur avait fait une communication sur les heures supplémentaires des employés dotés de responsabilité (cf. au surplus infra, consid. 6.3). Y._ a continué à consigner au jour le jour ses heures supplémentaires, sans les communiquer à son employeur. Il a cessé de tenir un tel décompte lorsqu'une timbreuse a été installée dans l'entreprise en décembre 2006.
L'employé a par ailleurs touché des gratifications bisannuelles dès son entrée en service jusqu'en 2005; il n'a ensuite plus rien obtenu. L'employeur a expliqué qu'il avait supprimé cette prestation après avoir appris que son employé travaillait pour un tiers. En 2009, pour la première fois, aucune gratification n'a été versée dans l'entreprise en raison de la conjoncture économique.
Au cours des relations contractuelles, Y._ a touché les salaires et gratifications suivantes:
année salaire mensuel gratification (juillet + décembre)
1998 3'600 500
1999 4'000 2'500 (1000 + 1'500)
2000 4'200 (selon certificat 3'000 (1'000 + 2'000)
du mois de juillet)
4'400 (selon certif. décembre)
2001 4'700 6'000 (2'000 + 4'000)
2002 5'000 (selon certif. juillet) 10'000 (4'000 + 6'000)
5'500 (selon certif. déc.)
2003 5'600 10'000 (4'000 + 6'000)
2004 5'625 13'000 (5'000 + 8'000)
2005 5'725 18'000 (8'000 + 10'000)
2006 5'785 -
2007 5'885 -
B. B.a Le 10 juillet 2008, l'employé a ouvert action contre l'employeur devant l'une des Cours civiles du Tribunal cantonal du canton de Neuchâtel. Dans ses dernières conclusions, il requérait le paiement des sommes de 57'019 fr. 15 brut pour ses heures supplémentaires et de 42'000 fr. à titre de gratification pour les années 2006 et 2007, ainsi que la délivrance d'un certificat de travail. L'employeur a conclu au rejet de la demande, subsidiairement à la constatation de la compensation entre l'éventuelle créance du demandeur et celle du défendeur.
Par jugement du 15 avril 2011, la Juge instructeur de la Ire Cour civile a condamné l'employeur à établir un certificat de travail dans le sens des considérants (chiffre 2 du dispositif) et à payer la somme brute de 40'635 fr. 65 (chiffre 1 du dispositif), soit 36'000 fr. à titre de gratification pour les années 2006 et 2007 et 4'635 fr. 65 à titre d'heures supplémentaires effectuées entre avril et juin 2003.
B.b Les deux parties ont contesté cette décision devant la Cour d'appel civile du Tribunal cantonal. L'employeur a conclu à l'annulation du chiffre 1 du dispositif du jugement, qui le condamnait à payer 40'635 fr. 65. Quant à l'employé, il a requis la confirmation de cette condamnation, ainsi que le paiement de 57'019 fr. 15 à titre d'heures supplémentaires.
Par arrêt du 22 février 2012, le Tribunal cantonal a partiellement admis les deux appels et réformé le jugement en ce sens que l'employeur doit verser à l'employé non pas 40'635 f. 65, mais 52'592 fr., soit 16'000 fr. à titre de gratification pour les années 2006 et 2007 et 36'592 fr. pour les heures supplémentaires effectuées entre avril 2003 et décembre 2006.
C. Tant l'employeur que l'employé exercent un recours en matière civile devant le Tribunal fédéral.
L'employeur conclut au rejet de l'action intentée par l'employé et à la constatation de la compensation entre l'éventuelle créance du demandeur et celle du défendeur.
L'employé requiert l'annulation de l'arrêt et la condamnation de l'employeur au paiement de 57'019 fr. 15 à titre d'heures supplémentaires et de 42'000 fr. à titre de gratification pour les années 2006 (20'000 fr.) et 2007 (22'000 fr.).
Chaque recourant conclut par ailleurs au rejet du recours formé par la partie adverse. L'autorité précédente renonce à se déterminer.

Considérant en droit:
1. Vu la connexité évidente des deux recours, il se justifie de joindre les procédures. Plutôt que de traiter les recours l'un à la suite de l'autre, les différentes questions qu'ils posent seront abordées successivement en tenant compte, pour chacune, des griefs soulevés par l'une et l'autre partie.
2. Le Tribunal fédéral examine d'office la recevabilité des recours.
2.1 Les deux recours visent une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance statuant sur recours (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse excède manifestement le seuil de 15'000 fr. requis dans les causes de droit du travail (<ref-law>). Déposés dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, ils sont recevables sur le principe.
2.2 A teneur de l'<ref-law>, toute conclusion nouvelle est irrecevable. Sont ainsi prohibées les conclusions augmentées, en particulier celles portant sur un montant plus élevé que celui demandé devant l'autorité précédente.
Telles qu'elles ont été formulées, les conclusions des parties reviennent à supprimer l'obligation de délivrer un certificat de travail. De telles conclusions sont irrecevables dès lors qu'elles visent un point qui n'était plus litigieux devant la cour d'appel cantonale. Elles sont au demeurant dépourvues de motivation et paraissent être le fruit d'une inadvertance des parties.
L'employé a par ailleurs augmenté ses conclusions pécuniaires de 1'364 fr. 35. En effet, alors qu'il demandait auparavant la somme totale de 97'654 fr. 80 (57'019 fr. 15 en sus des 40'635 fr. 65 obtenus en première instance), il requiert désormais 99'019 fr. 15 (57'019 fr. 15 + 42'000 fr.). Un tel accroissement est irrecevable.
3. 3.1 Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique ce droit d'office (<ref-law>), hormis les droits fondamentaux. Pour ceux-ci - notamment la prohibition de l'arbitraire consacrée à l'art. 9 Cst. - prévaut le principe de l'allégation, en ce sens que le recourant doit expressément soulever le grief et exposer de manière claire et circonstanciée, si possible documentée, en quoi consiste la violation du droit constitutionnel invoqué (cf. <ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 1.4.2).
3.2 Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 4.2 p. 234) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Le recourant qui entend s'écarter des constatations de fait de l'autorité précédente doit expliquer de manière circonstanciée en quoi les exceptions précitées sont réalisées; à défaut, il ne peut être tenu compte d'un état de fait divergent de celui de la décision attaquée (cf. <ref-law>; <ref-ruling> consid. 6.2). En particulier, l'autorité de céans n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1).
Au vu de ce qui précède, il n'y a pas à tenir compte des résumés des faits présentés par l'une et l'autre partie en préambule de leurs griefs.
4. Les deux parties soulèvent une série de griefs à propos des heures supplémentaires.
4.1 A teneur de l'<ref-law>, l'employeur est tenu de rétribuer les heures de travail supplémentaires qui ne sont pas compensées par un congé en versant le salaire normal majoré d'un quart au moins, sauf clause contraire d'un accord écrit, d'un contrat-type de travail ou d'une convention collective.
Constituent des heures supplémentaires, au sens de l'<ref-law>, les heures accomplies au-delà du temps de travail prévu par le contrat ou l'usage, par un contrat-type ou une convention collective (cf. <ref-law>; <ref-ruling> consid. 4a).
4.2 La cour d'appel a retenu que l'employé avait accompli les heures supplémentaires suivantes entre avril 2003 et décembre 2006:
2003: 347 heures;
2004: 321,5 heures;
2005: 194,5 heures;
2006: 181 heures.
La cour s'est fondée sur un horaire contractuel de 40 heures par semaine, ou 173,6 heures par mois, comme cela ressort implicitement du calcul qu'elle a effectué pour déterminer le salaire horaire applicable à la rémunération de ces heures supplémentaires (arrêt p. 20; cf. au surplus infra, consid. 7.2).
La cour s'est fondée sur un horaire contractuel de 40 heures par semaine, ou 173,6 heures par mois, comme cela ressort implicitement du calcul qu'elle a effectué pour déterminer le salaire horaire applicable à la rémunération de ces heures supplémentaires (arrêt p. 20; cf. au surplus infra, consid. 7.2).
4.3 4.3.1 L'employeur reproche à la cour d'appel d'avoir méconnu le fait qu'en avril 2003, les parties avaient conclu un nouveau contrat modifiant l'horaire de travail de l'employé, en ce sens que ledit horaire intégrait la vingtaine ou quarantaine de minutes supplémentaires quotidiennes inhérentes à la fonction de chef d'atelier. Il fait observer qu'au moment de l'introduction de la timbreuse, un temps de travail normal de 8 h 50 a été attribué à l'employé. Cette modification de l'horaire aurait été compensée par un supplément de salaire proportionnel de 500 fr. et par une augmentation de la gratification plus substantielle que par le passé. Au demeurant, la position de cadre de l'employé exclurait la notion même d'heures supplémentaires.
4.3.2 La jurisprudence admet qu'à défaut d'une réglementation expresse du temps de travail, les cadres supérieurs ne peuvent prétendre à une indemnisation des heures supplémentaires effectuées que lorsqu'ils se voient confier des tâches excédant leur cahier des charges, ou lorsque l'ensemble du personnel a dû fournir un nombre conséquent d'heures supplémentaires pendant une certaine durée. Cela étant, l'<ref-law> s'applique aussi aux cadres supérieurs dans la mesure où leur horaire a été expressément défini par le contrat (<ref-ruling> consid. 2.1 p. 173).
Outre que la qualification de cadre dirigeant (cf. <ref-ruling> consid. 5) ne paraît pas pouvoir être retenue en l'espèce, l'employeur soutient précisément que le temps de travail de l'employé en tant que chef d'atelier était réglementé, de sorte qu'il pouvait prétendre à une rétribution pour les heures accomplies en sus.
4.3.3 L'arrêt attaqué ne constate pas que les parties auraient eu la réelle et commune volonté d'augmenter l'horaire de travail. L'existence d'un tel accord est une question de fait (cf. par ex. <ref-ruling> consid. 3.3 p. 681). Or, l'employeur ne se plaint pas d'arbitraire dans l'établissement des faits. Dans une démarche purement appellatoire, il se réfère au temps de travail introduit dans le système de timbrage; or, il ne ressort pas de l'arrêt qu'un horaire de base de 8 h 50 aurait été enregistré dans ledit système.
A défaut d'accord réel, il reste à examiner si l'employeur pouvait, selon le principe de la confiance, considérer que l'employé avait accepté de voir son horaire de base augmenté à 8 h 40 ou 8 h 50 par jour.
L'on peut inférer que la promotion de l'employé au rang de chef d'atelier induisait une légère augmentation de son temps de travail quotidien puisque, selon l'arrêt attaqué, il devait arriver un peu avant les autres ouvriers et repartir un peu après ceux-ci. L'employé admet avoir touché une augmentation de salaire de 500 fr. lors de sa promotion, intervenue en septembre 2002. La gratification a augmenté cette année-là de 4'000 fr. pour atteindre 10'000 fr., alors que l'année précédente, elle avait passé de 3'000 fr. à 6'000 fr. Cela étant, l'employé promu a continué dans un premier temps à toucher une rétribution pour ses heures supplémentaires: l'arrêt attaqué indique en effet que les heures supplémentaires ont été payées périodiquement, dès l'engagement jusqu'en avril 2003. Or, l'arrêt ne dit pas qu'entre septembre 2002 et avril 2003, l'employé promu aurait été rémunéré sur la base d'un horaire supérieur à 40 heures. L'employeur lui-même ne le prétend pas, puisqu'il situe la prétendue modification de son temps de travail au mois d'avril 2003. A cette époque, la rétribution des heures supplémentaires a cessé suite à une communication de l'employeur. Selon les explications concordantes données par les recourants dans leurs mémoires, l'employeur avait fait savoir aux cadres, après constatation d'abus, que leurs heures supplémentaires ne seraient plus rétribuées. En 2003, le salaire a augmenté de 100 fr., tandis que la gratification est restée la même.
Ces éléments font apparaître non pas une augmentation consentie de l'horaire de travail, mais une modification relative à la rétribution des heures supplémentaires. L'analyse de l'employeur ne résiste pas à l'examen; il cherche en fait à contourner l'écueil que représente l'exigence de forme écrite pour tout accord restreignant la rétribution des heures supplémentaires (<ref-law>). En bref, la cour d'appel n'a pas enfreint le droit fédéral en considérant que le temps de travail contractuellement dû était de 40 heures hebdomadaires et que les heures accomplies en sus représentaient des heures supplémentaires au sens de l'<ref-law>.
5.1 5.1.1 L'employeur reproche à la cour cantonale d'être tombée dans l'arbitraire en retenant les heures supplémentaires alléguées par l'employé sur la base de simples relevés unilatéraux formellement contestés, et en partant de la prémisse que l'employé n'avait pas compensé les 20 ou 40 minutes supplémentaires quotidiennes liées à sa nouvelle fonction. Les relevés de timbrage démontreraient que lorsque l'employé dépassait son horaire une semaine, il compensait la semaine suivante. Il n'y aurait pas de motif de penser qu'il en allait différemment avant l'introduction de la machine à timbrer.
5.1.2 L'employeur conteste la force probante des décomptes de l'employé et s'en prend ainsi à l'appréciation des preuves, ce qui suppose d'expliquer de façon circonstanciée en quoi celle-ci serait entachée d'arbitraire. En l'occurrence, l'employeur ne discute pas les autres éléments pris en compte par la cour d'appel, à savoir le témoignage d'autres employés et les propres déclarations de l'employeur. Il insiste sur le fait que les heures supplémentaires ont été compensées, ce qu'il lui incombait de prouver. A l'en croire, cette preuve ressortirait des relevés de timbrage. La simple consultation de ces documents, auxquels l'employeur se contente de renvoyer, ne permet pas de vérifier la thèse d'une compensation des heures (cf. infra, consid. 5.2.2); ceci suffit à sceller le sort d'un grief fondé sur l'arbitraire.
5.1.3 L'employeur paraît aussi contester avoir eu connaissance des heures supplémentaires effectuées par l'employé, mais il ne formule pas de grief suffisamment étayé à cet égard.
5.1.3 L'employeur paraît aussi contester avoir eu connaissance des heures supplémentaires effectuées par l'employé, mais il ne formule pas de grief suffisamment étayé à cet égard.
5.2 5.2.1 Pour sa part, l'employé se plaint d'un établissement manifestement inexact des faits dès lors qu'aucune heure supplémentaire n'a été retenue pour l'année 2007. Il concède que la timbreuse était programmée de telle façon qu'elle ne comptabilisait pas correctement ses heures supplémentaires. Toutefois, si l'on passe en revue les relevés de timbrage en prenant un par un les jours de travail et les heures accomplies par l'employé, il apparaît que celui-ci a effectué 237,5 heures supplémentaires cette année-là.
5.2.2 Les relevés de la timbreuse versés au dossier (D 2/7 b à l) ont enregistré, pour les mois de janvier à novembre 2007, les heures d'entrée et de sortie de l'employé aussi bien le matin que l'après-midi. Ils comportent une colonne censée indiquer le temps de travail effectif ("cumuls/Eff.") et une colonne censée faire ressortir un solde positif ou négatif à la fin de chaque jour ("crédit/débit"). Les chiffres figurant dans ces colonnes ne sont pas exploitables; comme l'a relevé la cour d'appel, le temps de travail effectif indiqué reste le même alors que les heures d'entrée et de sortie de l'employé varient d'un jour à l'autre. En conséquence, la cour d'appel a refusé de retenir des heures supplémentaires pour l'année 2007, en faisant valoir qu'on pouvait attendre de l'employé qu'il établisse un relevé détaillé des heures supplémentaires accomplies cette année-là, plutôt que de renvoyer l'autorité judiciaire à rectifier les erreurs et inexactitudes de la timbreuse.
De deux choses l'une. Si la cour d'appel est arrivée à la conclusion que les heures d'arrivée et de départ figurant sur ces relevés étaient aussi erronées, elle pouvait conclure sans arbitraire que ces documents n'étaient pas propres à établir les heures supplémentaires alléguées. En revanche, si elle a jugé qu'il n'y avait pas de motif de mettre en doute l'enregistrement des temps de présence, mais seulement les indications relatives au temps de travail effectif et au solde positif ou négatif, il était arbitraire d'écarter ce moyen de preuve. Il apparaît certes extrêmement fastidieux de décompter, sur la base des quatre entrées et sorties journalières de l'employé, le nombre d'heures effectivement accomplies en 2007. Toutefois, le juge aurait pu impartir un délai à l'employé pour qu'il procède lui-même à ce travail et indique en marge de chaque jour le nombre d'heures effectuées, et précise à la fin de chaque mois s'il existait un solde positif (ou négatif), par rapport au nombre d'heures contractuellement dues selon les constatations de l'arrêt attaqué, soit 173,6 heures par mois ou 40 heures par semaine. La partie adverse et l'autorité judiciaire auraient eu toute liberté de contrôler le résultat de la synthèse effectuée par l'employé.
La cause doit donc être renvoyée à l'autorité précédente pour qu'elle indique si elle estime que les heures d'entrée et sortie de l'employé sont fiables et, dans l'affirmative, pour qu'elle détermine, cas échéant avec le concours de l'employé, si et combien d'heures supplémentaires ont été accomplies en 2007, sur la base d'un horaire contractuel de 40 heures par semaine.
6. Les parties soulèvent ensuite des griefs portant sur la prétention de l'employé en indemnisation des heures supplémentaires. Pour sa part, l'employeur conteste toute prétention en invoquant l'abus de droit.
6.1 La jurisprudence fédérale a déjà eu l'occasion de préciser que sous l'une des formes prescrites par l'<ref-law> - accord écrit, contrat-type ou convention collective -, les parties peuvent déroger au système légal de rétribution et convenir que les heures supplémentaires accomplies à l'avenir ne seront pas rémunérées, ou seront rémunérées sans supplément, et ce à tout le moins lorsque la rémunération de ces heures est forfaitairement comprise dans le salaire de l'intéressé (<ref-ruling> consid. 3a).
Selon le Message du Conseil fédéral, l'exigence de forme vise à sauvegarder le principe du paiement du salaire, qui risquerait d'être largement abandonné si les accords verbaux étaient tolérés, et à créer un régime clair pour l'exception (Message du 25 août 1967 concernant la révision des titres 10 et 10bis du code des obligations, FF 1967 II 314). La règle de forme est impérative; elle ne peut pas être écartée par convention (ADRIAN STAEHELIN, Commentaire zurichois, 4ème éd. 2006, n° 23 ad <ref-law>). Un accord verbal n'est pas valable (REHBINDER/STÖCKLI, Commentaire bernois, 2010, n° 11 ad <ref-law>). Selon la doctrine, les éventuelles prestations supplémentaires fournies par l'employeur en vertu d'un accord non valable doivent être prises en compte et déduites de la prétention en indemnisation des heures supplémentaires invoquées (PHILIPPE CARRUZZO, Le contrat individuel de travail, 2009, p. 70 n° 14 in fine ad <ref-law>; cf. aussi JUDITH BREGNARD-LUSTENBERGER, Überstunden- und Überzeitarbeit, 2006, p. 192, et KUHN/KOLLER, Aktuelles Arbeitsrecht für die betriebliche Praxis, vol. 3, partie 6 "Überstunden", chap. 4.1 p. 2 s., qui se réfèrent à une décision de l'Arbeitsgericht de Zurich retenant l'abus de droit).
Par ailleurs, il convient de réserver le cas d'une dénonciation abusive du vice de forme. Dans la pratique, une telle hypothèse a été retenue s'agissant d'un employé qui avait expressément refusé le renfort proposé par son employeur au motif qu'il préférait toucher un revenu supplémentaire. L'employeur avait accepté cette solution uniquement moyennant renonciation de l'employé au supplément prévu pour les heures supplémentaires; un accord verbal en ce sens avait clairement été conclu (arrêt du gewerbliches Schiedsgericht de Bâle-Ville rendu le 1er octobre 1981, in JAR 1982 100, cité par REHBINDER/STÖCKLI, op. cit., n° 11 ad <ref-law>).
De manière générale, lorsque le travailleur conteste la validité d'un accord en invoquant la violation d'une règle impérative, il ne commet pas d'abus de droit, sauf circonstances particulières; il ne doit en effet pas être privé de la protection du droit impératif par le détour de l'<ref-law>. Cette disposition peut exceptionnellement trouver application, notamment lorsque l'intérêt protégé par la norme de droit impératif disparaît ou a été assuré d'une autre manière (<ref-ruling> consid. 5.1). Celui qui exécute un contrat sans avoir connaissance du vice de forme ne commet pas d'abus à faire valoir le vice ultérieurement. Toutefois, un abus de droit peut être retenu si l'ayant droit tarde à faire valoir la nullité pour en retirer un avantage (arrêt 4A_462/2011 du 5 mars 2012 consid. 2.3.1 et 2.3.2, à paraître aux ATF; <ref-ruling> consid. 5.1 p. 498). Plus généralement, le simple fait de laisser s'écouler du temps tout en agissant dans le délai de prescription ne dénote pas un abus, sauf si le retard occasionne de manière reconnaissable des inconvénients pour le débiteur, tels que la difficulté à établir la créance, ou s'il procure à l'ayant droit un avantage injustifié (<ref-ruling> consid. 5.1 p. 443; <ref-ruling> consid. 2).
6.2 L'employeur reproche à l'employé de commettre un abus de droit en agissant en justice dix mois après la fin des relations contractuelles, à la veille de l'audience de jugement pénal, alors qu'en avril 2003, il avait accepté la suppression du paiement de ses heures supplémentaires et que depuis lors, il s'était abstenu de présenter des décomptes et de contester les salaires payés par l'employeur.
6.3 La règle de forme écrite, de nature impérative, n'a pas été respectée. Il n'apparaît pas que l'employé ait eu connaissance de ce vice avant la présente procédure. Une telle connaissance ne saurait se déduire du seul fait qu'il a continué à tenir un décompte de ses heures à titre privé; cette attitude peut tout aussi bien s'expliquer par le fait qu'il n'acceptait pas la décision de l'employeur, mais n'entendait pas mettre en jeu leur relation contractuelle. Par ailleurs, l'on ne saurait retenir que l'intérêt protégé par la règle de forme a été assuré d'une autre manière. Celle-ci vise manifestement à éviter des problèmes de preuve et à jouer un rôle d'avertissement pour l'employé, qui doit être conscient de ce à quoi il renonce et ne pas s'engager à la légère.
En l'occurrence, les décisions cantonales ne se prononcent pas sur le contenu exact de la communication faite par l'employeur avant la suppression du paiement des heures supplémentaires en avril 2003. Toutefois, dans son recours, l'employeur admet lui-même avoir annoncé que ces heures ne seraient plus rétribuées en raison d'abus et qu'il était loisible aux "cadres" de donner leur congé si cette solution ne leur convenait pas. L'employé a cessé de produire des décomptes d'heures supplémentaires. En 2003, son salaire n'a augmenté que de 100 fr. et la gratification est restée la même. Il n'a émis aucune protestation. Les heures supplémentaires qu'il a accomplies depuis lors l'ont été au su de l'employeur.
De telles circonstances n'établissent pas l'existence d'un accord clair de l'employé quant à la non-rétribution des heures supplémentaires. A supposer même qu'un consentement puisse être retenu, ce qui paraît fort douteux, il ne pourrait l'être que sur la base d'un acte concluant interprété selon le principe de la confiance. Or, l'exigence de forme écrite, qui est destinée au premier chef à protéger l'employé, vise précisément à éviter une situation de ce genre. Pour le surplus, l'employeur ne démontre pas quelles circonstances particulières rendraient abusif, au sens de la jurisprudence rappelée ci-dessus, le temps pris par l'employé avant d'ouvrir action.
Il s'ensuit qu'il n'était pas abusif d'invoquer le vice de forme.
6.4 La question de l'imputation d'éventuelles prestations supplémentaires ne se pose pas. D'une part, il n'apparaît pas que les parties aient eu la volonté concordante de rémunérer forfaitairement les heures supplémentaires par le biais du salaire et/ou de la gratification. D'autre part, l'interprétation des faits et comportements selon le principe de la confiance ne permet pas de retenir que le salaire et/ou la gratification aurait inclu une rémunération forfaitaire des heures supplémentaires. L'on se référera notamment à l'évolution globale du salaire et de la gratification depuis le début des relations, ainsi qu'à l'absence de modification en avril 2003, au moment où la rétribution des heures supplémentaires a été supprimée.
6.5 En bref, la cour d'appel n'a pas enfreint le droit fédéral en considérant que les heures supplémentaires accomplies dès avril 2003 devaient pleinement être indemnisées sur la base de l'<ref-law>.
7. 7.1 Pour sa part, l'employé reproche à l'autorité intimée d'avoir fait une erreur de calcul en retenant le montant de 36'592 fr. pour les heures accomplies entre avril 2003 et décembre 2006. Après avoir rappelé le régime légal de l'<ref-law>, selon lequel les heures supplémentaires sont rétribuées au salaire normal majoré d'un quart, la cour cantonale aurait omis d'appliquer cette majoration dans son calcul.
7.2 Le grief est bien fondé. La cour d'appel a indiqué pour chaque année concernée (2003 à 2006) le nombre d'heures supplémentaires effectuées et leur a appliqué un salaire horaire reconstitué de la façon suivante: elle a tout d'abord recalculé le salaire mensuel en y intégrant le 13ème mois (en 2003: 5'600 x 13/12= 6'066 fr.; en 2004: 5'625 x 13/12 = 6'093 fr. 75; en 2005: 5'725 x 13/12 = 6'202 fr.; en 2006: 5'785 x 13/12 = 6'267 fr.). Elle a ensuite divisé ce salaire mensuel par 173,6, ce qui correspond au nombre d'heures mensuelles dues contractuellement (52 semaines de 40 heures, soit 2080, divisé par 12 mois = ~173,6); le résultat de cette division représentait le salaire horaire pour chaque année concernée, lequel a été multiplié par le nombre d'heures effectuées chaque année. La cour d'appel a retenu une indemnisation totale de 36'592 fr. pour les heures supplémentaires accomplies entre avril 2003 et décembre 2006.
Il résulte de ce qui précède que la majoration de 25 % prévue par la loi n'a pas été prise en compte et doit être ajoutée. L'employé peut donc effectivement prétendre au montant de 45'740 fr. (36'592 fr. + 25 %). Il lui a toutefois échappé que le calcul est entaché d'une autre inadvertance manifeste concernant l'année 2005. La cour a retenu un tarif horaire de 35,73 fr., soit plus précisément 35,726 (6'202 fr./173,6 = 35,726). Or, si l'on multiplie 35,726 par les 194,5 heures retenues, le résultat (abstraction faite des centimes) est de 6'948 fr., et non 6'648 fr. comme constaté dans l'arrêt. L'employé avait donc droit à 300 fr. supplémentaires, montant qui doit encore être majoré de 25 %, soit 375 fr. En définitive, l'employé a donc droit au montant revendiqué (45'740 fr.) plus 375 fr., soit 46'115 fr., pour la rétribution de ses heures supplémentaires. Le montant supplémentaire de 375 fr., non revendiqué par l'employé, paraît s'inscrire dans la limite de ses conclusions (97'654 fr. 80). Il est vrai que la cour d'appel doit encore statuer sur les heures supplémentaires relatives à l'année 2007, mais l'employé requiert aussi le paiement de 42'000 fr. de gratification, conclusion qui doit être entièrement rejetée (cf. infra, consid. 8). Quoi qu'il en soit, la cour se prononcera sur la question des heures supplémentaires afférentes à l'année 2007, puis indiquera, eu égard aux conclusions précitées, si l'employé a droit à 45'740 fr. ou à 46'115 fr. pour la période d'avril 2003 à décembre 2006.
8. 8.1 Les deux recourants soulèvent ensuite le grief de violation de l'<ref-law>. En substance, l'employeur soutient qu'il a toujours été parfaitement clair pour les deux parties que la gratification était à bien plaire, ce qui a été rappelé dans chaque décompte de salaire. L'augmentation des heures de travail liée au nouveau statut de l'employé aurait été compensée par une augmentation proportionnelle du salaire, tandis que la gratification aurait été augmentée moins pour ces heures supplémentaires que pour les responsabilités accrues. En outre, les gratifications allouées seraient toujours restées accessoires par rapport au salaire de base. Enfin, le comportement déloyal de l'employé justifierait amplement le refus de toute gratification.
Quant à l'employé, il objecte que la réserve "à bien plaire" était dépourvue d'effet pratique. En outre, la gratification serait devenue dès 2003 un élément du salaire servant à rétribuer l'investissement supplémentaire dû à son activité de chef d'atelier. Le refus de verser une gratification en 2006 et 2007 contreviendrait à l'égalité de traitement. Au demeurant, la preuve qu'il aurait travaillé au service d'une autre entreprise de sertissage ne serait pas rapportée, pas plus que l'existence d'un préjudice causé par cette prétendue activité.
8.2 La gratification, au sens de l'<ref-law>, est une rétribution spéciale que l'employeur verse en sus du salaire à des occasions particulières, telles que Noël ou la fin de l'exercice annuel. Elle se distingue du salaire, et en particulier d'un éventuel treizième mois de salaire, en ceci qu'elle dépend au moins partiellement du bon vouloir de l'employeur. Si le versement d'une gratification n'a pas été convenu, que ce soit expressément ou par actes concluants, cette prestation est entièrement facultative. Si les parties se sont accordées simplement sur le principe d'une gratification, l'employeur est tenu de la verser, mais il jouit d'une certaine liberté dans la fixation du montant à allouer (<ref-ruling> consid. 2 p. 317 s.; <ref-ruling> consid. 5.2; <ref-ruling> consid. 5c p. 448). Le caractère facultatif de la gratification trouve ses limites dans le respect de l'égalité de traitement (cf. <ref-ruling> consid. 3.1).
Selon le principe de la confiance, la gratification peut être considérée comme convenue lorsque l'employeur l'a versée pendant au moins trois années consécutives sans faire de réserves (<ref-ruling> consid. 2 p. 278 in fine). Dans certaines circonstances, la gratification peut être due alors même que, d'année en année, l'employeur a exprimé une réserve à ce sujet (ATF <ref-ruling> consid. 5.2 p. 621). Tel est notamment le cas lorsque la réserve apparaît comme une clause de style vide de sens et que tout, dans le comportement de l'employeur, montre qu'il se sent obligé de verser une gratification. Un engagement tacite peut ainsi se déduire du paiement répété de la gratification pendant des décennies ("jahrzehntelang") sans que l'employeur ne fasse jamais usage de la réserve émise, alors même qu'il aurait eu des motifs de l'invoquer, tels qu'une mauvaise marche des affaires ou de mauvaises prestations de certains collaborateurs (<ref-ruling> consid. 2.3). Au sein de la doctrine, d'aucuns se montrent sinon opposés, du moins très restrictifs quant à une telle interprétation. Il est notamment souligné qu'une réserve expresse du caractère facultatif de la gratification ne peut en principe pas être interprétée contre son texte (cf. notamment REHBINDER/STÖCKLI, op. cit., n° 8 ad <ref-law>; WOLFGANG PORTMANN, in Commentaire bâlois, 5ème éd. 2011, n° 11 ad <ref-law>), sauf circonstances exceptionnelles (cf. GABRIEL AUBERT, dans la première édition du Commentaire romand, 2009, n° 5 ad <ref-law>; dans la deuxième édition 2012, n° 13 ad <ref-law>, cet auteur se contente de souligner la prudence de la jurisprudence).
La gratification se différencie en outre du salaire par son caractère accessoire; elle ne peut avoir qu'une importance secondaire dans la rétribution du travailleur. Un montant très élevé en comparaison du salaire annuel, égal ou même supérieur à ce dernier, et versé régulièrement, doit être considéré comme un élément de salaire variable, alors même que l'employeur en a réservé le caractère facultatif. Dans le cas de salaires modestes, un montant proportionnellement moins élevé peut déjà présenter le caractère d'un salaire variable (ATF <ref-ruling> consid. 5.2 p. 621; <ref-ruling> consid. 2.1).
8.3 La cour d'appel a retenu les éléments de fait suivants: alors même que le contrat de travail ne prévoyait aucune gratification, l'employé avait touché dès son entrée en service jusqu'à fin 2005 des rétributions spéciales versées en juillet et décembre; les décomptes de salaire comportaient toujours la mention "Grat. à bien plaire, pas un acquit (sic)". En juillet 2003, le versement de la rétribution s'était accompagné d'un courrier indiquant aux employés que malgré une situation économique "pas bien réjouissante", il avait été décidé de récompenser "le[ur]s efforts méritants par une gratification à bien plaire". Dans le cadre de la procédure civile, l'employeur avait allégué que le changement de statut de l'employé avait entraîné des prestations compensatoires intitulées "gratifications à bien plaire", qui ne se justifiaient que par l'engagement accru résultant de ce changement de statut. Lors de son interrogatoire, l'employeur avait encore expliqué que les gratifications touchées par les cadres étaient beaucoup plus élevées que celles des autres ouvriers et que les heures supplémentaires accomplies par l'employé étaient comprises dans cette rémunération.
En droit, la cour d'appel est arrivée à la conclusion que la gratification était une prestation due à l'employé, au moins dans son principe, dès lors que l'employeur avait versé pendant huit ans consécutifs, y compris en période de conjoncture défavorable, des rétributions spéciales censées au surplus compenser l'investissement accru inhérent à la promotion au rang de chef d'atelier.
8.4 Cette analyse ne saurait être suivie. Seules des circonstances particulières permettent de s'écarter des déclarations claires de l'employeur selon lesquelles il n'entend pas s'obliger à verser une gratification. Une telle situation d'exception n'est pas réalisée dans ce cas concret, où l'employeur a alloué pendant huit ans consécutifs des gratifications en réservant sans exception leur caractère facultatif, sans qu'il soit démontré que l'entreprise ait connu un revirement économique important qui aurait justifié d'exclure toute gratification. Indépendamment de la question de savoir si la durée de huit ans n'est pas déjà en soi insuffisante, l'on observe que dans cet intervalle, l'employeur s'est tout au plus inquiété à une reprise d'une situation économique "peu réjouissante" qui l'a conduit à s'interroger sur le versement des gratifications. En l'absence d'éléments plus précis sur la situation de l'entreprise, cette simple lettre ne suffit pas à conclure que la réserve systématiquement exprimée n'était qu'une clause de style vide de sens; le courrier pouvait du reste se comprendre comme un avertissement du risque de suppression de la gratification si la situation économique venait à s'aggraver. Or, il n'apparaît pas que l'entreprise ait connu de problèmes économiques avant 2009.
La cour d'appel tire aussi argument de la position défendue par l'employeur dans le cadre de la procédure civile, où il a allégué que les gratifications servaient à rémunérer l'engagement accru qu'exigeait la fonction de chef d'atelier. Il faut toutefois rappeler que le litige porte non seulement sur les gratifications, mais aussi sur l'indemnisation des heures supplémentaires. Les allégations de l'employeur visaient manifestement à contester toute prétention sur cet autre point litigieux. Dans un tel contexte, l'on ne saurait leur attribuer une importance particulière; tout au plus peut-on constater que l'argumentation de l'employeur est à double tranchant. Pour le reste, l'état de fait ne permet pas de retenir que la gratification serait devenue un élément de salaire dès 2003. Encore une fois, l'on ne discerne quasi aucune évolution du salaire et de la gratification en 2003, année où cette dernière aurait prétendument changé de nature. Il est vrai qu'après la promotion, la gratification est devenue proportionnellement plus importante par rapport au salaire de base, particulièrement en 2004 et 2005; toutefois, elle lui est demeurée accessoire dès lors qu'elle ne représentait au plus qu'environ un quart de celui-ci (18'000 fr., pour un salaire annuel de 74'425 fr.).
Dès lors, en retenant que les parties avaient convenu du versement d'une gratification, la cour cantonale a enfreint le droit fédéral. Il s'agissait au contraire d'une prestation dont le principe même du versement dépendait entièrement du bon vouloir de l'employeur. Il est constant que dès la fin de l'année 2005, l'employé a travaillé pendant deux mois et demi environ pour une autre entreprise de sertissage. Aucun grief recevable n'est formulé contre ce fait. Dans ces circonstances, l'employeur pouvait renoncer à verser une gratification en 2006 et 2007 sans s'exposer au grief d'inégalité de traitement par rapport aux autres travailleurs.
8.5 Dans l'arrêt à intervenir, aucune gratification ne devra donc être allouée à l'employé pour les années 2006 et 2007.
9. Dans un dernier grief, l'employeur reproche à l'autorité précédente de ne pas avoir tenu compte de la créance opposée en compensation, créance qui aurait pour fondement la violation du devoir de fidélité de l'employé.
9.1 Le travailleur qui accomplit du travail rémunéré pour un tiers au mépris de son devoir de fidélité (<ref-law>) s'expose, selon les circonstances, à une résiliation immédiate du contrat, auquel cas l'employeur pourra exiger la réparation du dommage causé par le congé anticipé (<ref-law>); il doit en outre réparer l'éventuel dommage causé par la violation du devoir de fidélité (<ref-law>) (REHBINDER/STÖCKLI, op. cit., n° 16 ad <ref-law>; STAEHELIN, op. cit., n°s 4 et 32 ad <ref-law>; THOMAS BRÄNDLI, Arbeitsvertrag und Nebenbeschäftigung, 2000, p. 142 ss). L'employeur reste en principe tenu de verser le salaire à l'employé. Une réglementation spéciale est toutefois prévue lorsque le travail "au noir" a été effectué pendant les vacances (cf. <ref-law>; STAEHELIN, ibidem; BRÄNDLI, op. cit., p. 149-151).
9.2 L'employeur paraît tout d'abord exiger la restitution du salaire. Il ne ressort toutefois pas de l'arrêt attaqué que le travail "au noir" accompli par l'employé l'aurait été pendant ses vacances.
9.2 L'employeur paraît tout d'abord exiger la restitution du salaire. Il ne ressort toutefois pas de l'arrêt attaqué que le travail "au noir" accompli par l'employé l'aurait été pendant ses vacances.
9.3 9.3.1 L'employeur soutient ensuite qu'il a perdu confiance en son employé suite à son comportement et qu'il a été contraint de lui retirer des responsabilités et de réorganiser l'entreprise. Une tierce personne aurait même dû être engagée. Les inconvénients subis seraient difficilement chiffrables et devraient être fixés ex aequo et bono; à tout le moins devraient-ils correspondre aux prétentions formulées abusivement par l'employé.
9.3.2 Selon l'arrêt attaqué, il n'est pas établi que l'employé ait été partiellement libéré de ses tâches. Plus généralement, les prétendues mesures de réorganisation ne ressortent pas non plus de la décision attaquée. L'employeur tente vainement d'échapper aux conséquences du défaut de preuves qui pouvaient aisément être apportées en prétendant implicitement à l'application de l'<ref-law>.
9.3.2 Selon l'arrêt attaqué, il n'est pas établi que l'employé ait été partiellement libéré de ses tâches. Plus généralement, les prétendues mesures de réorganisation ne ressortent pas non plus de la décision attaquée. L'employeur tente vainement d'échapper aux conséquences du défaut de preuves qui pouvaient aisément être apportées en prétendant implicitement à l'application de l'<ref-law>.
9.4 9.4.1 L'employeur se plaint enfin d'avoir été empêché d'exercer son droit de résilier le contrat avec effet immédiat en raison des man?uvres de l'employé, qui l'aurait contraint, par ses dénégations, à mener une longue procédure pénale au terme de laquelle l'employé se serait empressé de donner son congé ordinaire. L'employeur estime avoir ainsi été privé des dommages-intérêts auxquels il aurait pu prétendre dans le cadre d'un congé anticipé, tandis que l'employé a pu bénéficier d'un délai de congé ordinaire.
9.4.2 L'employeur était libre de mettre un terme au contrat avec effet immédiat et ce, aussi bien avant qu'après la notification du congé ordinaire donné par l'employé. Il est vrai qu'en cas de congé immédiat injustifié, l'employeur s'exposait à des prétentions financières de l'employé. En l'occurrence, l'employeur devait pouvoir justifier d'une violation suffisamment caractérisée du devoir de fidélité et ne pas tarder à agir après la découverte du motif de congé. Quand bien même l'employé aurait immédiatement avoué les faits, cela n'aurait pas épargné à l'employeur le risque inhérent à la question juridique de savoir si une violation caractérisée du devoir de fidélité pouvait être retenue. Outre qu'une telle violation apparaît douteuse, l'employeur ne doit pas se méprendre sur la portée de l'indemnisation prévue à l'<ref-law>, dont l'unique fonction est de réparer les conséquences financières en rapport de causalité adéquate avec le départ anticipé de l'employé (cf. <ref-ruling> consid. 3.2 p. 659). Or, un tel dommage ne s'est précisément pas produit.
9.5 En bref, le grief relatif à une prétendue compensation des créances doit être entièrement rejeté.
10. En définitive, l'arrêt attaqué doit être annulé. La cause est renvoyée à l'autorité précédente pour qu'elle rende une nouvelle décision dans le sens des considérants sur les heures supplémentaires. Il est constaté que l'employé n'a le droit à aucune gratification pour les années 2006 et 2007.
L'employeur obtient gain de cause concernant les gratifications. L'employé l'emporte sur la question des heures supplémentaires en tant qu'elles sont afférentes aux années 2003 à 2006. S'agissant de l'année 2007, il soulève un grief justifiant le renvoi de la cause. En conséquence, il y a lieu d'admettre que les frais judiciaires, arrêtés à 5'000 fr., seront mis à la charge de l'employeur par trois cinquièmes et à celle de l'employé par deux cinquièmes (<ref-law>). La même clé de répartition sera utilisée pour les dépens, fixés à 6'000 fr., qui seront partiellement compensés (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 4A_172/2012 et 4A_174/2012 sont jointes.
2. Les recours sont partiellement admis. L'arrêt attaqué est annulé. La cause est renvoyée à l'autorité précédente pour qu'elle rende une nouvelle décision dans le sens des considérants.
3. Les frais judiciaires, arrêtés à 5'000 fr., sont mis pour trois cinquièmes, soit 3'000 fr., à la charge de l'employeur et pour deux cinquièmes, soit 2'000 fr., à celle de l'employé.
4. L'employeur versera à l'employé une indemnité de 1'200 fr. à titre de dépens réduits.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 22 août 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Monti