Faits:
A. A compter du 1er janvier 1988, Y._ (ci-après: l'employeur) a engagé X._ (ci-après: l'employé) en qualité d'ingénieur de développement, statut qui a évolué en celui d'ingénieur chef de projet et responsable informatique. Dès avril 1997, le salaire mensuel brut de l'employé était de 10'500 francs.
Depuis janvier 1998, l'employé a rempli chaque mois un rapport mensuel d'activité, complété par une fiche de travail, établissant le nombre d'heures à travailler, le nombre d'heures effectivement travaillées et les heures supplémentaires qui en résultaient.
Par lettre du 24 septembre 2003, l'employeur a licencié l'employé pour le 31 décembre 2003; celui-ci ayant ultérieurement été déclaré en incapacité de travail, les rapports de travail se sont finalement poursuivis jusqu'au 30 juin 2004.
Le 30 juin 2004, l'employé a établi un décompte global de ses heures pour les années 1988 à 2003; il en résulte notamment qu'en 1999, le nombre d'heures à faire était de 2'218.50, le nombre d'heures faites de 2'360.25 - d'où une différence de 141.75 heures -, le droit aux vacances de 201 heures et les vacances faites de 331.50 heures; par ailleurs, pour 2002, le nombre d'heures à faire était de 2'218.50, le nombre d'heures faites de 2'295.75 - d'où une différence de 77.25 heures -, le droit aux vacances de 220 heures et les vacances faites de 306 heures.
Ce récapitulatif se fondait sur les rapports mensuels d'activité et les fiches de travail susmentionnés et l'expert mis en oeuvre en cours d'instance a constaté que celui-là correspondait à ceux-ci; il ressort de ces pièces qu'entre les mois d'octobre et décembre 1999, l'employé a totalisé 84 heures supplémentaires; pour l'année 2002, les rapports mensuels de janvier à juin permettent d'additionner 77.25 heures supplémentaires, soit le montant reporté sur le décompte du 30 avril 2004; en revanche, pour les mois de juillet à décembre, il est fait mention pour chaque rapport de "0.00 heures supplémentaires" et du nombre d'heures "pas comptées", dont le total représente 106.49 heures; l'employé a affirmé qu'à l'époque, il en aurait fait "cadeau" à l'entreprise, décision sur laquelle il entendait revenir.
La question des heures supplémentaires, non soumises à une réglementation, était un problème connu du personnel, qui faisait régulièrement l'objet de discussions, sans qu'il y ait à l'origine de conflit ouvert à ce sujet; il avait ainsi été question, projet qui était toujours latent, de transformer l'entreprise en société anonyme et de permettre notamment à l'employé d'acquérir des actions de manière à compenser son capital d'heures supplémentaires.
L'employé gérait ses activités de manière indépendante jusqu'à la facturation, l'employeur lui faisant pleinement confiance à cet égard; il organisait librement son horaire; c'est ainsi qu'il a bénéficié, grâce à cette liberté, de vacances supplémentaires, prises chaque année jusqu'en 2002, excepté pour l'année 1992.
Le 7 octobre 2004, l'employé a fait notifier à l'employeur un commandement de payer portant sur la somme de 250'000 fr. avec intérêts à 5 % l'an dès le 1er juillet 2004, auquel le poursuivi a formé opposition totale.
B. Par demande du 27 décembre 2004, l'employé a conclu au paiement par l'employeur d'une somme limitée à 100'000 fr. avec intérêts à 5 % l'an dès le 1er juillet 2004; celui-ci a opposé les exceptions de compensation et de prescription aux prétentions, contestées, de son adverse partie.
Le 17 avril 2007, le Tribunal civil de l'arrondissement de Lausanne a rendu un premier jugement qui a été annulé par arrêt de la Chambre des recours du Tribunal cantonal vaudois du 30 janvier 2008, renvoyant la cause aux premiers juges pour nouvelle instruction et nouveau jugement dans le sens des considérants.
Par jugement du 2 mars 2009, le Tribunal a dit que l'employeur devait payer à l'employé, avec intérêts à 5 % l'an dès le 1er juillet 2004, les montants de 4'867 fr. 75 bruts à titre d'indemnité pour vacances, 2'882 fr. à titre de restitution de la part de l'employé à la ristourne versée par l'assurance perte de gain maladie, 5'250 fr. bruts à titre de treizième salaire pour l'année 2004 - sous déduction d'un montant de 1'274 fr. - et 54'185 fr. 60 bruts à titre de paiement des heures supplémentaires (ch. II).
L'employé a déposé un recours cantonal contre le jugement du 2 mars 2009, concluant à sa réforme en ce sens que l'employeur doit lui payer, en sus des indemnités pour vacances non prises, à titre de ristourne sur la restitution opérée par l'assurance perte de gain maladie et à titre de treizième salaire allouées par le jugement, une indemnité de 70'373 fr. bruts avec intérêts à 5 % l'an dès le 1er octobre 2001 à titre d'indemnité d'heures supplémentaires; dans son mémoire, il a réduit cette dernière conclusion à 69'641 fr. 65.
Par arrêt du 7 octobre 2009, la Chambre des recours du Tribunal cantonal vaudois a très partiellement admis le recours (ch. I) et réformé le chiffre II du dispositif du jugement du 2 mars 2009 en ce sens qu'elle a porté à 54'301 fr. 35 bruts le montant accordé à titre de paiement des heures supplémentaires; elle a confirmé la décision pour le surplus (ch. II).
C. L'employé (le recourant) interjette un recours au Tribunal fédéral; il conclut à la réforme du chiffre II du dispositif de l'arrêt du 7 octobre 2009 en ce sens que le montant alloué à titre de paiement des heures supplémentaires est augmenté à 69'641 fr. 65 avec intérêts à 5 % l'an dès le 1er octobre 2001, avec suite de frais et dépens des instances cantonales et fédérale. L'employeur (l'intimé) propose le rejet du recours, sous suite de frais et dépens.
Considérant en droit:
1. Le recourant n'indique pas s'il forme un recours en matière civile ou un recours constitutionnel subsidiaire au Tribunal fédéral. Cela étant, il apparaît que la première voie est ouverte, le recours étant interjeté par une personne ayant partiellement succombé dans ses conclusions condamnatoires (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF), dans une affaire dont la valeur litigieuse, déterminée par les conclusions encore en cause devant l'autorité précédente, dépasse le seuil de 15'000 fr. applicable en matière de droit du travail (art. 51 al. 1 let. a et art. 74 al. 1 let. a LTF); le recours a par ailleurs été déposé dans le délai, compte tenu des féries (art. 46 al. 1 let. c et art. 100 al. 1 LTF), et la forme (art. 42 LTF) prévus par la loi, de sorte qu'il est en principe recevable.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels (ATF 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Il n'examine la violation de droits fondamentaux que si ce grief a été expressément invoqué et motivé de façon détaillée (art. 106 al. 2 LTF).
3. Le recourant s'en prend au décompte des heures supplémentaires de l'année 1999.
3. Le recourant s'en prend au décompte des heures supplémentaires de l'année 1999.
3.1 3.1.1 Avant de procéder au décompte des heures supplémentaires pour chacune des années 1999 à 2003, les premiers juges ont relevé que le recourant avait fait notifier à l'intimé un commandement de payer en date du 7 octobre 2004; cela impliquait que ses prétentions ne pouvaient être antérieures au 7 octobre 1999; toutefois, s'agissant de la méthode de calcul, il y avait lieu de se calquer sur l'entier de l'année 1999, de manière à tenir compte de l'ensemble des facteurs et à rendre une décision équitable.
Concernant plus particulièrement l'année 1999, les premiers juges ont retenu que le recourant avait calculé son nombre d'heures supplémentaires à 141.75; son droit aux vacances était de 205 heures (et non de 210 heures); il avait pris 331.50 heures de vacances, soit 126.50 de trop qu'il convenait de déduire des heures supplémentaires; il restait donc à comptabiliser 15.25 heures supplémentaires; le tribunal est revenu sur le point sus-évoqué, à savoir la prise en compte des données pour l'ensemble de l'année, malgré le fait que le droit du recourant ne pouvait être antérieur au 7 octobre 1999; on constatait qu'entre octobre et décembre 1999, l'employé avait accumulé 84 heures, soit plus de la moitié du total pour l'année en cause; étant donné qu'il convenait de compenser les heures supplémentaires avec les vacances prises en trop, il n'était pas correct de se baser sur les seules vacances prises entre octobre et décembre, raison pour laquelle les premiers juges ont décidé d'annualiser le décompte.
3.1.2 Quant à elle, la cour cantonale a en particulier considéré qu'il ressortait des faits de la cause que la gestion indépendante de l'horaire de travail de l'employé lui permettait de coordonner heures supplémentaires et vacances comme l'indiquaient les décomptes adressés à l'employeur; il n'y avait pas lieu de s'écarter de la manière de calculer des premiers juges, initiée par l'employé, qui déduisait les heures de vacances prises en trop des heures supplémentaires à rémunérer; dans cette mesure, la restitution des vacances perçues en trop, respectivement leur contrepartie financière, procédait d'un fondement contractuel entre travailleur et employeur; la pratique appliquée par le recourant de soustraire la valeur des vacances prises en sus démontrait ainsi l'existence d'un accord sur ce point sans qu'il soit nécessaire de rechercher la responsabilité de la fin des rapports de travail pour déterminer l'existence d'un droit au remboursement.
Cela étant, l'employeur soutenait que l'employé avait pris 17 heures de vacances en sus de celles mentionnées dans le décompte de celui-ci pour l'année 1999; des pièces confirmaient le calcul de l'employeur et, sans remettre en cause le report de toute la période de référence annuelle adoptée à juste titre par les premiers juges, il fallait ainsi admettre la compensation pour ces heures en sus des vacances; la compensation de cette prétention contractuelle, exigible à l'échéance de la période de référence, était possible dès lors que la prétention en paiement des heures supplémentaires était payable au même moment.
Cela étant, l'employeur soutenait que l'employé avait pris 17 heures de vacances en sus de celles mentionnées dans le décompte de celui-ci pour l'année 1999; des pièces confirmaient le calcul de l'employeur et, sans remettre en cause le report de toute la période de référence annuelle adoptée à juste titre par les premiers juges, il fallait ainsi admettre la compensation pour ces heures en sus des vacances; la compensation de cette prétention contractuelle, exigible à l'échéance de la période de référence, était possible dès lors que la prétention en paiement des heures supplémentaires était payable au même moment.
3.2 3.2.1 Le recourant estime d'abord que la cour cantonale ne pouvait pas admettre un moyen de l'intimé pour augmenter la compensation des jours de vacances pris en trop à son détriment, aucune conclusion n'ayant été prise dans ce sens par celui-ci; selon l'art. 466 du code de procédure civile (du canton de Vaud) du 14 décembre 1966 (CPC/VD; RSV 270.11), l'intimé aurait dû déposer des conclusions dans un recours joint s'il avait voulu que le jugement soir réformé en défaveur de son adverse partie.
3.2.2 Sauf dans les cas cités expressément à l'art. 95 LTF, le recours au Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est possible de faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. A cet égard, le Tribunal fédéral n'examine le moyen fondé sur la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de manière précise (art. 106 al. 2 LTF; cf. ATF 135 I 106 consid. 2.6; 134 II 349 consid. 3 p. 351 s.; 133 III 462 consid. 2.3).
A supposer recevable au regard de ces exigences de motivation - étant en particulier précisé que le recourant ne parle pas d'arbitraire -, ce grief ne résiste pas à l'examen. En effet, le recours joint est celui par lequel l'intimé se joint au recours principal et demande que le jugement soit modifié dans un sens qui lui est favorable (cf. HOHL, Procédure civile, tome II, 2002, p. 260 n° 2967). En l'occurrence, l'intimé n'a pas à proprement parler cherché à obtenir une modification du dispositif, mais s'est uniquement exprimé sur une question de fait déterminante pour statuer sur la prétention que son adverse partie avait élevée dans son recours; or, saisi d'un recours en réforme, le Tribunal cantonal revoit librement la cause en fait et en droit (art. 452 al. 2 CPC/VD) et les parties peuvent articuler des faits nouveaux qui résultent du dossier et qui auraient dû être retenus (cf. art. 452 al. 1 ter CPC/VD). En définitive, l'on ne voit donc pas en quoi les juges cantonaux auraient commis arbitraire dans l'application de l'art. 466 CPC/VD.
A supposer recevable au regard de ces exigences de motivation - étant en particulier précisé que le recourant ne parle pas d'arbitraire -, ce grief ne résiste pas à l'examen. En effet, le recours joint est celui par lequel l'intimé se joint au recours principal et demande que le jugement soit modifié dans un sens qui lui est favorable (cf. HOHL, Procédure civile, tome II, 2002, p. 260 n° 2967). En l'occurrence, l'intimé n'a pas à proprement parler cherché à obtenir une modification du dispositif, mais s'est uniquement exprimé sur une question de fait déterminante pour statuer sur la prétention que son adverse partie avait élevée dans son recours; or, saisi d'un recours en réforme, le Tribunal cantonal revoit librement la cause en fait et en droit (art. 452 al. 2 CPC/VD) et les parties peuvent articuler des faits nouveaux qui résultent du dossier et qui auraient dû être retenus (cf. art. 452 al. 1 ter CPC/VD). En définitive, l'on ne voit donc pas en quoi les juges cantonaux auraient commis arbitraire dans l'application de l'art. 466 CPC/VD.
3.3 3.3.1 Invoquant l'art. 128 ch. 3 CO, le recourant conteste ensuite que ses prétentions s'arrêtent au 7 octobre 1999 et qu'il doive par contre se voir pénaliser des vacances prises en trop antérieurement à cette date; il précise que l'équité n'aurait pas sa place dans le cadre de l'application de cette disposition, à laquelle il ne serait par ailleurs pas possible de déroger conventionnellement, conformément à l'art. 129 CO; en conséquence, il prétend avoir droit au paiement des 84 heures comptabilisées entre octobre et décembre 1999, au lieu des 15.25 allouées après compensation.
3.3.2 Le travailleur a droit à des vacances fixées, sauf convention ou réglementation contraire, par année de service; ce droit consiste en l'octroi de temps libre avec paiement du salaire correspondant à cette période (cf. art. 329a, art. 329c et art. 329d al. 1 CO). Tant que durent les rapports de travail, les vacances ne peuvent pas être remplacées par des prestations en argent ou d'autres avantages (art. 329d al. 2 CO). Une prétention pécuniaire en remplacement de vacances non prises ne peut donc en principe naître qu'à la fin des rapports de travail. Le droit aux vacances se prescrit; s'il est prescrit au moment où les rapports de travail prennent fin, il ne naît aucune prétention pécuniaire de remplacement. Le droit aux vacances se prescrit séparément pour chaque année de service. Le délai court dès le moment où la créance est devenue exigible (art. 130 al. 1 CO). Le droit aux vacances est exigible à la date des vacances prévues dans le contrat de travail ou fixé par l'employeur (cf. art. 329c al. 2 CO). A défaut, il faut admettre qu'il devient exigible le dernier jour permettant encore de prendre l'entier des vacances durant l'année de service en cours; tant le droit aux vacances que l'indemnité pour les vacances non prises se prescrivent par cinq ans (cf. art. 128 ch. 3 CO; arrêt 4A_333/2009 du 3 décembre 2009, destiné à la publication aux ATF, consid. 4.1).
3.3.3 En l'occurrence, il apparaît que le recourant critique en réalité l'annualisation du décompte de ses heures supplémentaires et de vacances; or, il a été retenu que l'employé était libre d'organiser ses horaires, ce qui lui permettait de prendre des vacances supplémentaires; en outre, l'employé lui-même a établi ses décomptes en compensant, pour chaque année, ses jours de vacances et ses heures supplémentaires; dès lors, les premiers juges ont considéré qu'il existait un accord des parties quant à ce mode de faire, ce que le recourant ne remet pas en cause.
Dans ces circonstances, il apparaît que ce système impliquait un accord des parties sur le report de l'exigibilité du droit aux vacances - et, corollairement, à la compensation de celles prises en trop -, à la fin de chaque année civile. Par conséquent, les précédents juges étaient fondés à retenir les chiffres relatifs à l'entier de l'année 1999 pour calculer le droit aux vacances qui subsistait à la fin de cette année-là. Or, c'est bien ce qu'ils ont fait, car bien que retenant que les prétentions du recourant antérieures au 7 octobre 1999 étaient prescrites, ils ont pris sans limite en considération l'entier des 141.75 heures supplémentaires, du droit aux vacances de 205 heures et du nombre d'heures de vacances prises de 331.50, d'où un solde de 15.25 heures. Le grief doit être rejeté.
4. Le recourant émet en outre des critiques relatives aux heures supplémentaires effectuées en 2002.
4. Le recourant émet en outre des critiques relatives aux heures supplémentaires effectuées en 2002.
4.1 4.1.1 Pour cette année-là, les premiers juges ont retenu qu'il convenait de prendre en compte les seules heures supplémentaires comptabilisées dans le décompte global du recourant du 30 juin 2004, à l'exclusion des heures dont il aurait fait cadeau à l'entreprise entre les mois de juillet et décembre; en effet, au moment où il avait établi son décompte, les rapports de travail avaient déjà pris fin et il serait contraire au principe de la bonne foi, de la part du recourant, de revenir sur ce décompte; dès lors que celui-ci avait pris 306 heures de vacances, alors que son droit était de 220 heures, il convenait de déduire les 86 heures de vacances en trop du solde d'heures supplémentaires de 77.25, d'où un solde négatif de - 8.75.
4.1.2 Procédant à une substitution de motifs, la cour cantonale a quant à elle considéré qu'il paraissait certain que le décompte du 30 juin 2004 ne pouvait être interprété, malgré sa prétention à l'exhaustivité, comme une renonciation à la rémunération d'heures supplémentaires effectuées ou, le cas échéant, comme la confirmation d'une renonciation déjà antérieure à cette rémunération, soit parce que faite le dernier jour des rapports de travail, soit parce que confirmant une renonciation faite pendant ceux-ci; un abus de droit consistant à revenir sur le décompte ne ressortait pas des faits de la cause; il était constant en outre que la péremption faute d'annonce par le travailleur n'avait pas pu frapper les prétentions litigieuses dès lors que les fiches avaient été remises par le recourant à l'intimé; toutefois, dès lors qu'elles avaient été annoncées avec le libellé "0.0", il fallait admettre en conséquence que l'on ne pouvait reprocher à l'intimé d'avoir omis de contrôler ces annonces; le libellé en cause n'indiquant pas non plus la nature du travail, il ne permettait pas comme tel un contrôle par l'employeur; les heures litigieuses ne pouvaient donc être traitées comme celles figurant sur les autres fiches d'annonces figurant au dossier, de sorte que si l'expert avait pu établir la coïncidence des décomptes individuels avec les décomptes récapitulatifs, de façon à lier l'employeur, ces heures, non détaillées - ce qui excluait leur contrôle par l'employeur - devaient encore être mises en relation quant au travail prétendument fourni avec les nécessités de l'entreprise; les éléments au dossier ne permettaient pas cette corrélation, ce que le recourant devait supporter en application de l'art. 8 CC, de sorte que le nombre de 77.25 heures retenu par les premiers juges pouvait être confirmé.
4.2 Le recourant relève qu'il ressortirait de l'état de fait établi qu'il était disposé à renoncer à une partie de ses heures supplémentaires sur la foi des promesses de son employeur de pouvoir se porter acquéreur d'actions de la future société anonyme à créer, projet qui n'avait jamais été concrétisé; cela étant, il affirme que l'état de fait tel qu'il est présenté dans le jugement de première instance et repris par la Chambre des recours démontrerait bien que le cadeau de ces heures étaient des heures supplémentaires, faute de quoi elles n'auraient pas été comptabilisées par lui ni validées par expertise.
Semblable argumentation ne résiste pas à l'examen, dans la mesure où le recourant se limite à affirmer son propre point de vue, sans revenir sur la question qui a réellement conduit les juges cantonaux à rejeter sa prétention. En effet, il s'avère qu'à l'issue de l'appréciation des preuves, ceux-ci sont parvenus à la conviction qu'il n'était pas établi que les heures litigieuses avaient été accomplies pour effectuer du travail nécessaire à l'entreprise; dans ces circonstances, il ne saurait être question de violation de l'art. 8 CC, étant rappelé qu'il appartient au travailleur de prouver que les heures supplémentaires le cas échéant effectuées étaient nécessaires pour faire le travail demandé, dans l'intérêt de l'employeur (ATF 129 III 171 consid. 2.4 p. 176). Cela scelle le sort du grief.
5. Le recourant prétend à l'allocation des intérêts à partir d'une date antérieure à celle retenue par les précédents juges, mais ne motive pas cette conclusion, de sorte qu'il n'y a pas à examiner la question (cf. ATF 134 III 102 consid. 1.1 p. 104 s.).
6. Il résulte des considérants qui précèdent que le recours doit être rejeté dans la mesure de sa recevabilité.
7. Comme la valeur litigieuse, calculée selon les prétentions à l'ouverture de l'action (ATF 115 II 30 consid. 5b p. 41), dépasse le seuil de 30'000 fr., le montant de l'émolument judiciaire est fixé selon le tarif ordinaire (art. 65 al. 3 let. b LTF) et non réduit (art. 65 al. 4 let. c LTF). Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimé sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'500 fr., à payer à l'intimé à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal vaudois.
Lausanne, le 1er avril 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz