Faits:
A. Par contrat du 23 septembre 2003, la société Y._ (ci-après: l'employeuse) a engagé X._ (ci-après: l'employé) comme agent de sécurité à plein temps à compter du 6 octobre 2003; le 1er septembre 2004, les parties ont conclu un deuxième contrat, aux termes duquel l'employé a été engagé en qualité d'agent de sécurité/responsable de service; un troisième contrat de travail a été conclu le 11 avril 2005. Le 24 juin 2005, l'employeuse a licencié l'employé pour le 31 août 2005, échéance reportée au 30 novembre 2005 en raison d'une période de service militaire.
B. Le 25 janvier 2006, l'employé a ouvert une action tendant au paiement, par l'employeuse, d'une somme s'élevant en dernier lieu à 124'764 fr. 25, soit notamment 4'761 fr. 25 à titre de rémunération du travail supplémentaire, 4'638 fr. 50 à titre de rémunération des jours de congé sur appel, 92'583 fr. 90 à titre de rémunération des jours de piquet et 5'780 fr. 60 à titre de rémunération des vacances non prises. Par jugement du 11 décembre 2009, le Tribunal civil de l'arrondissement de la Sarine a condamné l'employeuse à verser à l'employé 6'242 fr. 25 à titre de rémunération des vacances non prises. Par arrêt du 24 juin 2010, la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours de l'employé.
C. L'employé (le recourant) interjette un recours en matière civile au Tribunal fédéral; il conclut à l'annulation de l'arrêt du 24 juin 2010 et à la condamnation de son adverse partie à lui verser 2'096 fr. 30 à titre de rémunération des heures supplémentaires, 92'583 fr. 90 à titre de rémunération des jours de service de piquet, 4'638 fr. 50 à titre de rémunération des jours de congé sur appel et 6'242 fr. 25 à titre de rémunération des vacances non prises. L'employeuse (l'intimée) propose le rejet du recours dans la mesure où il est recevable.
Considérant en droit:
1. Interjeté par le recourant qui a succombé dans la plupart de ses conclusions condamnatoires (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire dont la valeur litigieuse atteint le seuil de 15'000 fr. applicable en matière de droit du travail (art. 74 al. 1 let. a LTF), le recours en matière civile présentement soumis à l'examen du Tribunal fédéral est en principe recevable, puisqu'il a été déposé dans le délai prévu par la loi (art. 100 al. 1 LTF).
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels (ATF 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat, ce qu'il appartient au recourant de démontrer (cf. art. 106 al. 2 LTF; ATF 135 V 2 consid. 1.3 p. 4 s.; 134 I 263 consid. 3.1 p. 265 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si, sur la base des éléments recueillis, il a fait des déductions insoutenables, ou encore s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée (cf. ATF 134 V 53 consid. 4.3; 129 I 8 consid. 2.1).
3. Le recourant conclut au versement de la somme de 6'242 fr. 25 à titre de rémunération des vacances non prises; cette prétention lui ayant été allouée par le jugement de première instance qui a été confirmé en appel, elle lui est acquise et ne fait ainsi pas formellement l'objet du recours.
4. Le recourant reproche à la cour cantonale d'avoir retenu que la durée maximale de la semaine de travail applicable au cas d'espèce s'élevait à 50 heures et, partant, de ne pas lui avoir alloué ses prétentions en rémunération du travail supplémentaire, raisonnement qui reposerait sur une constatation manifestement inexacte de faits pertinents et conduirait à une violation du droit fédéral.
4.1 Aux termes de l'art. 9 al. 1 de la loi fédérale du 13 mars 1964 sur le travail dans l'industrie, l'artisanat et le commerce (Loi sur le travail, LTr; RS 822.11), la durée maximale de la semaine de travail est de 45 heures pour les travailleurs occupés dans les entreprises industrielles ainsi que pour le personnel de bureau, le personnel technique et les autres employés, y compris le personnel de vente des grandes entreprises de commerce de détail (let. a) et de 50 heures pour tous les autres travailleurs (let. b).
Le "personnel technique et les autres employés" comprennent les salariés chargés pour l'essentiel de tâches dites cérébrales dans les bureaux ou à des postes de travail similaires, par exemple des guichets, des ateliers d'essais, des laboratoires ou des centres de développement de programmes informatiques. Les "autres travailleurs" regroupent les salariés dont la tâche se compose principalement d'activités manuelles, telles que l'artisanat, le travail auxiliaire d'ordre manuel et la vente dans des entreprises n'entrant pas dans la catégorie des entreprises industrielles (arrêt 4C.310/2002 du 14 février 2003 consid. 5.5, in Revue de droit du travail et d'assurance-chômage [DTA] 2003 p. 96).
4.2 Se référant aux trois contrats successifs et aux déclarations du recourant, la cour cantonale a considéré que l'activité de celui-ci consistait essentiellement en de la surveillance, que le volet "responsable de service" de son activité correspondait à la planification des horaires de l'équipe et que le recourant exerçait donc pour l'essentiel une activité de terrain; au demeurant, le recourant, dont le chef de conclusions portait sur les années 2003 et 2004, n'avait été promu responsable de service que le 1er septembre 2004; le Tribunal avait par conséquent retenu à juste titre que la durée maximale de la semaine de travail était de 50 heures et l'horaire moyen allégué par le recourant étant inférieur à cette durée, il n'y avait pas lieu à rémunération.
4.3 Le recourant soutient qu'il ressortirait du dossier qu'il accomplissait la majeure partie de son temps des tâches administratives; il se limite toutefois à invoquer les déclarations d'un seul témoin - dont l'intimée souligne d'ailleurs qu'il les a citées de manière incomplète - qu'il estime utiles à sa thèse et à affirmer que les juges cantonaux seraient tombés dans l'arbitraire en minimisant l'importance de l'aspect administratif de son activité; purement appellatoire, ce procédé est inapte à démontrer l'arbitraire. Au demeurant, le recourant ne discute pas l'argumentation subsidiaire de la cour cantonale relative au fait que ses prétentions portaient sur 2003 et 2004 alors qu'il n'avait obtenu son poste de responsable qu'en septembre 2004. Enfin, strictement fondé sur la prémisse erronée selon laquelle le recourant aurait accompli la majeure partie de son temps des tâches de type intellectuel, le grief de violation du droit fédéral est dénué d'objet.
5. Le recourant plaide ensuite que la partie de la décision attaquée qui concerne la question de l'indemnisation du service de piquet reposerait sur une constatation manifestement inexacte des faits pertinents et conduirait à une violation du droit fédéral ainsi que du droit d'être entendu.
5.1 Aux termes de l'art. 14 al. 1 de l'ordonnance 1 du 10 mai 2000 relative à la loi sur le travail (OLT 1; RS 822.111), est réputé service de piquet le temps pendant lequel le travailleur se tient, en sus du travail habituel, prêt à intervenir, le cas échéant, pour remédier à des perturbations, porter secours en cas de situation d'urgence, effectuer des visites de contrôle ou faire face à d'autres situations particulières analogues; l'art. 15 al. 2 OLT 1 dispose que le temps consacré à un service de piquet effectué en dehors de l'entreprise compte comme durée du travail dans la mesure de l'activité effectivement déployée pour l'employeur.
Ainsi, lorsque le travailleur de piquet n'est pas tenu de rester dans l'entreprise, mais doit être prêt à intervenir en cas de nécessité, seul le temps d'intervention compte comme temps de travail et doit être rémunéré et/ou compensé. Le temps d'attente doit aussi être rémunéré lorsque le service de piquet a pour conséquence d'entraver le travailleur dans la jouissance de son temps libre, ce qui sera notamment le cas s'il doit se tenir prêt à intervenir à bref délai (Carruzzo, Le contrat individuel de travail, 2009, n° 2 ad art. 329 CO, p. 349).
L'indemnité pour le service de piquet peut être inférieure au taux de salaire de base et le contrat individuel de travail peut prévoir que ladite indemnité est intégrée dans le taux de salaire pour l'activité principale (cf. ATF 124 III 249 consid. 3b et 3c).
5.2 Sur ce point, la cour cantonale a en substance jugé que les trois contrats mentionnaient le service de piquet dans le cahier des charges du recourant et que la rémunération contractuelle le couvrait aussi. En cas d'intervention durant ce service, les agents de sécurité devaient être sur place dans les 15 à 30 minutes; si le service de piquet était en apparence astreignant, le dossier montrait une réalité tout à fait différente; de l'avis unanime des employés de l'intimée ayant témoigné, il était peu astreignant du fait de la rareté des interventions et de la possibilité pour les agents de se remplacer mutuellement; pendant toute l'activité du recourant, seules 6 interventions étaient établies; dans ces conditions, un salaire mensuel de 4'000 fr., respectivement 4'250 fr., englobant le service de piquet ne pouvait être qualifié de contraire aux moeurs et, partant, frappé de nullité; au demeurant, le recourant, bien qu'il se soit plaint du montant de la rémunération auprès de l'intimée, avait signé un deuxième contrat en 2004 puis un troisième en 2005 et il n'y avait pas eu de discussion en relation avec le salaire ou l'indemnité lorsque le contrat avait été modifié au 1er janvier 2005; par sa signature, il avait accepté les conditions salariales proposées par l'intimée. Le Tribunal avait encore relevé à juste titre que selon les calculs du recourant, l'intimée devrait lui verser à titre d'indemnité pour le service de piquet pour la seule année 2004 une somme supérieure au salaire mensuel convenu, ce qui équivaudrait au total à un salaire mensuel de plus de 9'000 fr., position qui n'était pas réaliste.
5.3 Le recourant est d'avis que la cour cantonale aurait arbitrairement retenu que le service de piquet était peu astreignant; il lui reproche d'avoir perdu de vue que ledit service impliquait une disponibilité extrêmement importante, en ce sens qu'il requérait une intervention dans les 15 minutes, une permanence 24h/24h et un service une semaine sur deux, voire deux semaines sur trois; il soutient encore que la rareté des interventions ne changerait rien au fait que les agents ne disposaient que d'une marge de liberté très restreinte pendant leur service de piquet et que le système de remplacement ne libérait pas le bénéficiaire de l'obligation d'effectuer son service. Là encore, le recourant ne fait qu'exposer sa propre version des choses et tenter de la faire prévaloir sur celle des juges cantonaux, sans discuter les motifs de la décision attaquée et, partant, sans démontrer en quoi consisterait l'arbitraire.
Le recourant soutient ensuite que les juges cantonaux auraient violé le droit fédéral en admettant la validité du prétendu accord salarial au sujet de la rémunération du service de piquet. Il fonde toutefois à nouveau son argumentation sur une prémisse erronée selon laquelle le service de piquet aurait été très astreignant, en se focalisant en particulier sur le court laps de temps pour intervenir, qui n'est qu'un des éléments pris en considération dans le cadre de l'appréciation du cas, mais ne discute pas les autres motifs exposés par les précédents juges. L'on ne voit pas en quoi le droit fédéral aurait été violé.
Enfin, le recourant se prévaut d'une violation de son droit d'être entendu, en ce sens que la cour cantonale ne se serait pas prononcée sur les références jurisprudentielles et doctrinales qu'il avait invoquées, d'où un défaut de motivation. Il ne saurait toutefois en être question; en effet, si le droit d'être entendu implique l'obligation, pour l'autorité, de motiver sa décision, afin que son destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu, le juge n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; il suffit qu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (ATF 134 I 83 consid. 4.1 p. 88; 133 I 270 consid. 3.1; 133 III 439 consid. 3.3 p. 445); or, en l'espèce, la cour cantonale a suffisamment motivé sa décision et le recourant a précisément été en mesure de la contester.
6. En dernier lieu, le recourant estime que les développements des juges cantonaux relatifs aux jours de congé sur appel reposeraient derechef sur une constatation arbitraire des faits pertinents et conduiraient à une violation du droit fédéral ainsi que du droit d'être entendu.
6.1 A cet égard, la cour cantonale a fait siens les motifs des premiers juges qui, se fondant sur les déclarations de l'associé de l'intimée, avaient retenu que l'agent en congé n'avait pas à se tenir prêt à intervenir 24 heures sur 24 et que s'il n'était pas appelé tôt le matin, il pouvait disposer de son jour de congé; en outre, le système du "congé sur appel" avait été instauré (aussi) dans l'intérêt des employés, l'idée de l'intimée étant que regrouper les heures de travail pour leur offrir des jours de congé supplémentaires; enfin, le recourant ne s'était vu imposer durant son activité que 11 jours de congé où il devait être disponible pour un remplacement, ce qui n'avait jamais eu lieu; dans ces conditions, la disponibilité offerte durant ces quelques jours n'avait pas à être rémunérée, compte tenu notamment de la faible contrainte qui y était liée.
6.2 Le recourant estime que les juges cantonaux auraient versé dans l'arbitraire en minimisant le caractère contraignant du système des jours de congé sur appel; il expose qu'en cas de problème, les employés pouvaient être prévenus au dernier moment d'un remplacement à effectuer dans les heures qui suivaient et que de ce fait, il était contraint d'être en permanence prêt à travailler, même durant ses congés. La mise en avant de ce seul facteur ne permet toutefois pas de démontrer en quoi la cour cantonale aurait commis arbitraire en considérant, à l'issue de l'appréciation de différents autres éléments, que le système présentait une faible contrainte. Purement appellatoire, le grief n'est pas recevable.
Le recourant soutient en outre que la cour cantonale aurait violé le droit fédéral en considérant que la disponibilité offerte pendant les jours de congé sur appel n'avait à être rémunérée qu'en cas d'intervention effective; dans la mesure où les précédents juges ont nié sans arbitraire la faible contrainte inhérente auxdits jours, une telle violation n'est pas avérée. Enfin, pour les mêmes motifs qu'exposés plus haut, il ne saurait être question de violation du droit d'être entendu.
7. Il résulte de ce qui précède que le recours, manifestement infondé, doit être rejeté dans la mesure de sa recevabilité, par un arrêt sommairement motivé (cf. art. 109 al. 2 et 3 LTF).
8. Comme la valeur litigieuse, calculée selon les prétentions à l'ouverture de l'action (ATF 115 II 30 consid. 5b p. 41), dépasse le seuil de 30'000 fr., le montant de l'émolument judiciaire est fixé selon le tarif ordinaire (art. 65 al. 3 let. b LTF) et non réduit (art. 65 al. 4 let. c LTF). Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimée sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 3'500 fr., sont mis à la charge du recourant.
3. Une indemnité de 4'000 fr., à payer à l'intimée à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 22 novembre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Cornaz