Faits:
A. A.a X._ travaille au service des Transports publics genevois (ci-après: TPG) depuis 1988. Il est affecté au secteur Y._. Il est appelé à travailler régulièrement la nuit, les week-ends et les jours fériés. Il est soumis au Statut du personnel des TPG du 1er janvier 1999 ([SP] ci-après: le Statut), ainsi qu'à son règlement d'application, du 1er janvier 1999 également ([RSP] ci-après: le règlement).
L'art. 2 du Statut prévoit que tous les employés sont liés aux TPG par un rapport de droit public (ch. 2). Le code des obligations, notamment son titre dixième (contrat de travail), s'applique à titre de droit public supplétif (ch. 3).
L'art. 31 ch. 3 du règlement prévoit ceci:
« Pour le personnel travaillant dans les divisions exploitation, technique, ainsi que planification et installations, le travail effectué entre 22h00 et minuit donne droit à une majoration de temps de 10 %, entre minuit et 04h00 et entre 04h00 et 05h00 (prise de service avant 04h00) de 30 % (dès 55 ans, de 40 %).
De plus, le travail de nuit donne droit à une prime fixée à l'heure effective. Une fraction d'heure est arrondie à l'unité supérieure.»
Quant à l'art. 32, qui traite du travail le samedi, le dimanche et les jours fériés, il contient un chiffre 2 ainsi libellé:
« Une prime est versée à l'employé qui est en service un samedi, un dimanche ou un jour férié au sens de l'art. 47 SP. Elle est fixée:
a) à la journée lorsque l'employé effectue un horaire entier;
b) à la demi-journée, lorsqu'un demi-horaire est effectué;
c) à l'heure, une fraction d'heure étant arrondie à l'unité supérieure, dans les autres cas.»
Les TPG ont toujours considéré que le salaire perçu par les employés pendant les vacances ne comprend pas les primes pour le travail de nuit et pour le travail le samedi, le dimanche et les jours fériés (primes pour inconvénients).
A.b En 2009, huit employés des TPG ont demandé à la direction des TPG le paiement d'un supplément de vacances sur les indemnités versées pour le travail de nuit, du samedi et du dimanche et des jours fériés. Les TPG ont rejeté cette demande par décision du 18 janvier 2010.
B. Les huit employés concernés ont recouru devant le Tribunal administratif du canton de Genève (depuis le 1er janvier 2011: la Chambre administrative de la Cour de justice du canton de Genève). X._ a conclu à l'annulation de la décision attaquée et au paiement de 3'600 fr. plus intérêts à 5 % l'an « à compter de la moyenne du 1er novembre 2006 ».
La Chambre administrative a statué séparément sur chacun des recours, qu'elle a rejetés, en particulier celui de X._ (arrêt du 1er février 2011).
C. X._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire dans lequel il conclut à l'annulation du jugement attaqué et au paiement par les TPG de la somme de 3'600 fr. (plus intérêts). Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouveau jugement au sens des motifs.
Les TPG concluent à l'irrecevabilité du recours en matière de droit public, subsidiairement à son rejet, et au rejet du recours constitutionnel subsidiaire.
D. Par des mémoires séparés, six autres employés des TPG ont également saisi le Tribunal fédéral d'un recours contre le jugement du Tribunal administratif les concernant. Il sera statué séparément sur le sort de leur recours.
Considérant en droit:
1. 1.1 Conformément à l'art. 160C de la Constitution de la République et canton de Genève (Cst./GE; RSG A 2 00), un établissement de droit public est chargé de la gestion des transports publics. Cet établissement est soumis à la surveillance du Conseil d'Etat. En application de cette disposition constitutionnelle, le législateur genevois a adopté la loi sur les transports publics genevois du 21 novembre 1975 (LTPG; RS/GE H 1 55). Selon l'art. 19 al. 1 LTPG, le Conseil d'administration est le pouvoir supérieur des TPG. Il établit le statut du personnel et fixe les traitements, après consultation du personnel (art. 19 al. 2 let. o).
1.2 Comme l'ont retenu avec raison les premiers juges, les règles adoptées par le Conseil d'administration d'un établissement de droit public, sur la base de compétences accordées directement par le législateur cantonal, sont à considérer comme relevant du droit public cantonal (cf. PIERRE MOOR, Droit administratif, vol. III, Berne 1992, no 2.2.3.5, p. 75; ANDRÉ GRISEL, Traité de droit administratif, vol. I, Neuchâtel 1984, p. 87 sv.).
1.3 La présente cause est donc une contestation en matière de rapports de travail de droit public, qui porte sur une contestation pécuniaire et qui ne tombe pas sous le coup de l'exception de l'art. 83 let. g LTF. En matière pécuniaire, le recours n'est en principe recevable que si la valeur litigieuse atteint 15'000 fr. (art. 85 al. 1 let. b LTF). Les causes des huit employés concernés n'ayant pas été réunies devant l'autorité précédente et n'ayant pas fait l'objet d'une décision unique, les divers chefs de conclusions ne peuvent pas être additionnés lors du calcul de la valeur litigieuse (ATF 116 II 587 consid. 1 p. 589 et les références citées). En l'espèce, la valeur litigieuse concernant X._ est de 3'600 fr. et n'atteint donc pas le seuil requis.
2. 2.1 Lorsque la valeur litigieuse est insuffisante, le recours est néanmoins recevable si la contestation soulève une question juridique de principe (art. 85 al. 2 LTF). Lorsque le recours n'est recevable qu'à cette condition, le recourant doit exposer en quoi l'affaire remplit cette exigence (art. 42 al. 2, 2e phrase, LTF; ATF 134 III 267 consid. 1.2 p. 269; 133 III 439 consid. 2.2.2.1 p. 442).
2.2 Le recourant soutient que la question posée ici soulève une question juridique de principe. Il invoque l'ATF 132 III 172. Selon cet arrêt, lorsque les suppléments à la rémunération de base versés en compensation du travail effectué la nuit, en fin de semaine et les jours fériés ont un caractère régulier et durable, ils doivent être pris en compte dans le calcul du salaire afférent aux vacances au sens de l'art. 329d al. 1 CO (consid. 3). Le recourant fait valoir que la portée de cet arrêt dans les rapports de travail liant un établissement public assurant une tâche de transport public et son personnel, lorsque le statut du personnel réserve le droit fédéral à titre de droit supplétif, n'a pas fait l'objet à ce jour d'une jurisprudence du Tribunal fédéral. Il relève l'importance du problème posé en pratique.
2.3 La jurisprudence a souligné qu'il fallait se montrer restrictif dans l'admission d'une dérogation à l'exigence de la valeur litigieuse sur la base de l'art. 74 al. 2 let. a LTF, respectivement de l'art. 85 al. 2 LTF. Elle s'est efforcée de cerner la notion de contestation soulevant une question juridique de principe. En résumé, il faut qu'il soit nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral, en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (ATF 135 III 397 consid. 1.2 p. 399; consid. 1.1 non publié de l'ATF 136 I 290). Si la question se rapporte à une norme de droit cantonal que le Tribunal fédéral ne peut pas revoir librement, celui-ci ne saurait rendre une décision de principe (cf. arrêt 1C_58/2008 du 7 mai 2009 consid. 1.2). Si son pouvoir d'examen est limité à la violation des droits constitutionnels, il suffit, en effet, que le recourant interjette un recours constitutionnel subsidiaire et une dérogation à l'exigence de la valeur litigieuse ne se justifie pas (ATF 134 I 184 consid. 1.3 p. 187; arrêts 4A_517/2009 du 4 janvier 2010 consid. 1.3.1; 4A_64/2008 du 27 mai 2008 consid. 1.1; BERNARD CORBOZ, in Commentaire de la LTF, 2009, no 36 ad art. 74 LTF).
2.4 En l'espèce, l'arrêt invoqué par le recourant a été rendu dans une cause civile et portait sur l'application du droit fédéral (art. 329d al. 1 CO). Les règles du code des obligations, dont se prévaut le recourant, ne pourraient être appliquées ici qu'à titre de droit cantonal supplétif, étant entendu que celui-ci ne change pas de nature; s'il y incorpore des notions de droit fédéral, ou s'il renvoie au droit fédéral, il n'en relève pas moins du droit cantonal (voir ATF 126 III 370 consid. 5 p. 372; 108 II 490 consid. 7 p. 495), de sorte que le Tribunal fédéral ne peut en contrôler l'application que sous l'angle restreint de l'arbitraire ou d'autres droits constitutionnels en fonction des griefs invoqués (art. 106 al. 2 LTF; arrêt 2C_860/2008 du 20 novembre 2009 consid. 3.2). Partant, la recevabilité du recours en matière de droit public ne saurait être reconnue en application de l'art. 85 al. 2 LTF.
3. Il reste à examiner le recours constitutionnel subsidiaire (113 ss LTF) formé simultanément par le recourant. Ce recours ne peut être formé que pour violation des droits constitutionnels (art. 116 LTF). Quand il s'agit de droits constitutionnels, le Tribunal fédéral n'applique pas le droit d'office et ne peut entrer en matière que dans la mesure où un grief constitutionnel a été invoqué et suffisamment motivé dans l'acte de recours (art. 117 et 106 al. 2 LTF).
4. Le recourant se plaint d'arbitraire. Selon lui, le renvoi par le Statut (art. 2 ch. 3) aux règles du code des obligations n'est soumis à aucune condition. Ce renvoi trouve application lorsque le Statut ne règle pas une question liée aux rapports de travail ou lorsqu'il la règle de manière contraire à une disposition impérative du droit fédéral, ce qui serait le cas en l'espèce. Ce renvoi devait conduire les premiers juges à appliquer en l'espèce la jurisprudence de l'ATF 132 III 172. Les premiers juges auraient ainsi de manière arbitraire refusé d'appliquer une disposition, pourtant expressément prévue par le Statut, et qui devait permettre la mise en conformité de la réglementation des conditions de travail aux TPG avec les standards minimaux que constituent les règles du droit privé en matière de contrat de travail. Le recourant invoque également une violation de son droit d'être entendu au motif que la décision attaquée n'est pas motivée sur la question du renvoi par le Statut aux règles du code des obligations.
5. 5.1 Eu égard à sa nature formelle, la violation du droit d'être entendu dénoncée par le recourant doit être examinée en premier lieu. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. implique notamment pour l'autorité l'obligation de motiver sa décision. Selon la jurisprudence, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais elle peut au contraire se limiter à ceux qui lui paraissent pertinents (ATF 137 II 266 consid. 3.2 p. 270; 136 I 229 consid. 5.2 p. 236; 134 I 83 consid. 4.1 p. 88; 133 III 439 consid. 3.3 p. 445 et les arrêts cités).
5.2 Dans le cas particulier, comme on le verra, la cour cantonale, contrairement à ce que soutient le recourant, a bel et bien examiné le problème du renvoi du statut aux règles du code des obligations. Elle a indiqué que ce renvoi n'était applicable que si le Statut ne réglait pas de manière exhaustive la question du droit aux vacances. Entre autres arguments, elle a retenu que le règlement excluait de manière explicite la prise en compte des primes litigieuses dans le calcul du droit aux vacances et, par conséquent, l'application de l'art. 329d CO. Ces considérations de l'arrêt entrepris suffisent pour affirmer que le grief soulevé ici par le recourant est dénué de fondement.
6. 6.1 Les rapports de travail de droit public ne sont en principe pas soumis aux dispositions du code des obligations, à l'exception des art. 331 al. 5 et 331a à 331e CO, relatifs aux rapports juridiques avec l'institution de prévoyance (art. 342 al. 1 let. a CO). Aussi bien le statut de la fonction publique peut-il être librement organisé par les cantons (arrêts 2P.219/2006 du 23 novembre 2006 consid. 2.2; 1P.37/2000 du 17 mai 2000 consid. 2b). Ce statut, qui, pour être en général globalement plus favorable, peut comporter par rapport au code des obligations des contraintes plus sévères sur certains points (arrêts 2P.121/2005 du 19 juillet 2005 consid. 4.2; 2P.82/1994 du 19 août 1994 consid. 3d; 2P.336/1992 du 31 août 1993 consid. 3c). Les règles relatives au contrat de travail sont seulement applicables à titre subsidiaire, en cas de lacunes dans la réglementation ou si celle-ci le prévoit (OLIVIER SUBILIA/JEAN-LOUIS DUC, Droit du travail - Eléments de droit suisse, 2010, no 2 ad art. 342 CO; BRUNNER/BÜHLER/WAEBER/BRUCHEZ, Commentaire du contrat de travail, 3e éd. 2004, no 1 p. 323; WOLFGANG PORTMANN, Commentaire bâlois, 5e éd., no 1 ad art. 342 CO; ADRIAN STAEHLIN/FRANK VISCHER, Commentaire zurichois, 3e éd. 1996, n° 2 ad art. 342 CO). Le droit fédéral n'oblige donc pas les TPG à régler le salaire afférent aux vacances de la même manière que l'art. 329d CO. Pour que cette disposition soit applicable, il faudrait que le règlement présente une lacune qu'il conviendrait de combler en l'appliquant à titre de droit cantonal supplétif en vertu de la clause générale de renvoi au code des obligation. Par ailleurs, l'application du droit privé à titre de droit cantonal supplétif n'oblige en principe pas le juge administratif à interpréter les normes concernées comme elles le sont en droit privé; il peut tenir compte des spécificités du droit public (arrêt 2C_860/2008 du 20 novembre 2009 consid. 3.2).
6.2 Appelé à revoir l'application faite d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (ATF 136 I 316 consid. 2.2.2 p. 318 s.; 135 V 2 consid. 1.3 p. 4), ce qu'il appartient au recourant de démontrer en vertu de l'art. 106 al. 2 LTF (ATF 133 II 396 consid. 3.2 p. 400).
6.3 Les premiers juges considèrent tout d'abord que la prime en question est destinée à compenser les inconvénients effectifs, directs ou indirects, causés par l'horaire de travail. Ces désagréments n'étant pas subis pendant les vacances, la prime correspondante n'est pas octroyée par le Statut et le règlement. Cette argumentation ne saurait toutefois être décisive, du moment que le seul critère à considérer, selon la jurisprudence en droit privé, réside dans le caractère régulier et durable des suppléments versés. Les premiers juges ne prétendent pas à cet égard que des spécificités du droit public justifieraient ici une interprétation divergente de celle du droit privé.
6.4 Les premiers juges insistent également sur le fait que la question de la rémunération des vacances dans les professions impliquant un travail de nuit en fin de semaine et les jours fériés n'est pas récente. Elle était actuelle en 1999 déjà, lorsque le Statut a été négocié et adopté. L'absence de toute contestation des organisations syndicales pendant les dix premières années qui ont suivi démontre que la pratique aujourd'hui contestée correspondait à ce qui avait été convenu. Cette argumentation n'apparaît pas déterminante. Les TPG ne peuvent rien tirer de l'absence de réclamation du recourant, qui ne saurait être interprétée comme une renonciation à faire valoir ses droits éventuels (cf. ATF 132 III 172 p. 176 consid. 3.3; 126 III 337 consid. 7b p. 344).
6.5 Les premiers juges font enfin référence à l'art. 61 ch. 3 du règlement.
6.5.1 Cette disposition traite du droit aux vacances lors d'un engagement ou d'une démission en cours d'année. Elle prévoit que si les vacances n'ont pas pu être prises, elles sont payées. En cas de paiement, les jours sont convertis en heures. Un jour est équivalent à la durée moyenne du travail journalier de la rotation. Les fractions de jour sont prises en compte pour tous les calculs; elles ne sont donc ni arrondies, ni abandonnées. Les premiers juges en déduisent que les employés engagés ou démissionnaires en cours d'année, qui n'ont pas pu prendre leurs vacances, reçoivent une rémunération proportionnelle à leur droit aux vacances calculée sur le salaire de base, à l'exclusion des primes pour inconvénients (la rémunération tenant compte, en revanche, du temps de travail la nuit, le week-end et les fins de semaine ainsi que des majorations en temps de travail pour le travail de nuit). Les premiers juges retiennent que ce mode de rémunération est l'expression d'une règle plus générale et vaut donc non seulement dans l'hypothèse envisagée par l'art. 61 ch. 3 du règlement, mais également lorsque le salaire est versé pendant les vacances. Ils en concluent que le règlement exclut de façon explicite la prise en compte des primes dans le calcul du salaire afférent aux vacances, de sorte que l'art. 329d CO ne trouve pas application.
6.5.2 Le recourant ne conteste pas cette interprétation du règlement par les premiers juges, qui n'apparaît du reste pas d'emblée insoutenable. En l'absence de tout grief à ce propos, le Tribunal fédéral n'a aucune raison de s'en écarter. Partant, on peut tenir pour acquis que le règlement comme tel ne contient pas une lacune, qui justifierait, sur le point ici en discussion, l'application du code des obligations à titre de droit cantonal supplétif et de la jurisprudence y relative.
7. 7.1 Le recourant déclare encore que même si le caractère exhaustif du règlement était admis, la jurisprudence de l'ATF 132 III 172 s'imposait à l'intimée depuis décembre 2005.
7.2 Cet argument pose la question de la portée des règles minimales du CO dans le domaine du droit cantonal de la fonction publique au regard du principe de l'égalité de traitement. Le recourant peut certes s'appuyer sur l'avis de MOSIMANN qui considère que les règles minimales du CO doivent s'appliquer dans le droit de la fonction publique si elles sont plus favorables (HANS-JAKOB MOSIMANN, Arbeitsrechtliche Minimal Standards für die öffentliche Hand ?, ZBl 99/1998 p. 449 ss; plus spécialement p. 462 ss). Cette conception n'est toutefois pas unanimement partagée (d'un avis plus nuancé, MARTIN BERTSCHI, Auf der Suche nach dem einschlägigen Recht im öffentlichen Personalrecht, ZBl 105/2004 p. 617 ss, plus spécialement p. 628 ss; contra: LILIANE SUBILIA-ROUGE, La nouvelle LPers: quelques points de rencontre avec le droit privé du travail, RDAF 2003 I p. 289 ss, plus spécialement p. 297, qui estime nécessaire de considérer les avantages et désavantages respectifs de chaque système, lesquels s'équilibrent globalement, sans qu'il se justifie de procéder à une comparaison des systèmes point par point). Cependant, comme on l'a vu, le droit de la fonction publique peut comporter des contraintes plus sévères sur certains points (supra consid. 6.1; voir également l'arrêt 2P.107/2006 du 17 janvier 2007 consid. 5.2). Par ailleurs, le recourant ne prétend pas qu'un examen comparatif lui serait défavorable dans le cas concret.
7.3 Enfin, le recourant fait valoir qu'en vertu des dispositions de la LTPG, les TPG peuvent faire appel à des entreprises de sous-traitance qui, quant à elles, sont soumises, du point de vue du calcul du salaire afférent aux vacances, aux principes jurisprudentiels dégagés par l'ATF 132 III 172. Les salariés de ces entreprises seraient ainsi traités de manière différente que les employés des TPG ce qui constitue, aux yeux du recourant, une inégalité manifeste.
7.4 La problématique soulevée peut être laissée ouverte. Le recourant présente en effet ici une argumentation juridique nouvelle qui, faute d'avoir été soumise à la juridiction cantonale, ne repose sur aucune constatation de fait dans la décision attaquée. Le grief n'est dès lors pas recevable (cf. art. 99 al. 1 LTF; voir ATF 134 III 643 consid. 5.3.2 p. 651; arrêt 4A_28/2007 du 30 mai 2007 consid. 1.3, non publié in ATF 133 III 421).
8. De ce qui précède, il résulte que le recours constitutionnel subsidiaire est mal fondé.
Succombant, le recourant supportera les frais de justice (art. 66 al. 1 LTF). L'intimé n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est irrecevable.
2. Le recours constitutionnel subsidiaire est rejeté.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 13 janvier 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl