Faits:
A. A._ travaillait en qualité d'agent de la police municipale de la Ville de X._. Le 22 juin 2010 vers 20 heures, le prénommé a apposé une dizaine d'amendes d'ordre (ci-après: AO) sur des véhicules stationnés dans le préau de l'école Y._. Quelques jours plus tard, A._ a appris que ces AO avaient été annulées par le chef de la police municipale, B._, avec la mention "VF (vice de forme) courrier du 21 avril 2009 - Musique de X._". Des faits similaires s'étaient produits en 2008, lorsque B._ avait annulé des AO infligées par d'autres agents municipaux. Constatant que rien n'avait changé, A._ a sollicité un entretien avec C._, conseiller administratif en charge de la police municipale de la Ville de X._. Celui-ci a eu lieu le 16 août 2010. A cette occasion, A._ s'est plaint de dysfonctionnements au sein de la police municipale et a formulé divers reproches à l'encontre de B._. Il a par ailleurs exigé du conseiller administratif que B._ soit destitué avant le 31 août 2010, à défaut de quoi il adresserait une dénonciation au Procureur général.
Le 20 janvier 2011, A._ a dénoncé B._ au Procureur général pour abus d'autorité.
En raison de cette dénonciation, le conseil administratif a décidé d'ouvrir, le 4 juillet 2011, une enquête administrative à l'encontre de A._, qu'il a confiée à D._, secrétaire générale de la commune, assistée de Me E._, en qualité de conseil.
Par ordonnance définitive et exécutoire du 10 novembre 2011, le Procureur général a décidé de ne pas entrer en matière sur la dénonciation pour abus d'autorité déposée par A._ à l'encontre de B._, faute de prévention de cette infraction.
Le 22 novembre 2011, les enquêteurs ont remis leur rapport après avoir entendu A._.
Par décision du 29 novembre 2011, le Conseil administratif, suivant les conclusions de l'enquête, a résilié les rapports de service de A._, moyennant le respect du délai statutaire de trois mois pour la fin d'un mois, cette décision étant exécutoire nonobstant recours.
B. A._ a recouru contre cette décision devant la Chambre administrative de la Cour de justice du canton de Genève en concluant principalement à son annulation et au maintien de ses rapports de service. Subsidiairement, la résiliation des rapports de service devait être considérée comme abusive et la Ville de X._ être condamnée à lui verser un montant de 23'814 fr., correspondant à trois mois de salaire.
Par jugement du 12 juin 2012, la juridiction cantonale a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à titre principal à ce que ses rapports de service soient maintenus, subsidiairement à ce que la Ville de X._ soit condamnée à lui verser la somme de 23'814 fr., le tout sous suite de dépens.
Il n'a pas été procédé à un échange d'écritures.

Considérant en droit:
1. Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où la contestation porte sur l'annulation d'une décision de résiliation des rapports de travail, il s'agit d'une contestation de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1 et 8C_170/2009 du 25 août 2009 consid. 1.1). La valeur litigieuse atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation des faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire, ce qui lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 1.4.3 p. 254 s.).
Par ailleurs, sauf dans les cas prévus par l'art. 95 let. c à e LTF, qui n'entrent pas en considération en l'espèce, le Tribunal fédéral n'examine la mauvaise application du droit cantonal que si elle constitue une violation du droit fédéral (cf. <ref-law>) parce qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 1.3 p. 4; <ref-ruling> consid. 2.3 p. 466; <ref-ruling> consid. 1.2.1 p. 251).
3. Sous le chapitre "Devoirs et obligations du fonctionnaire" et le titre marginal "Exercice de la fonction", l'art. 3.1 du Statut du personnel de l'Administration municipale de la Ville de X._ prévoit que le fonctionnaire est tenu au respect des intérêts de la Ville de X._ et doit s'abstenir de tout ce qui peut lui porter préjudice. Le fonctionnaire doit se conformer aux instructions de ses supérieurs et les exécuter avec conscience et discernement. Il doit, par son attitude, entretenir des relations dignes et correctes avec ses supérieurs, ses collègues et ses subordonnés, ainsi qu'avec le public. De plus, il doit remplir ses obligations conformément au descriptif de sa fonction et dans le respect des règlements de l'administration et des ordres de service. (...).
Sous le chapitre "Cessation des fonctions" et le titre marginal "Résiliation des rapports de service", l'art. 6.3 al. 1 du Statut prévoit que le Conseil administratif peut résilier les rapports de service de tout fonctionnaire dont le comportement, l'inaptitude ou l'incapacité justifient le renvoi. Le délai de congé est de trois mois pour la fin d'un mois.
4. En l'occurrence, il ressort du jugement cantonal que non seulement B._ était habilité à annuler les AO infligées par le recourant mais que celles-ci étaient injustifiées, les membres de la Musique de X._ ayant été autorisés à stationner dans la soirée du 22 juin 2010 dans le préau de l'école de Y._. A._ ne pouvait ignorer cet état de fait puisqu'il avait participé à un transport sur place en novembre 2009 avec C._, qu'il avait établi un rapport concernant la problématique du stationnement dans le préau de l'école de Y._ et que les panneaux comportant la mention "ayant droit exceptés" étaient explicites et nullement illicites, contrairement à ce que prétendait le recourant. Celui-ci avait en outre admis qu'il savait que le concierge de l'école avait remis des clés de la barrière du préau, sans pour autant se préoccuper de savoir quelles personnes en disposaient. Or, en dépit de tous ces éléments, A._ n'avait pas modifié son attitude, considérant même avoir agi de bonne foi en dénonçant B._ au Procureur général. En se posant en justicier et en gardien de l'ordre, le recourant avait erré et porté une accusation grave et infondée à l'encontre de son supérieur hiérarchique, dès lors que l'accusation d'abus d'autorité suppose que l'auteur ait agi "dans le dessin de se procurer ou de procurer à un tiers un avantage illicite" ou encore "dans le dessein de nuire à autrui en abusant des pouvoirs de sa charge", ce qui n'était nullement le cas en l'espèce. En portant des accusations gratuites contre B._, en menaçant de le dénoncer pénalement s'il n'était pas destitué et en le dénonçant effectivement, le recourant avait contrevenu à l'art. 3.1 du Statut du personnel, de sorte que le Conseil administratif était fondé à considérer que les liens de confiance étaient rompus et que la poursuite de toute collaboration était par conséquent impossible. A._ ayant déjà fait par le passé l'objet d'un avertissement, aucune autre issue qu'une résiliation des rapports de service ne pouvait être envisagée, le statut ne prévoyant que deux sanctions disciplinaires, à savoir l'avertissement et le blâme.
5. Le recourant reproche à la juridiction cantonale d'avoir établi les faits de manière arbitraire en constatant, d'une part, qu'il était au courant de l'autorisation de stationner en faveur des membres de la Musique de X._ et, d'autre part, que B._ était habilité à annuler les AO apposées par ses soins le 22 juin 2010.
Il ressort du rapport d'enquête administrative, sur lequel se sont fondés les premiers juges, que le stationnement des véhicules des membres de la Musique de X._ dans le préau de l'école de Y._ avait été autorisé par le Conseil administratif par lettre du 29 septembre 1978 et que cette autorisation avait été renouvelée par lettre du 21 avril 2009. Le 24 novembre 2009, le conseiller administratif Lance s'était rendu à l'école de Y._ avec le recourant pour examiner les problèmes de stationnement rencontrés par les utilisateurs. Compte tenu de ces éléments, il n'était pas arbitraire pour les enquêteurs d'en conclure que A._ ne pouvait ignorer que les membres de la Musique de X._ étaient autorisés à stationner dans le préau de l'école de Y._. Par ailleurs, il n'était pas non plus arbitraire de retenir que B._ était habilité à annuler les AO apposées par A._ le 22 juin 2010 dès lors qu'il ressort de l'ordonnance de non-entrée en matière du Ministère public du 10 novembre 2011, qu'aucun élément ne permettait de remettre en cause le fait que B._ avait la compétence, avant transmission au Service des contraventions, de prononcer l'annulation d'une AO infligée par l'un des policiers municipaux placé sous ses ordres et qu'en annulant ces amendes, B._ avait respecté les directives du Procureur général.
6. Quant au grief d'arbitraire soulevé par le recourant dans l'application des art. 3.1 et 6.3 du Statut du personnel de la Ville de X._, il n'est pas davantage fondé. En effet, il résulte des constatations de fait contenues dans le jugement attaqué que le recourant a porté une accusation grave et infondée à l'encontre de son supérieur hiérarchique, qu'il a menacé de le dénoncer pénalement s'il n'était pas destitué et qu'il l'a effectivement dénoncé au Procureur général, mettant ainsi ses menaces à exécution, en dépit des injonctions du Conseil administratif de se conformer aux dispositions prévues à l'art. 3.1 du Statut du personnel. Dans ces circonstances, la juridiction cantonale pouvait retenir, sans arbitraire, que le rapport de confiance indispensable à l'exercice de la fonction était définitivement rompu à l'égard du recourant. En insistant sur le fait qu'il considérait de bonne foi que son supérieur hiérarchique avait commis un abus de droit, le recourant ne fait que remettre en question les constatations du jugement attaqué, lesquels lient le Tribunal fédéral, mais ne démontre nullement en quoi la juridiction cantonale aurait appliqué de manière arbitraire les dispositions du Statut du personnel.
7. Il résulte de ce qui précède que le recours, manifestement infondé, doit être rejeté, selon la procédure simplifiée de l'<ref-law>).
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 25 septembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin