Faits: A. A.a Le 20 juillet 1995, après une période probatoire de trois ans, D._ a été confirmé dans sa fonction d'ouvrier cantonnier au service de la maintenance par la commune de X._ (ci-après: la commune). Il était affecté à la conduite du camion de voirie pour la levée des déchets et travaillait sous la responsabilité de C._, chef de service, et de M._, chef de section. A.b A partir de 1999, D._ s'est vu reprocher divers manquements dans l'exécution de son travail. Le 31 août 1999, un blâme a été prononcé contre lui, notamment pour ne pas avoir respecté le 24 août précédent les instructions sur la planification des jours de levée et le tri des déchets. En janvier 2000, à la suite d'incidents de la circulation, il a été rendu attentif à ses obligations en matière de sécurité dans la conduite du camion de voirie. Le 11 juillet 2002, il a été rappelé à l'ordre sur sa responsabilité quant à l'exécution complète de la levée des déchets avec son camion. Par décision du 3 décembre 2002, il a été sanctionné par une mise à pied d'un jour avec suppression de traitement en raison d'une attitude générale irrespectueuse, de l'inexécution des instructions et d'un abandon de poste de travail le 17 octobre 2002. A.c En raison de nouveaux oublis de ramassage des ordures signalés par les usagers et à la demande du chef de service, le conseil administratif de la commune a décidé, en décembre 2003, d'ouvrir une enquête administrative à l'encontre de D._. Le prénommé a reconnu certains faits tout en relevant qu'on le rendait responsable de l'équipe à l'arrière de son camion - souvent peu motivée - alors qu'il n'avait pas la fonction de chef d'équipe. Après avoir entendu plusieurs témoins, le conseiller administratif délégué l'a sanctionné le 29 juillet 2004 par une mise à pied de 5 jours avec suppression de traitement pour manquement et non respect des intérêts de la commune. D._ était enjoint de corriger son comportement inapproprié. A.d Par lettre du 11 novembre 2004, le secrétaire général de la commune a avisé D._ de l'ouverture d'une deuxième enquête administrative en raison de nouveaux dysfonctionnements constatés depuis la première procédure (relatifs à la conduite et l'entretien du camion ainsi qu'à la levée des déchets organiques). Cette enquête a abouti à une mise à pied de 5 jours avec suppression de traitement pour manquement dans les devoirs de la fonction, attitude préjudiciable dans les relations avec les collègues et supérieurs, et non respect des intérêts de la commune, ainsi qu'à un transfert du prénommé dès le 14 juin 2005 de la place de chauffeur à la levée des ordures à l'équipe de nettoiement, sous la responsabilité de S._ (décision du 3 juin 2005). A.e A la fin de l'année 2006, en raison de nouveaux problèmes de comportement, il a été décidé de déplacer une nouvelle fois D._. Ce dernier a été affecté au balayage mécanique dans le secteur de Y._, activité dans laquelle il pouvait planifier son travail de manière autonome à l'intérieur d'un horaire fixe. A.f Au cours de l'année 2007, plusieurs contrôles de présence ont été effectués dans ce secteur. Dans une note du 2 août 2007 qu'il a adressée au département des ressources humaines, C._ a relevé que l'intéressé n'avait pas respecté son horaire de travail les 30 mars, 5 avril et 25 juillet 2007. Peu de temps avant, le 5 avril 2007, D._ a eu une entrevue avec G._ et E._, gestionnaires au département des ressources humaines. Le 15 août 2007, il a également été reçu, à sa demande, par le maire de la commune, V._. A cette occasion, il s'est plaint de faire l'objet de mobbing de la part de son chef de service. Il n'a toutefois pas déposé de plainte. A.g Le 28 novembre 2007, le conseil administratif de la commune a informé D._ qu'il envisageait de mettre un terme à son engagement. Outre les nombreux manquements à ses devoirs professionnels depuis 1999, le licenciement était motivé par le fait que des contrôles avaient révélé un non respect de l'horaire de travail fixé (absences injustifiées, départs prématurés). Dès le 13 décembre suivant, le prénommé a été mis en arrêt maladie et n'a plus repris son travail. Le 28 mars 2008, il s'est déterminé sur le projet de licenciement. Le 15 avril 2008, il a été auditionné, à sa requête, par une délégation du conseil administratif. A.h Par décision du 18 juin 2008, le conseil administratif a confirmé sa décision de principe et licencié l'intéressé avec un délai de congé de trois mois pour le 30 septembre 2008, en application de l'art. 100 du Statut du personnel de la commune de X._ (ci-après : le statut). La décision était immédiatement exécutoire nonobstant recours éventuel. B. Le 18 juillet 2008, D._ a recouru devant le Tribunal administratif (à partir du 1er janvier 2011: la chambre administrative de la Cour de Justice) du canton de Genève contre la décision du 18 juin 2008, en concluant à ce que le tribunal constate la nullité de son licenciement, subsidiairement à ce qu'il constate que celui-ci est contraire au droit. Il a également saisi le tribunal administratif d'une action pécuniaire contre la commune de X._ à laquelle il réclamait le versement de 36'722 fr. 10 avec intérêt à 5 % dès le 1er octobre 2008 à titre de dommages-intérêts pour cause de licenciement injustifié. En cours de procédure, D._ a retiré sa conclusion tendant à la constatation de la nullité de son licenciement. Le tribunal administratif a tenu trois audiences de comparution personnelle et d'enquêtes au cours desquelles il a entendu de nombreux témoins dont les supérieurs hiérarchiques du prénommé et plusieurs collaborateurs, ainsi que les deux gestionnaires du département des ressources humaines. Par jugement du 31 août 2010, il a déclaré le recours et l'action pécuniaire, en tant qu'elle portait sur une indemnité pour tort moral, irrecevables. En revanche, il a déclaré l'action pécuniaire recevable en tant qu'elle portait sur le paiement de dommages-intérêts pour cause de licenciement injustifié et l'a rejetée. Sur le fond, les juges cantonaux ont retenu, en s'appuyant sur les témoignages recueillis, que malgré les sanctions prononcées contre lui entre 1999 et 2005, D._ avait persisté dans une attitude réfractaire aux devoirs de sa charge et aux consignes données par sa hiérarchie, et s'était trouvé dans un établissement public à ses heures de travail, de sorte que l'employeur était fondé à résilier son engagement. C. D._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut, principalement, à ce que la commune de X._ soit condamnée à lui payer le montant de 36'722 fr. 10 avec intérêts moratoires de 5 % l'an dès le 1er octobre 2008 à titre de dommages-intérêts pour cause de licenciement injustifié; subsidiairement, à ce que la cause soit renvoyée à la juridiction cantonale pour nouvelle décision dans le sens des considérants. Dans sa réponse, la commune de X._ conclut à l'irrecevabilité du recours et, sinon, à son rejet.