Faits: A. D'abord employé temporaire à X._ dès le 1er septembre 1999, G._, né en 1961, a été nommé au poste d'horticulteur dans le secteur Y._ le 1er juin 2000. Après une période d'essai de trois ans, le prénommé a été confirmé dans sa nomination à partir du 1er septembre 2002 pour une durée indéterminée. Le 1er avril 2004, il a été promu au poste de grainier à titre d'essai pour une année. Le 27 octobre 2004, le Conseil administratif de la Ville de Genève l'a informé de la modification de l'intitulé de sa fonction en sous-chef de culture avec effet au 1er juillet 2004. Son cahier des charges comprenait la gestion de la banque des graines (45 %) et de l'index Seminum (45 %), ainsi que diverses autres tâches (10 %). Au cours de l'année 2005, des dissensions sont apparues entre G._ et certains de ses collègues, ainsi que B._, chef de culture et supérieur hiérarchique du prénommé. Selon l'évaluation des prestations de G._ portant sur l'année 2005, le travail de celui-ci a été qualifié de bon dans l'ensemble. En revanche, l'intéressé ne répondait que partiellement aux attentes en ce qui concernait les contacts humains. Il respectait mal la voie hiérarchique et manquait de tact avec ses collègues. L'objectif fixé était d'améliorer la communication. Le 25 février 2006, G._ a subi une déchirure du ligament du genou à la suite d'un accident de ski, ce qui a entraîné des périodes d'incapacité de travail totale et partielle du 27 février au 30 septembre 2006. Le 15 mai 2006, un nouvel entretien a eu lieu. Il était noté un travail de qualité mais une aptitude à coopérer et à travailler en équipe qui ne portait pas à satisfaction. Le chef de service a émis un préavis défavorable en invitant G._ à s'améliorer dans les plus brefs délais. En juillet 2006, la direction a décidé de procéder à une réorganisation du service qui a eu pour effet de modifier en partie le cahier des charges de G._. Celui-ci a mal accepté ce changement, estimant que les limitations dues à ses problèmes de genou n'étaient pas suffisamment prises en considération, et ses relations au travail se sont encore tendues. Compte tenu de cette situation, la direction a décidé, au cours de l'automne 2006, de confier à G._ une mission de catalogage pour une durée de 24 mois et de le mettre sous la responsabilité directe de R._, jardinier-chef. En mai 2007, G._ s'est vu refuser une promotion, au motif que son nouveau cahier des charges ne justifiait pas une augmentation de traitement. Ce refus a été très mal pris par l'intéressé. Le 11 mai 2007, G._ a été examiné par la doctoresse D._, médecin du travail, pour un bilan médical. Une réunion avec la direction était prévue le 22 juin 2007 pour régler définitivement les aspects médicaux et relationnels liés à son activité à X._. Cette réunion n'a pas pu se dérouler car G._ a coupé court à la discussion le 21 juin. Le même jour, le directeur, L._, a prononcé un avertissement à l'encontre de l'intéressé, qui a contesté cette décision. A partir du 21 juin 2007, G._ a été en arrêt maladie à 100 % pour un trouble dépressif. En automne 2007, il a pris contact avec l'Office cantonal de l'inspection et des relations du travail du canton de Genève [OCIRT]. Il a par ailleurs accepté de se faire examiner par les psychiatres A._ et M._, médecins-conseil de la Ville de Genève. Dans une lettre du 8 avril 2008 adressée à G._, L._, a pris acte qu'une reprise du travail à 40 % était possible sous l'angle médical à partir du 21 avril suivant, et a convoqué l'intéressé pour en discuter les modalités. Le 21 avril 2008, faisant référence à un échange de messages électroniques entre l'OCIRT et S._, coordinateur à la direction des ressources humaines, L._ a informé G._ que les conditions d'une reprise de travail n'étaient pas réunies et qu'il était temporairement libéré de l'obligation de travailler «afin de permettre une saine instruction de [sa] demande [auprès de l'OCIRT]». Une séance entre deux représentants de l'OCIRT, le docteur A._ et la direction a eu lieu le 6 mai 2008 pour discuter du cas de G._. Dans une lettre du 13 mai 2008, adressée à N._, conseiller administratif au Département V._, G._ a exprimé son étonnement devant la position exprimée par L._ dans la lettre du 21 avril 2008 et a rappelé que le docteur M._ avait recommandé une reprise de travail dans des conditions acceptables. Il demandait également de consulter son dossier personnel en précisant qu'il avait été victime d'événements qu'il considérait comme des actes de mobbing. Il concluait sa lettre en indiquant qu'il était prêt à entrer en matière avec les ressources humaines pour tenter d'améliorer la situation. Il a réitéré sa demande le 10 juin 2008. Le 18 juin 2008, le conseil administratif a informé G._ qu'il envisageait de résilier son engagement. Le licenciement était motivé en substance par l'existence de graves problèmes relationnels persistants depuis 2005. L'intéressé s'est déterminé le 4 juillet 2008. A sa demande, il a également été auditionné le 16 juillet suivant par une délégation du conseil administratif. Par décision du 17 septembre 2008, le conseil administratif a confirmé sa décision de principe et a licencié l'intéressé avec un délai de congé de trois mois pour le 31 décembre 2008 en application de l'art. 97 du Statut du personnel de l'administration municipale. La décision était immédiatement exécutoire nonobstant recours éventuel. B. G._ a recouru devant le Tribunal administratif (à partir du 1er janvier 2011 : la chambre administrative de la Cour de Justice) du canton de Genève, en concluant à l'annulation de la décision du 17 septembre 2008 et à sa réintégration. Préalablement, il a présenté une requête de restitution de l'effet suspensif qui a été rejetée le 3 novembre 2008 par la présidente du tribunal administratif. Le tribunal cantonal a entendu les parties en audience de comparution personnelle le 15 décembre 2008. Il a tenu en outre cinq audiences d'enquêtes en présence des parties, au cours desquelles il a entendu plusieurs témoins (les 2 février, 18 et 20 mars, 24 avril, 4 mai et 7 septembre 2009). Il a rejeté le recours, par jugement du 1er juin 2010. C. G._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Sous suite de frais et dépens, il conclut à ce qu'il soit constaté qu'il continue à faire partie du personnel de la Ville de Genève après le 31 décembre 2008. Le conseil administratif a conclu au rejet du recours.