Faits:
A. D'abord employé temporaire à X._ dès le 1er septembre 1999, G._, né en 1961, a été nommé au poste d'horticulteur dans le secteur Y._ le 1er juin 2000. Après une période d'essai de trois ans, le prénommé a été confirmé dans sa nomination à partir du 1er septembre 2002 pour une durée indéterminée. Le 1er avril 2004, il a été promu au poste de grainier à titre d'essai pour une année. Le 27 octobre 2004, le Conseil administratif de la Ville de Genève l'a informé de la modification de l'intitulé de sa fonction en sous-chef de culture avec effet au 1er juillet 2004. Son cahier des charges comprenait la gestion de la banque des graines (45 %) et de l'index Seminum (45 %), ainsi que diverses autres tâches (10 %).
Au cours de l'année 2005, des dissensions sont apparues entre G._ et certains de ses collègues, ainsi que B._, chef de culture et supérieur hiérarchique du prénommé. Selon l'évaluation des prestations de G._ portant sur l'année 2005, le travail de celui-ci a été qualifié de bon dans l'ensemble. En revanche, l'intéressé ne répondait que partiellement aux attentes en ce qui concernait les contacts humains. Il respectait mal la voie hiérarchique et manquait de tact avec ses collègues. L'objectif fixé était d'améliorer la communication.
Le 25 février 2006, G._ a subi une déchirure du ligament du genou à la suite d'un accident de ski, ce qui a entraîné des périodes d'incapacité de travail totale et partielle du 27 février au 30 septembre 2006.
Le 15 mai 2006, un nouvel entretien a eu lieu. Il était noté un travail de qualité mais une aptitude à coopérer et à travailler en équipe qui ne portait pas à satisfaction. Le chef de service a émis un préavis défavorable en invitant G._ à s'améliorer dans les plus brefs délais.
En juillet 2006, la direction a décidé de procéder à une réorganisation du service qui a eu pour effet de modifier en partie le cahier des charges de G._. Celui-ci a mal accepté ce changement, estimant que les limitations dues à ses problèmes de genou n'étaient pas suffisamment prises en considération, et ses relations au travail se sont encore tendues. Compte tenu de cette situation, la direction a décidé, au cours de l'automne 2006, de confier à G._ une mission de catalogage pour une durée de 24 mois et de le mettre sous la responsabilité directe de R._, jardinier-chef.
En mai 2007, G._ s'est vu refuser une promotion, au motif que son nouveau cahier des charges ne justifiait pas une augmentation de traitement. Ce refus a été très mal pris par l'intéressé. Le 11 mai 2007, G._ a été examiné par la doctoresse D._, médecin du travail, pour un bilan médical. Une réunion avec la direction était prévue le 22 juin 2007 pour régler définitivement les aspects médicaux et relationnels liés à son activité à X._. Cette réunion n'a pas pu se dérouler car G._ a coupé court à la discussion le 21 juin. Le même jour, le directeur, L._, a prononcé un avertissement à l'encontre de l'intéressé, qui a contesté cette décision.
A partir du 21 juin 2007, G._ a été en arrêt maladie à 100 % pour un trouble dépressif. En automne 2007, il a pris contact avec l'Office cantonal de l'inspection et des relations du travail du canton de Genève [OCIRT]. Il a par ailleurs accepté de se faire examiner par les psychiatres A._ et M._, médecins-conseil de la Ville de Genève.
Dans une lettre du 8 avril 2008 adressée à G._, L._, a pris acte qu'une reprise du travail à 40 % était possible sous l'angle médical à partir du 21 avril suivant, et a convoqué l'intéressé pour en discuter les modalités.
Le 21 avril 2008, faisant référence à un échange de messages électroniques entre l'OCIRT et S._, coordinateur à la direction des ressources humaines, L._ a informé G._ que les conditions d'une reprise de travail n'étaient pas réunies et qu'il était temporairement libéré de l'obligation de travailler «afin de permettre une saine instruction de [sa] demande [auprès de l'OCIRT]».
Une séance entre deux représentants de l'OCIRT, le docteur A._ et la direction a eu lieu le 6 mai 2008 pour discuter du cas de G._.
Dans une lettre du 13 mai 2008, adressée à N._, conseiller administratif au Département V._, G._ a exprimé son étonnement devant la position exprimée par L._ dans la lettre du 21 avril 2008 et a rappelé que le docteur M._ avait recommandé une reprise de travail dans des conditions acceptables. Il demandait également de consulter son dossier personnel en précisant qu'il avait été victime d'événements qu'il considérait comme des actes de mobbing. Il concluait sa lettre en indiquant qu'il était prêt à entrer en matière avec les ressources humaines pour tenter d'améliorer la situation. Il a réitéré sa demande le 10 juin 2008.
Le 18 juin 2008, le conseil administratif a informé G._ qu'il envisageait de résilier son engagement. Le licenciement était motivé en substance par l'existence de graves problèmes relationnels persistants depuis 2005. L'intéressé s'est déterminé le 4 juillet 2008. A sa demande, il a également été auditionné le 16 juillet suivant par une délégation du conseil administratif.
Par décision du 17 septembre 2008, le conseil administratif a confirmé sa décision de principe et a licencié l'intéressé avec un délai de congé de trois mois pour le 31 décembre 2008 en application de l'art. 97 du Statut du personnel de l'administration municipale. La décision était immédiatement exécutoire nonobstant recours éventuel.
B. G._ a recouru devant le Tribunal administratif (à partir du 1er janvier 2011 : la chambre administrative de la Cour de Justice) du canton de Genève, en concluant à l'annulation de la décision du 17 septembre 2008 et à sa réintégration. Préalablement, il a présenté une requête de restitution de l'effet suspensif qui a été rejetée le 3 novembre 2008 par la présidente du tribunal administratif.
Le tribunal cantonal a entendu les parties en audience de comparution personnelle le 15 décembre 2008. Il a tenu en outre cinq audiences d'enquêtes en présence des parties, au cours desquelles il a entendu plusieurs témoins (les 2 février, 18 et 20 mars, 24 avril, 4 mai et 7 septembre 2009). Il a rejeté le recours, par jugement du 1er juin 2010.
C. G._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Sous suite de frais et dépens, il conclut à ce qu'il soit constaté qu'il continue à faire partie du personnel de la Ville de Genève après le 31 décembre 2008.
Le conseil administratif a conclu au rejet du recours.

Considérant en droit:
1. 1.1 La décision attaquée a été rendue en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Le recourant ne conclut pas au versement d'une somme d'argent, mais demande l'annulation de la décision résiliant ses rapports de service. Dans cette mesure, on peut considérer qu'il s'agit d'une contestation pécuniaire, et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir les arrêts 8C_541/2010 du 20 juin 2011 consid. 1.1, 8C_170/2009 du 25 août 2009 consid. 1.1 et 1C_547/2008 du 23 février 2009 consid. 2.1).
1.2 Vu que la contestation porte potentiellement sur le salaire de plusieurs mois, voire de plusieurs années, le seuil de la valeur litigieuse déterminante est largement dépassé (cf. art. 51 al. 2 et 85 al. 1 let. b LTF).
1.3 Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. La décision de licenciement litigieuse se fonde sur l'art. 97 [résiliation de l'engagement] du statut du personnel de l'administration municipale de la Ville de Genève du 3 juin 1986 (ci-après : le statut).
Selon les alinéas 1 et 2 de cette disposition, le Conseil administratif peut, pour des motifs graves, licencier un fonctionnaire, moyennant un délai de licenciement de 3 mois pour la fin d'un mois. Par motifs graves, il faut entendre toutes circonstances qui, d'après les règles de la bonne foi, font admettre que le Conseil administratif ne peut plus maintenir les rapports de service. Sont notamment considérés comme des motifs graves : la perte de l'exercice des droits civils; l'incapacité professionnelle dûment constatée; l'inaptitude, dûment constatée, à observer les devoirs généraux de la fonction.
3. Le tribunal administratif a d'abord examiné si le conseil administratif était en droit d'invoquer le comportement adopté par G._ depuis 2005 pour justifier le renvoi. Il y a répondu par l'affirmative. Il a ensuite examiné si les problèmes relationnels reprochés pouvaient constituer des motifs graves de nature à rompre les rapports de confiance au sens de l'art. 97 du statut. En se fondant sur divers témoignages (O._, F._, P._, B._, R._ et L._), il a retenu qu'à partir du moment où il avait été nommé à la fonction de grainier, G._ avait fait preuve d'un comportement désobligeant à l'endroit de ses collègues, rendant le travail en équipe extrêmement difficile - réflexions inappropriées; propos blessants; tendance à donner des ordres à tout le monde, à s'arroger des tâches qui ne lui sont pas dévolues ou à s'ingérer dans le travail des autres; irrespect avec sa hiérarchie. Le tribunal cantonal a également fait sienne l'opinion de l'intimé qu'une reprise du travail à partir du 21 avril 2008 ne pouvait plus se faire dans des conditions normales. En effet, aux problèmes relationnels, venait s'ajouter l'attitude procédurière et chicanière de l'intéressé envers son employeur comme le montrait le contenu de sa lettre du 13 mai 2008 à un moment où la direction s'était montrée conciliante dans le cadre de la reprise du travail. Enfin, les certificats médicaux versés au dossier attestaient de troubles de la personnalité, ce qui pouvait expliquer les conflits relationnels provoqués par G._ depuis 2005. L'autorité cantonale a jugé que l'ensemble de ces faits était de nature à entraîner la rupture du lien de confiance avec l'employeur au sens de l'art. 97 du statut, de sorte que la décision de résiliation du 17 septembre 2008 échappait au grief de l'arbitraire malgré les qualités professionnelles et les connaissances techniques reconnues du prénommé.
4. 4.1 Le recourant reproche en premier lieu à l'autorité cantonale d'avoir limité de manière inadmissible son pouvoir d'examen. En effet, dans ses considérants en droit, elle avait déclaré faire preuve de retenue en ce qui concernait la façon dont l'administration communale exerçait ses prérogatives en matière de gestion du personnel (consid. 4d); elle s'était référé à la jurisprudence sur la notion d'arbitraire (consid. 4e); enfin, elle avait conclu son analyse en jugeant que la décision de licenciement litigieuse n'était pas arbitraire (consid. 8 in fine). Cette manière de faire contrevenait à l'art. 61 al. 1 de la loi cantonale genevoise sur la procédure administrative (LPA; RSG E 5 10), qui garantissait un examen libre en fait et en droit par l'autorité judiciaire, ainsi qu'aux art. 29a Cst. et 6 par. 1 CEDH.
4.2 Avant d'établir les faits à la base du jugement attaqué, les juges cantonaux ont procédé à une instruction approfondie en entendant plusieurs témoins (19 en tout). En outre, bien qu'ils aient fait référence à la notion d'arbitraire, on peut déduire sans équivoque de leurs considérants qu'ils ont examiné librement si les manquements reprochés au recourant pouvaient constituer des motifs graves au sens de l'art. 97 du statut. Le grief est mal fondé.
5. 5.1 Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3 p. 466). Autrement dit, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid de 1.4.2 p. 254 et les références).
5.2 Sur le fond, le recourant se plaint d'arbitraire.
5.2.1 Il fait valoir que les problèmes relationnels qu'il a connus avec ses collègues et ses supérieurs avant son arrêt maladie à la fin juin 2007 ne sauraient servir de justification à la résiliation de ses rapports de service prononcée en septembre 2008. Comme cela ressortait du déroulement des faits, l'intimé n'avait pas décidé de le licencier à raison de ces problèmes, mais avait prononcé, le 21 juin 2007, un avertissement. Son comportement ayant déjà été sanctionné, l'employeur ne pouvait donc de bonne foi s'en prévaloir pour fonder un licenciement ultérieur, alors qu'il n'avait plus retravaillé depuis. Les audiences d'enquêtes avaient d'ailleurs démontré que l'intimé n'avait pas envisagé son licenciement à l'échéance, en janvier 2008, du délai de protection contre les congés en cas de maladie (180 jours dans son cas).
5.2.2 On relèvera tout d'abord que le recourant ne remet pas en cause les constatations faites par le tribunal cantonal sur les problèmes posés par son comportement jusqu'au 21 juin 2007 - date de son arrêt maladie -, ni ne prétend que les reproches retenus contre lui seraient injustifiés. Cela étant, le tribunal cantonal n'a pas confirmé le renvoi sur les seuls événements antérieurs à cet arrêt maladie et on ne discerne pas quelle règle ou principe il aurait violé en en tenant compte dans son appréciation globale de la situation telle qu'elle s'est présentée depuis la nomination de l'intéressé à la fonction de grainier jusqu'au moment où a été prise la décision litigieuse. Quoi que semble penser le recourant, l'avertissement prononcé le 21 juin 2007 - qui, au demeurant, sanctionnait uniquement son refus d'assister à la réunion prévue le 22 juin 2007 - ainsi que la décision de l'intimé de ne pas le licencier dès le début du mois de janvier 2008 ne signifient pas encore que les manquements relevés dans son comportement n'étaient pas susceptibles d'entamer le rapport de confiance avec son employeur. Au contraire, il convient de reconnaître qu'à partir de là, l'intimé, qui avait invité à plusieurs reprises le recourant à modifier son comportement et entrepris des discussions pour aplanir les conflits en résultant, était fondé à attendre de lui qu'il reconnaisse ses torts et montre sa disposition à effectuer un changement notable dans son attitude au travail.
5.2.3 Le recourant soutient ensuite qu'on ne peut rien lui reprocher après le 21 avril 2008, date à laquelle il était censé reprendre son travail. Il fait grief à la juridiction cantonale d'avoir arbitrairement retenu que ses problèmes relationnels demeuraient entiers et qu'il n'était pas disposé à reprendre le travail dans un état d'esprit constructif. Il était particulièrement choquant de la part de l'intimé de lui reprocher d'avoir sollicité l'intervention des services de l'OCIRT dès lors que cet office avait pour but d'aider les employés dans leurs problèmes liés au travail ou de lui imputer la référence à la LAVI que le docteur M._ avait faite dans son rapport du 17 mars 2008. Cela s'apparentait à un licenciement abusif au sens de l'art. 336 al. 1 let. d CO.
5.2.4 Ce n'est pas la prise de contact du recourant avec l'OCIRT ou le contenu du rapport du docteur M._ en tant que tels, qui ont conduit l'intimé, respectivement le tribunal, à juger que sa disposition d'esprit n'était pas compatible avec une reprise normale du travail, mais le fait qu'il a élevé des accusations de mobbing contre son employeur. Cela ressort aussi bien du témoignage de J._, à l'époque inspecteur du travail à l'OCIRT, que des lettres que le recourant a adressées à l'intimé les 13 mai et 10 juin 2008, dans lesquelles il a clairement laissé entendre qu'il se considérait comme une victime d'actes de mobbing et qu'il avait l'intention de constituer un dossier à ce sujet. Or, ces accusations n'apparaissent pas vraisemblables au regard des déclarations de l'ensemble des témoins interrogés en procédure cantonale. On peut encore ajouter que selon le témoin K._, co-directeur du Département V._, qui s'était entretenu avec l'intéressé les 10 et 17 juin 2008 avant qu'une décision définitive ne soit prise, G._ n'avait jamais admis devoir faire un effort et n'estimait pas avoir à tirer des leçons des événements passés, raison pour laquelle il avait conclu qu'une réintégration dans l'équipe existante n'était désormais plus possible. Dans ces conditions, il n'y a rien d'insoutenable à considérer qu'au moment où le recourant avait recouvré une certaine capacité de travail, il n'était pas prêt à se remettre en question - alors qu'il portait une grande part de responsabilité dans la dégradation des rapports de travail - ni à tourner la page, et que l'intimé serait donc continuellement confronté à une situation conflictuelle au sein de son service.
5.2.5 Au vu de tous les éléments qui précèdent, et sans qu'il soit nécessaire d'examiner plus avant les conclusions tirées des appréciations médicales concernant G._, la juridiction cantonale pouvait, sans arbitraire, retenir l'existence de motifs graves de licenciement au sens de l'art. 97 du statut, les rapports de confiance entre le prénommé et son employeur s'étant définitivement rompus en juin 2008.
6. Le recourant, qui succombe, supportera les frais de justice (<ref-law>). Bien qu'obtenant gain de cause, la partie intimée n'a pas droit à des dépens (arrêt 8C_151/2010 du 31 août 2010 consid. 6).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 17 août 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl