Faits:
A. A.a T._, né en 1969, est au bénéfice d'un CFC d'installateur sanitaire et d'un brevet fédéral de monteur en réseaux. Il a travaillé depuis 1993 au service de la Ville de X._ et, dès 1996 auprès de la division Y._ de la société Z._. En 2005, il a été nommé à un poste de contremaître dans cette division. En tant que fonctionnaire de la commune de X._, T._ était soumis au Règlement général pour le personnel de l'administration communale (ci-après: RGPAC), adopté par le conseil municipal de la Ville en séance des 27 novembre 1980 et 17 décembre 1987.
En 2007 et au début de l'année 2008, T._, confronté à d'importants problèmes personnels, a fait plusieurs tentatives de suicide. Dans le courant du mois de février 2008, il a été mis en arrêt de travail jusqu'au 30 mars suivant.
Le 24 mars 2008, alors que tous ses collègues étaient en congé pascal, T._, sous l'emprise de l'alcool et de médicaments, tenta de mettre fin à ses jours sur son lieu de travail. Il détourna une conduite de gaz dans son bureau tout en obstruant hermétiquement la porte et les fenêtres. Une violente explosion se produisit dans les locaux de la société Z._ lorsque, selon toute vraisemblance, l'intéressé alluma une cigarette dans son bureau, à un moment où la concentration de gaz dans le local était devenue très importante. Grièvement brûlé, T._ fut sauvé par l'intervention des pompiers et héliporté à l'Hôpital V._ le même jour.
Au cours d'une séance du 23 avril 2008, le conseil municipal de X._ a décidé d'ordonner l'ouverture d'une enquête administrative à l'encontre de T._ et de suspendre le 30 % de son salaire dès le 1er mai 2008. Le conseil municipal a en outre retiré l'effet suspensif à un éventuel recours contre cette décision. Le 29 avril 2008, T._ a recouru contre cette décision devant le Conseil d'Etat. Il alléguait se trouver dans une situation personnelle très difficile au moment des faits reprochés, estimait que sa responsabilité personnelle n'était pas entière et requérait la mise en oeuvre d'une expertise. Il demandait la restitution de l'effet suspensif concernant la réduction de son salaire, compte tenu de son obligation d'entretien envers sa famille.
Dans le cadre de l'enquête administrative, T._ a été entendu, le 26 août 2008, par une commission paritaire. Il était assisté de son conseil, Me Fanti. A cette occasion, il a rappelé les événements du 24 mars 2008, indiqué les regretter profondément et a expliqué que le travail de psychanalyse mené durant son hospitalisation avait nettement amélioré son état de santé. Il a ajouté que les rapports qu'il entretenait avec son épouse, dont il était séparé depuis 2007, et avec ses trois enfants étaient désormais bien meilleurs que par le passé. L'intéressé a déposé un certificat médical, daté du 18 août 2008, attestant qu'il était en mesure de reprendre un travail de bureau dès le 27 août suivant. Le 4 septembre 2008, T._, à qui le procès-verbal de l'audition du 26 août 2008 avait été transmis, a fait part de ses remarques. Il a notamment relevé la nécessité d'ordonner une expertise psychiatrique afin de déterminer sa capacité de discernement au moment de l'explosion et a rappelé être disposé à reprendre un travail de bureau.
Lors de sa séance du 25 septembre 2008, le Conseil municipal de la Ville de X._ a prononcé la destitution de T._, avec un délai de congé de 6 mois pour la fin d'un mois, conformément à l'art. 58 ch. 1 let. e RGPAC. Selon cette autorité, le comportement fautif de l'intéressé et la gravité des événements survenus le 24 mars 2008 avaient rompu le lien de confiance qui liait ce dernier à son employeur.
A.b T._ a recouru contre cette décision auprès du Conseil d'Etat le 27 octobre 2008. Il reprochait principalement au conseil municipal la violation du principe de l'instruction d'office, dès lors qu'il avait statué sans avoir préalablement apprécié, au moyen d'une expertise psychiatrique, sa capacité de discernement au moment des faits litigieux. Or, selon T._, il s'agissait là d'un élément crucial, puisque de celui-ci dépendaient son degré de culpabilité et, partant, la validité de la mesure disciplinaire prise à son encontre.
Le Service des affaires intérieures et communales (ci-après: le SAIC), organe d'instruction du recours, a suspendu la procédure le 5 mars 2009, dans l'attente d'une expertise psychiatrique mise en oeuvre dans le cadre de l'instruction pénale ouverte à l'encontre de T._. Le 28 avril 2009, la SAIC a informé les parties que Me Fanti lui avait fait parvenir une copie de l'expertise psychiatrique (du 10 avril 2009) versée au dossier pénal et qu'un délai de 15 jours leur était accordé pour présenter des observations avant la clôture de l'instruction. Plusieurs échanges d'écritures ont eu lieu entre les parties.
Par décision du 3 mars 2010, le Conseil d'Etat a rejeté le recours. Au vu des expertises psychiatriques se trouvant au dossier, l'autorité a retenu que la capacité de discernement de T._ au moment des faits était sérieusement affaiblie, de sorte qu'il ne pouvait pas mesurer toutes les conséquences potentielles de ses actes sur des tiers. Dans ces conditions, il ne pouvait lui être reproché une faute grave justifiant l'application du droit disciplinaire. Le Conseil d'Etat a cependant confirmé la décision de l'exécutif communal, dans la mesure où celle-ci respectait toutes les conditions d'un licenciement pour justes motifs, au sens des art. 11 et 12 RGPAC.
B. T._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal valaisan en concluant, à titre liminaire, à ce qu'une violation du principe de célérité par le SAIC soit constatée. A titre principal, il a demandé l'annulation de la décision du Conseil d'Etat du 3 mars 2010 ainsi que le maintien de ses rapports de service.
Par arrêt du 24 septembre 2010, le Tribunal cantonal a rejeté le recours.
C. T._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Sous suite de frais et dépens, il conclut à sa réintégration dans sa fonction antérieure ou dans un autre emploi raisonnablement exigible auprès de la Ville de X._. Il demande en outre le bénéfice de l'assistance judiciaire.
La Ville de X._ conclut au rejet du recours ainsi qu'au rejet de la demande d'assistance judiciaire.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre des décisions qui concernent une contestation non pécuniaire. Un litige en cas de licenciement, lorsque le fonctionnaire ne conclut pas au versement d'une somme d'argent, mais demande à être rétabli dans son statut de fonctionnaire, est une contestation pécuniaire (arrêts 8C_203/2010 du 1er mars 2011 consid. 1.2; 1C_547/2008 du 23 février 2009 consid. 2.1; 1C_116/2007 du 24 septembre 2007 consid. 2). Le motif d'exclusion de l'art. 83 let. g LTF n'entre ainsi pas en considération.
1.2 Pour que le recours soit recevable, il faut encore, en principe, que la valeur litigieuse minimale de 15'000 fr. soit atteinte (<ref-law>). La contestation porte essentiellement sur le salaire de plusieurs mois, voire plusieurs années. Le seuil de la valeur litigieuse déterminante est donc largement dépassé.
1.3 Pour le surplus, interjeté en temps utile (<ref-law>) contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est recevable.
2. Sous le chapitre "Cessation des fonctions" et le titre marginal "Renvoi pour justes motifs", l'art. 11 RGPAC prévoit que le conseil municipal peut en tout temps licencier un membre du personnel pour de justes motifs. Il l'avise six mois à l'avance au moins et pour la fin d'un mois, si la nature des justes motifs n'exige pas un départ immédiat (al. 1). D'après l'al. 2, peuvent constituer de justes motifs notamment l'incapacité, l'insuffisance et de façon générale toutes circonstances qui rendent le maintien en fonction préjudiciable à la bonne marche de l'administration ou sa réputation. Selon l'art. 12 RGPAC, le licenciement pour de justes motifs ne peut être prononcé qu'après audition du fonctionnaire.
3. 3.1 Par un premier moyen, le recourant invoque une constatation arbitraire des faits par la juridiction cantonale. En particulier, il lui reproche de ne pas avoir tenu compte d'éléments de fait pertinents montrant que son état de santé s'était amélioré et d'avoir ainsi exclu toute possibilité de reprise du travail. Il s'agit d'un certificat du docteur D._ attestant une amélioration de son état de santé et de l'avis du docteur P._, lequel préconisait la nécessité de trouver au recourant un autre poste de travail au sein de la commune.
3.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (cf. Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.).
3.3 En l'occurrence, la juridiction cantonale n'a pas omis de prendre en considération l'amélioration de l'état de santé du recourant. Elle a bien plutôt considéré que ce fait n'était pas pertinent pour l'issue du litige, comme on le verra plus loin. Au demeurant, les rapports médicaux précités sont contradictoires, de sorte qu'on ne peut rien en déduire. En effet, si le docteur D._ atteste une évolution favorable de l'état de santé du recourant en raison du fait que ce dernier n'a plus fait part d'idées suicidaires, cette opinion est contredite par l'avis du docteur P._, lequel souligne l'importance de trouver au recourant un poste de travail non exposé du point de vue de la dangerosité.
4. 4.1 Par un deuxième moyen, le recourant se plaint d'une violation de son droit d'être entendu (art. 29 Cst.). En particulier, dans la mesure où il n'a été entendu que dans le cadre de sanctions disciplinaires au sens des art. 58 ss du RGPAC et non dans le cadre de la procédure de résiliation du contrat de travail pour justes motifs au sens des art. 11 ss RGPAC, son droit d'être entendu prévu par l'art. 12 RGPAC n'aurait pas été respecté.
4.2 On relèvera tout d'abord que si l'art. 12 RGPAC prévoit que le licenciement pour justes motifs ne peut être prononcé qu'après audition du fonctionnaire, il n'interdit en revanche pas que celui-ci puisse être entendu dans le cadre d'une procédure disciplinaire portant sur les mêmes faits et qui peut conduire au prononcé d'une sanction disciplinaire pouvant aller jusqu'à la destitution. En tout cas, le recourant n'invoque aucune violation de la législation cantonale ou communale sur ce point. De surcroît, dans la procédure de sanctions disciplinaires, le recourant a été expressément rendu attentif aux mesures disciplinaires susceptibles d'être prises à son encontre, parmi lesquelles figurait la destitution avec ou sans délai ni indemnité. Il pouvait donc, de bonne foi, s'attendre à être renvoyé de son poste de travail. Compte tenu de ce qui précède, le droit d'être entendu du recourant n'a pas été violé.
5. 5.1 Par un troisième moyen, le recourant reproche au tribunal cantonal d'avoir versé dans l'arbitraire en n'annulant pas la décision du Conseil d'Etat du 3 mars 2010, par lequel ce dernier a confirmé son renvoi par substitution de motifs.
5.2 En l'occurrence, le recourant n'explique pas en quoi la confirmation de son renvoi par substitution de motifs est arbitraire. Son argumentation tend plutôt à substituer sa propre appréciation à celle de l'autorité précédente. En particulier, l'allégation selon laquelle la démarche de l'intimée a été erronée du début jusqu'à la fin et que celle-ci aurait dû agir différemment est manifestement insuffisante pour démontrer l'arbitraire conformément aux exigences de l'<ref-law>. Au demeurant, la substitution de motifs a été largement évoquée dans la procédure devant le Conseil d'Etat, de sorte que le recourant a eu la possibilité, déjà à ce stade puis en procédure cantonale, de se prononcer sur ce point.
6. 6.1 Le recourant se plaint encore du fait que le tribunal cantonal n'a pas examiné l'évolution de son état de santé ni la possibilité pour la Ville de X._ de lui proposer un autre poste de travail. Selon lui, la décision de le renvoyer est disproportionnée dans la mesure où elle exclut toute reprise d'une autre activité au sein de la collectivité publique. Or, la Ville de X._ était à même de lui offrir une nouvelle activité, quitte à réduire son traitement. En n'examinant pas cette possibilité et en se contentant de retenir que le lien de confiance était rompu, reprenant à son compte l'argument du risque perpétuel de réitération d'une nouvelle tentative de suicide, les premiers juges auraient violé le principe de proportionnalité (art. 29 Cst.).
6.2 Les justes motifs de renvoi des fonctionnaires ou d'employés de l'Etat peuvent procéder de toutes circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service, même en l'absence de faute. De toute nature, ils peuvent relever d'événements ou de circonstances que l'intéressé ne pouvait éviter, ou au contraire d'activités, de comportements ou de situations qui lui sont imputables (arrêts 8C_170/2009 du 25 août 2009, résumé au JdT 2010 I 101, consid. 4.2.1; 1C_142/2007 du 13 septembre 2007 consid. 6.3; 2P.149/2006 du 9 octobre 2006 consid. 6.2 et les références citées). Selon la jurisprudence, l'autorité d'engagement dispose, en présence de justes motifs, d'une liberté d'appréciation dans le choix de la sanction (modification ou résiliation des rapports de service), laquelle est toutefois subordonnée au principe de proportionnalité (MINH SON NGUYEN, La fin des rapports de service, in Personalrecht des öffentlichen Dienstes, 1999, p. 436).
Une mesure viole le principe de la proportionnalité notamment si elle excède le but visé et qu'elle ne se trouve pas dans un rapport raisonnable avec celui-ci et les intérêts, en l'espèce publics, compromis (<ref-ruling> consid. 3.5.1 p. 69 et les arrêts cités; <ref-ruling> consid. 5.1 p. 297 s.). Le principe de la proportionnalité, bien que de rang constitutionnel, ne constitue pas un droit constitutionnel avec une portée propre (<ref-ruling> consid. 5b p. 120; <ref-ruling> consid. 2b p. 163). Aussi, lorsque, comme en l'espèce, ce principe est invoqué en relation avec l'application du droit cantonal (en dehors du domaine de protection d'un droit fondamental spécial), le Tribunal fédéral n'intervient-il, en cas de violation du principe de la proportionnalité, que si la mesure de droit cantonal est manifestement disproportionnée et qu'elle viole simultanément l'interdiction de l'arbitraire; autrement dit le grief se confond avec celui de l'arbitraire (<ref-ruling> consid. 4.2.2 et 4.3 p. 158; arrêts 8C_220/2010 du 18 octobre 2010 consid. 4.3 et 2C_118/2008 du 21 novembre 2008 consid. 3.1).
6.3 En l'espèce, le recourant a fait exploser son bureau, causant des dégâts de l'ordre d'un million de francs. Bien qu'il ait eu lieu un jour férié, alors que tous les employés de la Commune de X._ étaient absents et que personne n'a de ce fait été blessé, cet événement atteste d'un comportement qui pouvait, en cas de récidive, se révéler potentiellement dangereux pour la vie et l'intégrité des collaborateurs du recourant. Même à supposer que la santé de celui-ci se soit améliorée et que le risque de récidive soit minime (encore qu'il s'agissait de sa quatrième tentative de suicide), la gravité objective des actes qu'il a commis était propre à rompre immédiatement et définitivement le lien de confiance avec son employeur. On ne saurait par ailleurs sous-estimer l'impact de ces actes sur ses collaborateurs et sur la confiance des administrés dans la collectivité publique. Dès lors que le comportement du recourant était en outre manifestement de nature à être préjudiciable à la bonne marche de l'administration ou à sa réputation, le licenciement n'apparaît pas arbitraire et, partant, n'est pas manifestement contraire au principe de proportionnalité.
7. Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
8. Le recourant, qui succombe, devrait en principe supporter les frais de justice (<ref-law>). Toutefois, il a déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation de Me Fanti en qualité d'avocat d'office. Dans la mesure où il ne dispose que de moyens économiques limités - il est au bénéfice de l'aide sociale depuis le mois d'août 2009 -, que ses conclusions n'étaient pas dénuées de chances de succès et que l'assistance d'un avocat était indiquée, il y a lieu de lui accorder l'assistance judiciaire (<ref-law>). Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal s'il se trouve ultérieurement en mesure de le faire (<ref-law>). Bien qu'elle obtienne gain de cause, l'intimée n'a pas droit à des dépens (<ref-law>; arrêt 8C_151/2010 du 31 août 2010 consid. 6.2).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Me Sébastien Fanti est désigné en tant qu'avocat d'office du recourant et une indemnité de 2800 fr. lui est allouée à titre d'honoraire, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lucerne, le 16 mai 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Fretz Perrin