Faits:
A. A._, né en 1960, a été engagé par la Ville de Vevey en mars 1986 en qualité de manoeuvre affecté au Service de balayage. Il a été nommé fonctionnaire dès le 1er janvier 1989, puis promu respectivement ouvrier dès le 1er janvier 1990 et ouvrier mi-qualifié dès le 1er janvier 1993. Le 23 mars 1999, le prénommé a signé un descriptif général de sa fonction qui prévoyait que son travail principal consistait notamment à "exécuter les travaux de balayage mécanique du domaine public", à savoir "balayer les chaussées, trottoirs et places selon des circuits déterminés ou en fonction des besoins et opportunités, entretenir la machine, procéder au déneigement, observer l'état général du domaine public, assurer en alternance les services de fin de semaine et exécuter toutes les autres tâches confiées". En 2005, la Direction des espaces publics de la commune (ci-après: la Direction) a procédé à une réorganisation du Service de la voirie dans le but de valoriser la polyvalence des collaborateurs. L'ouvrier de voirie ne pouvait désormais plus être exclusivement affecté à la conduite de la balayeuse mécanique, mais devait également effectuer d'autres travaux tels que le balayage manuel, le déneigement, le nettoyage des fontaines publiques et toutes autres tâches d'intérêt général.
B. En 2005 et 2006, les entretiens de qualification de A._ ont fait état d'une dégradation des rapports de travail et ont relevé ses nombreuses absences pour maladie, dues notamment à un traitement contre l'alcoolisme. Le 22 janvier 2007, l'intéressé a produit un certificat médical, attestant son incapacité à soulever des poids importants dépassant 3 à 4 kilos et recommandant l'exécution de tâches en position assise. Le 29 janvier 2007, la Direction a établi une note à l'attention du Service du personnel de la commune, dans laquelle elle relève l'important absentéisme du prénommé et explique qu'elle n'est pas en mesure de lui assurer un emploi compte tenu de son incapacité au travail. Le 9 juillet 2007, A._ a produit un nouveau certificat médical d'un docteur spécialiste en neurochirurgie, qui atteste que l'intéressé présente des lombalgies chroniques d'origine dégénérative nécessitant de "privilégier les positions alternées comme assise, debout" et l'empêchant de porter des charges supérieures à 5 à 10 kilos. Il y était également précisé que le prénommé était apte au travail à plein temps sous condition de décharge rachidienne. En 2007, A._ a été absent de son travail pour cause de maladie pendant 72 jours, compte tenu du pourcentage d'incapacité et sans prise en compte des jours de fin de semaine.
Lors de sa séance du 24 janvier 2008, la Municipalité de Vevey (ci-après: la Municipalité) a décidé de mandater la fondation Intégration Pour Tous (IPT) afin d'aider A._ dans sa réinsertion professionnelle pour un montant maximal de 15'000 francs et de soumettre l'octroi de cette prestation à la résiliation des rapports de travail pour justes motifs dans un délai égal à la durée de la mesure, soit six mois pour la fin d'un mois.
C. Le 21 février 2008, la Municipalité de Vevey a écrit à A._ qu'elle avait été informée des restrictions dans son activité professionnelle pour des raisons médicales ainsi que de ses absences pour incapacité de travail, et qu'elle désirait l'entendre à ce sujet conformément à l'art. 19 du Statut du personnel de la commune de Vevey du 13 septembre 1985 (ci-après: le Statut communal ou le règlement communal). La lettre mentionnait en intitulé "Diminution des capacités professionnelles pour des raisons de santé (articles 12, 18 et 19 du Statut du personnel communal)" et précisait qu'il pouvait se faire assister à cette occasion. Cette séance a eu lieu le 4 mars 2008 en présence d'un conseiller municipal, du chef du Service de la voirie et du chef du Service du personnel. La Municipalité a proposé à l'intéressé une reconversion professionnelle avec l'aide de la fondation IPT, tout en précisant que le renvoi n'était pas lié à une faute professionnelle. A._ a accepté cette solution. Par décision du 6 mars 2008, la Municipalité a licencié le prénommé pour le 30 septembre 2008 et mandaté la fondation IPT afin d'aider ce collaborateur dans sa réinsertion professionnelle.
D. Par arrêt du 23 octobre 2008, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._ contre la décision de la Municipalité.
E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral principalement d'annuler l'arrêt du Tribunal cantonal et la décision de licenciement de la Municipalité, subsidiairement de renvoyer la cause à l'autorité cantonale pour nouvelle décision. Il se plaint d'une constatation inexacte et incomplète des faits, d'une interprétation arbitraire du Statut communal et d'une violation des art. 60 et 61 de la constitution du canton de Vaud du 14 avril 2003 (Cst./VD; RS 131.231).
Le Tribunal cantonal conclut au rejet du recours en se référant aux considérants de son arrêt. La Municipalité de Vevey conclut également au rejet du recours en se prévalant de l'autonomie communale et dépose une décision de la Caisse intercommunale de pensions (ci-après: la CIP) du 19 novembre 2008 allouant au recourant, dès le 1er octobre 2008, une rente d'invalidité définitive de 100 % donnant droit à des prestations mensuelles de 5'452,6 francs. Invité à se déterminer, le recourant mentionne que lesdites prestations mensuelles sont inférieures à son salaire et qu'il ne s'agit que d'une avance conditionnée au fait qu'il annonce son cas à l'assurance invalidité.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine des rapports de travail de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, lorsque la valeur litigieuse dépasse 15'000 francs (<ref-law>). Le recourant ne conclut pas au versement d'une somme d'argent, mais à l'annulation de la décision résiliant ses rapports de service. S'il obtenait gain de cause, son engagement au service de la Ville de Vevey serait reconduit. Dès lors que son action a, en tout cas partiellement, un but économique et dans la mesure où son objet peut être apprécié en argent, il y a lieu de considérer qu'il s'agit d'une contestation de nature pécuniaire (cf. Fabienne Hohl, Procédure civile, tome II, 2002, p. 77; Jean-François Poudret, Commentaire de la loi fédérale d'organisation judiciaire, vol. II, 1990, p. 196 ss). Il s'ensuit que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération.
Comme les conclusions du recours ne tendent pas au paiement d'une somme d'argent déterminée, le Tribunal fédéral fixe la valeur litigieuse selon son appréciation (<ref-law>). La contestation porte sur la réintégration au service de la Ville de Vevey pour une durée indéterminée. Comme l'allocation de la CIP, au demeurant en partie conditionnelle, est inférieure au salaire du recourant, on peut admettre que la valeur litigieuse atteint le seuil des 15'000 francs ouvrant la voie du recours en matière de droit public dans ce domaine.
Dès lors que l'arrêt attaqué rejette le recours formé contre la décision de résiliation de son contrat de travail, le recourant est particulièrement atteint par ce prononcé et il a un intérêt digne de protection à son annulation; il a donc la qualité pour recourir (art. 89 al. 1 let. b et c LTF). Les autres conditions de recevabilité du recours sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2. Dans un grief qu'il convient d'examiner en premier lieu, le recourant estime que le Tribunal cantonal a fait preuve d'arbitraire dans l'appréciation des faits en ne retenant pas qu'un motif de résiliation des rapports de travail avait été clairement énoncé dans la décision du 6 mars 2008. La commune ne pouvait dès lors se prévaloir a posteriori d'un autre motif de résiliation.
2.1 La jurisprudence reconnaît au juge un large pouvoir d'appréciation dans la constatation des faits et leur appréciation, lequel trouve toutefois sa limite dans l'interdiction de l'arbitraire ancrée à l'art. 9 Cst. (<ref-ruling> consid. 2a p. 41; <ref-ruling> consid. 2a p. 88; <ref-ruling> consid. 2a p. 38). Le Tribunal fédéral n'intervient en conséquence pour violation de l'art. 9 Cst. que si le juge a abusé de ce pouvoir, en particulier lorsqu'il admet ou nie un fait pertinent en se mettant en contradiction évidente avec les pièces et éléments du dossier, lorsqu'il méconnaît des preuves pertinentes ou qu'il n'en tient arbitrairement pas compte, lorsque les constatations de fait sont manifestement fausses ou encore lorsque l'appréciation des preuves se révèle insoutenable ou qu'elle heurte de façon grossière le sentiment de la justice et de l'équité (<ref-ruling> consid. 4 p. 58, 173 consid. 3.1 p. 178).
2.2 En l'occurrence, le Tribunal cantonal n'a pas mentionné expressis verbis le libellé de la lettre de licenciement du 6 mars 2008. Il a en revanche exposé de façon détaillée le contenu de la lettre du 21 février 2008 qui convoquait le recourant à la séance précédant la décision de résiliation des rapports de service. Cette convocation mentionnait que la Municipalité désirait entendre le recourant au sujet de son incapacité de travail et de ses absences, conformément à l'art. 19 du Statut communal. L'arrêt attaqué a même reproduit l'intitulé de lettre: "diminution des capacités professionnelles pour des raisons de santé (articles 12,18 et 19 du Statut communal)". Dès lors, même si le Tribunal cantonal n'a pas recopié exactement le contenu de la lettre de licenciement, il a formulé, de façon claire et non équivoque, que le motif de licenciement invoqué par la commune de Vevey était les justes motifs au sens des art. 18 et 19 du Statut communal. Il n'y a donc pas d'arbitraire dans la constatation des faits.
Le recourant reproche également au Tribunal cantonal d'avoir retenu à tort que la Municipalité avait déployé des efforts pour adapter le poste à ses problèmes de santé. Les juges cantonaux auraient aussi fait état d'appréciations individuelles défavorables à son égard, sur lesquelles il n'a pas été en mesure de se prononcer et qui sont étrangères à la procédure. Or, en l'espèce, ces faits ressortent tous des pièces déposées au dossier. Il n'y a donc pas d'appréciation arbitraire des preuves car les juges cantonaux n'ont pas admis ou nié un fait en contradiction manifeste avec le dossier. Savoir si ces faits sont pertinents relève de l'appréciation juridique et non pas d'une appréciation arbitraire des preuves.
3. Le recourant invoque la violation de l'art. 60 al. 1 let. a Cst./VD qui prévoit que "l'Etat et les communes assurent à chaque personne habitant le canton les conditions d'une vie digne par la prévention de l'exclusion professionnelle et sociale" et de l'art. 61 al. 2 Cst./VD à teneur duquel "l'Etat et les communes prennent des mesures pour assurer leur autonomie, leur intégration sociale, scolaire et professionnelle, leur participation à la vie de la communauté ainsi que leur épanouissement dans le cadre familial".
3.1 Aux termes de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal, que si ce grief a été invoqué et motivé par le recourant. Cette disposition reprend le principe d'allégation (Rügeprinzip) que la pratique relative au recours de droit public avait établi en relation avec l'art. 90 OJ. Selon cette pratique, l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.4 p. 254; III 393 consid. 6 p. 397 et la jurisprudence citée). En particulier, dans un recours pour arbitraire fondé sur l'art. 9 Cst., le recourant doit démontrer que l'acte entrepris ne repose sur aucun motif sérieux et objectif, apparaît insoutenable ou heurte gravement le sens de la justice (cf. <ref-ruling> consid. 7a p. 312).
3.2 En l'espèce, le recourant n'expose pas exactement quelle est la portée des dispositions qu'il invoque ni quels sont les droits constitutionnels qu'il pourrait en tirer. Il est dès lors douteux que le recours satisfasse aux exigences de motivation de l'<ref-law> sur ce point. Peu importe au demeurant puisque le recourant ne peut se prévaloir valablement des art. 60 al. 1 let. a et 61 Cst./VD pour obtenir une réintégration au service de la Ville de Vevey. En effet, ces dispositions qui ne se trouvent pas au titre II de la Constitution du canton de Vaud consacrant les droits fondamentaux, n'impliquent aucun droit subjectif à des prestations de l'Etat. Figurant au chapitre relatif à la politique sociale et à la santé publique du titre III de ladite constitution, intitulé "Tâches et responsabilité de l'Etat et des communes", ces articles concernent des buts sociaux qui ne sont pas invocables directement devant les tribunaux.
4. Le recourant se plaint d'une interprétation arbitraire du Statut communal et en particulier de son article 12.
4.1 Il y a arbitraire, prohibé par l'art. 9 Cst., lorsque la décision attaquée viole gravement une règle ou un principe juridique clair et indiscuté ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice ou de l'équité. Le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction évidente avec la situation de fait, si elle a été adoptée sans motif objectif ou en violation d'un droit certain. Par ailleurs, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat (<ref-ruling> consid. 3.1 p. 266; <ref-ruling> consid. 2 p. 61 et la jurisprudence citée), ce que les recourants doivent démontrer en vertu de l'<ref-law> (<ref-ruling> consid. 3.2 p. 400).
4.2 En droit vaudois, le principe de l'autonomie communale, inscrit à l'art. 139 Cst./VD, prévoit que les communes disposent d'autonomie, notamment dans l'administration de la commune (let. b) et en matière d'ordre public (let. e). L'étendue de l'autonomie communale est fixée en particulier par la loi vaudoise du 28 février 1956 sur les communes (LC/VD; RSV 175.11), notamment par son art. 2 qui détermine les attributions et les tâches propres des autorités communales, parmi lesquelles se trouve l'organisation de l'administration communale (art. 2 al. 2 lettre a LC/VD). Selon cette loi, le conseil général ou communal délibère sur le statut des fonctionnaires communaux et la base de leur rémunération (art. 4 al. 1 chiffre 9 LC/VD), la municipalité ayant la compétence de nommer les fonctionnaires et employés de la commune, de fixer leur traitement et d'exercer le pouvoir disciplinaire (art. 42 ch. 3 LC/VD). On peut donc déduire de ces dispositions que les communes vaudoises jouissent d'une autonomie pour régler sur une base de droit public les rapports de travail de leurs fonctionnaires (arrêts 2P.149/2006 du 9 octobre 2006 consid. 3.2; 2P.46/2006 du 7 juin 2006 consid. 2.2 et les références citées).
4.3 Selon l'art. 12 al. 4 du Statut communal, la qualité de fonctionnaire prend fin par décision de la Municipalité, prise de sa propre initiative ou à la demande du fonctionnaire, en cas de "diminution grave des capacités professionnelles à la suite d'une invalidité définitive, totale ou partielle, ou de toute autre cause constatée par expertise médicale, dans le cas où un reclassement au sein de l'administration serait impossible" (let. b) ou de "renvoi pour justes motifs" (let. e). L'art. 15a prévoit que la Municipalité peut décider dans le cas de l'art. 12 ch. 4 let. b la cessation des fonctions avec un préavis de trois mois pour la fin d'un mois. Les art. 18 et 19 du Statut communal règlent les modalités du renvoi pour justes motifs. L'art. 18 précise que la Municipalité peut en tout temps décider de la cessation des fonctions pour justes motifs. L'alinéa 2 indique que constituent notamment des justes motifs, l'incapacité constatée, la faillite, la saisie infructueuse, le fait que le fonctionnaire ne remplit plus les conditions dont dépendait la nomination et toutes les autres circonstances en raison desquelles le maintien en fonction serait préjudiciable à la bonne marche ou à la réputation de l'administration. L'art. 19 conditionne le renvoi à l'envoi d'une lettre recommandée avec indication des motifs, le renvoi devant être signifié trois mois à l'avance au moins. La législation communale expose également que si la nature des justes motifs le permet, la Municipalité peut ordonner le déplacement du fonctionnaire en lieu et place du renvoi.
4.4 Le recourant estime que la Municipalité ne peut licencier un fonctionnaire pour justes motifs, si le juste motif invoqué est une diminution des capacités professionnelles pour des raisons de santé. Selon lui, un tel licenciement ne peut se faire qu'aux conditions de l'art. 12 ch. 4 let. b du Statut communal, c'est-à-dire sur la base d'une expertise médicale qui constate l'invalidité définitive totale ou partielle ou toute autre cause. Cette disposition épuiserait toutes les options concernant un licenciement pour motifs médicaux, les justes motifs de l'art. 12 ch. 4 let. e du Statut communal ne pouvant s'appliquer par conséquent qu'à des résiliations pour tous autres motifs. La Municipalité de Vevey considère quant à elle qu'elle peut licencier un fonctionnaire en application de l'art. 12 ch. 4 let. e du Statut communal en invoquant des raisons de santé et que dans cette hypothèse, la procédure de renvoi des art. 18 et 19 du Statut communal doit être suivie.
Dans l'arrêt attaqué, le Tribunal cantonal relève que le règlement communal énumère les causes de licenciement, parmi lesquelles la diminution grave des capacités professionnelles (art. 12 ch. 4 let. b du Statut communal) et le renvoi pour justes motifs (art. 12 ch. 4 let. e du Statut communal). Pour les juges cantonaux, le licenciement consécutif à ces deux motifs de renvoi fait l'objet de dispositions distinctes: la diminution grave des capacités professionnelles suite à une invalidité ou à toute autre cause est traitée à l'art. 15a du Statut communal, alors que le renvoi pour justes motifs fait l'objet des art. 18 et 19 dudit statut. Le Tribunal cantonal en déduit que le texte de l'art. 12 ch. 4 let. b du Statut n'exclut pas a priori qu'un renvoi pour justes motifs puisse être prononcé pour des raisons médicales. Il estime que l'art. 18 du Statut communal constitue une clause générale dont la liste des justes motifs exposée à son alinéa 2 et introduite par l'adverbe "notamment" n'est pas exhaustive. L'interprétation du Tribunal cantonal suivant laquelle l'art. 12 ch. 4 let. b du Statut communal constitue également un juste motif de licenciement, qui a toutefois été sorti de la clause générale des art. 18 et 19 dudit statut pour des raisons de procédure, n'est pas insoutenable. En effet, l'art. 19 du règlement communal impose le respect de certaines conditions procédurales (enquête, audition du fonctionnaire, avertissement) afin de protéger le fonctionnaire, alors que l'art. 15a du Statut communal permet un licenciement avec un préavis de trois mois. Il n'est pas arbitraire de comprendre ces différences procédurales par le fait que le motif de licenciement invoqué est, dans un cas, fondé sur une cause objectivement établie, à savoir la diminution grave des capacités professionnelles à la suite d'une invalidité définitive ou de toute autre cause constatée par expertise médicale: hors de ces motifs établis, rien ne s'oppose à la prise en compte d'autres justes motifs médicaux de renvoi, sous réserve que la procédure de licenciement respecte les art. 18 et 19 du Statut communal. Cela tient précisément à la nature de la cause de résiliation. Telle est également la façon dont la Municipalité de Vevey a interprété son règlement.
L'argument selon lequel le fonctionnaire serait moins bien protégé parce que la commune pourrait résilier les rapports de service pour cause de maladie sans expertise médicale tombe à faux. En effet, quelle que soit la cause du licenciement, le Statut communal prévoit une procédure propre à garantir les droits du fonctionnaire.
En outre, il n'est pas insoutenable de tenir compte des absences répétées et prolongées du recourant, dues à son état de santé, pour retenir qu'il existe de justes motifs de licenciement au sens de l'art. 18 du Statut communal. Certes, l'état de santé du recourant lui permettrait de conduire la balayeuse mécanique. Reste que la réorganisation de la Direction implique de confier, comme le prévoit le cahier des charges, des tâches diversifiées aux collaborateurs du Service de la voirie. Les lombalgies dont souffre le recourant l'empêchent d'exercer toutes les activités figurant sur le descriptif général de sa fonction et ses fréquentes absences entraînent une surcharge de travail pour les collègues. Dans ces circonstances, la Municipalité de Vevey pouvait, sans tomber dans l'arbitraire, estimer que l'état de santé du recourant était incompatible avec un bon fonctionnement du Service de la voirie. Cette interprétation n'est pas contraire au sens et au but des règles relatives à la résiliation.
Par ailleurs, contrairement à ce qu'affirme le recourant, l'absence d'expertise médicale au sens de l'art. 12 ch. 4 let. b du Statut communal ne prive pas le fonctionnaire d'une rente invalidité relevant de la prévoyance professionnelle. Le recourant est au bénéfice de prestations d'invalidité définitive à 100 % dès le 1er octobre 2008 et le supplément temporaire ne lui est accordé que dans l'hypothèse où il annonce son cas à l'assurance invalidité. La CIP ne pénalise donc pas le droit aux prestations d'invalidité du fait de l'absence d'un rapport médical au sens de la disposition précitée.
Enfin, la Municipalité de Vevey a offert au recourant, lors de l'entretien du 4 mars 2008, une réorientation professionnelle qu'elle s'engageait à financer. Une fois le licenciement décidé, la Municipalité a donné un préavis du double de temps de celui prévu par le Statut communal et fait bénéficier le recourant d'une mesure de réinsertion auprès de la fondation IPT, aux frais de la commune. Il est donc faux de prétendre que la décision de la Municipalité donnerait lieu à une exclusion professionnelle et sociale.
4.5 En définitive, le Tribunal cantonal n'a pas versé dans l'arbitraire en confirmant l'interprétation des art. 12, 18 et 19 du Statut communal, défendue par la Municipalité de Vevey. Ce grief tombe donc à faux.
5. Il s'ensuit que le recours doit être rejeté, aux frais du recourant qui succombe (art. 65 al. 1 et 66 al. 1 LTF). La Municipalité de Vevey n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux mandataires du recourant et de la Municipalité de Vevey ainsi qu'à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 mai 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Tornay