Faits: A. X._, né en 1973, a été engagé à titre provisoire par la Municipalité de Lausanne, à partir du 1er mai 2000, en tant qu'ouvrier au Centre Y._, dépendant du service Z._. Au terme de sa première année d'activité, il a été nommé à titre définitif dans cette fonction dès le 1er mai 2001. Le 20 septembre 2002, un avertissement formel a été adressé à X._ en raison de ses difficultés relationnelles persistantes vis-à-vis de ses supérieurs, de ses collègues et du public. La situation s'étant dégradée malgré cet avertissement, une procédure disciplinaire a été ouverte contre lui et, le 11 décembre 2003, la Municipalité a prononcé la mise au provisoire de l'intéressé pour une durée de deux ans, avec menace de révocation en cas de récidive, même après l'échéance du délai de deux ans. Cette décision n'a pas fait l'objet d'un recours. B. Le 27 juin 2005, une violente altercation est intervenue entre X._ et l'un de ses collègues, A._, sur leur lieu de travail. Une enquête a été menée par B._, adjoint au chef du service Z._ et C._, sous-chef d'usine, qui ont entendu les acteurs de l'altercation, ainsi que deux témoins. Malgré les versions partiellement divergentes des faits, il a pu être établi que des insultes avaient été échangées et qu'après avoir esquivé un jet de bouteille, X._ avait craché au visage de son adversaire, qui avait répliqué en lui assénant un coup avec un casque de moto, lui ouvrant l'arcade sourcilière. Dans une note du 8 juillet 2005 adressée à la Municipalité, le chef du service Z._ a résumé le résultat de ces auditions. Après le rappel de la mise au provisoire dont avait fait l'objet l'intéressé, il conclut en ces termes: "Certes M. X._. a été la victime de l'agression le 27 juin dernier. Toutefois, son attitude a contribué sans aucun doute à conduire M. A._ à cette extrémité. Nous constatons que la mise au provisoire n'a pas suffi à lui permettre d'adopter un comportement irréprochable. Son statut actuel ne nécessite pas d'audition. Par contre, le directeur des travaux recevra en audition, le 15 juillet prochain, MM. D._ et A._ dans le cadre d'une procédure disciplinaire, même si M. A._ est au bénéfice d'un contrat de droit privé. Au vu de ce qui précède, nous proposons le licenciement dans le terme légal de trois mois de M. X._ (...)". Dans sa séance du 21 juillet 2005, la Municipalité a décidé de licencier X._ pour le 31 octobre 2005. Cette décision a été communiquée à l'intéressé par lettre du 27 juillet 2005. C. Saisi d'un recours de X._, le Tribunal administratif du canton de Vaud l'a admis, par arrêt du 28 décembre 2005, et a annulé la décision du 21 juillet 2005, pour le motif que la Municipalité avait violé le droit d'être entendu de l'intéressé en ne lui donnant pas la possibilité de se déterminer sur les reproches qui lui étaient faits. En outre, ce vice de procédure ne pouvait pas être réparé, car la cour cantonale ne jouissait pas en la matière d'un libre pouvoir d'appréciation. D. Agissant par la voie du recours de droit public pour violation de l'autonomie communale et arbitraire, la Municipalité de Lausanne, représentée par le chef de son service juridique, conclut, sous suite de dépens, à l'annulation de l'arrêt du Tribunal administratif du 28 décembre 2005. Le Tribunal administratif a renoncé à répondre au recours, tout en concluant à son rejet. Au terme de ses déterminations, X._ a conclu au rejet du recours. E. Par ordonnance du 22 février 2006, le Président de la IIe cour de droit public a rejeté la requête d'effet suspensif formulée par la recourante.