Faits:
A. Par décision du 9 novembre 2006, la Justice de paix du cercle de Lausanne a prononcé l'interdiction civile au sens de l'<ref-law> de Y._ et a nommé le père de celui-ci, X._, en qualité de tuteur.
B. Par courrier du 2 juin 2009, Y._ a requis la Justice de paix de lui nommer un nouveau tuteur, indépendant de sa famille. Le 25 juin 2009, la Justice de paix du district de Lausanne a destitué avec effet immédiat X._ de sa fonction de tuteur, lui a ordonné de remettre à la nouvelle tutrice l'intégralité des documents en sa possession et toutes les pièces justificatives comptables de la tutelle et a invité la nouvelle tutrice à établir le compte 2008, la charge des frais de l'établissement des comptes incombant au tuteur destitué.
Par arrêt du 29 octobre 2009, la Chambre des tutelles du Tribunal cantonal vaudois a partiellement admis le recours sur certains points mais l'a rejeté en ce qui concerne la destitution. A ce sujet, elle a relevé que l'âge (85 ans) et la santé du tuteur ainsi que le conflit qui opposait celui-ci au pupille justifiaient de mettre fin à la fonction de tuteur du recourant en vertu de l'<ref-law>.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal. Il demande la réforme de l'arrêt attaqué en ce sens qu'il n'est pas destitué de sa fonction, mais libéré.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. Le Tribunal fédéral examine librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1; <ref-ruling> consid. 1 p. 292).
1.1 Le recourant demande une modification du dispositif de l'arrêt cantonal en ce sens qu'il soit libéré de sa fonction de tuteur au lieu d'être destitué. Il prétend que le terme "destitution" est susceptible d'entacher sa réputation. Une telle conclusion pose en premier lieu la question de l'intérêt au recours.
1.2 L'<ref-law> subordonne la qualité pour former un recours en matière civile à l'existence d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée.
La distinction invoquée par le recourant ressort de deux alinéas de l'<ref-law>. Alors que le premier alinéa de cette disposition prévoit que le tuteur coupable de négligences graves, d'abus dans l'exercice de ses fonctions, d'actes qui le rendent indigne ou, qui devient insolvable doit être destitué ("entheben" selon le texte allemand), le second alinéa concerne le tuteur qui ne remplit pas convenablement ses fonctions et qui peut, même en l'absence de toute faute, être relevé de sa charge ("entlassen" selon le texte allemand) dès que les intérêts du pupille sont menacés. Dans ce second cas de figure, l'incapacité du tuteur peut résulter de différentes causes, par ex. de son âge, de sa santé, de sa charge de travail, de motifs familiaux ou d'un déménagement (THOMAS GEISER, Commentaire bâlois, 3ème éd., 2006, n. 14 ad <ref-law>). L'<ref-law> est également applicable lorsque, en raison de la survenance d'une cause d'incapacité telle que le conflit d'intérêts avec l'incapable (cf. <ref-law>) ou d'incompatibilité, le tuteur, bien que tenu de résigner ses fonctions (<ref-law>), ne le fait pas; l'autorité tutélaire doit alors le relever d'office de ses fonctions (<ref-law>; MARTIN GOOD, Das Ende des Amtes des Vormundes, 1992, p. 108, n° 138, p. 38 n° 49 et 50a, p. 56, n° 123; THOMAS GEISER, op. cit., n. 14 ad art. 441-444 CC). Une décision prise en vertu de l'<ref-law> produit les mêmes effets que la destitution prévue à l'alinéa premier de cette disposition, sans toutefois porter atteinte à l'honneur du tuteur (VIRGILE ROSSEL/FRITZ-HENRI MENTHA, Manuel du droit civil suisse, 1922, n° 891; THOMAS GEISER, op. cit., n. 3 ad <ref-law>; MARTIN GOOD, op. cit., p. 82, n. 20-21). Le terme de "destitution" a en effet dans le langage courant une connotation négative, le terme étant utilisé par les médias essentiellement en lien avec la destitution d'un fonctionnaire ou ministre, en général lorsque l'intéressé est menacé d'une sanction pénale (MARTIN GOOD, loc. cit.).
Il apparaît ainsi qu'il n'est pas indifférent d'être destitué ou relevé de ses fonctions, seul le premier cas de figure portant atteinte à l'honneur du tuteur. Dans ces conditions, l'intérêt au recours doit être reconnu.
1.3 Il convient encore de se demander si le recours est recevable au regard de l'<ref-law>.
1.3.1 Selon cette disposition, le recours n'est recevable qu'à l'encontre des décisions prises en dernière instance cantonale, ce qui signifie que le recourant doit avoir épuisé toutes les voies de droit cantonales, ordinaires ou extraordinaires, pour les griefs qu'il entend soulever devant le Tribunal fédéral (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, in : FF 2001 p. 4000 ss, p. 4115, ch. 4.1.3.2; <ref-ruling> consid. 1.3 et les citations). La notion de dernière instance cantonale correspond à celle de l'art. 86 al. 1 OJ (<ref-ruling> consid. 1.3), de sorte que la jurisprudence rendue en application de cette disposition reste pertinente.
Dans le canton de Vaud, la voie de l'interprétation d'un jugement définitif ou d'un arrêt est ouverte lorsque le dispositif en est équivoque, incomplet, contradictoire ou encore lorsque, pour une inadvertance manifeste, le dispositif est en contradiction flagrante avec les motifs (<ref-law>/VD). Dans la mesure où la question litigieuse peut être examinée dans le cadre d'une interprétation et que le défaut invoqué peut être éliminé, cette voie doit être utilisée avant de recourir au Tribunal fédéral (cf. arrêts 5P.126/2006 du 4 septembre 2006 consid. 4; 5P.428/2001 du 10 juillet 2003 consid. 3.4.2).
1.3.2 En l'espèce, la modification requise par le recourant aurait pu être obtenue par la voie de l'interprétation cantonale. Il ressort en effet explicitement des motifs de l'arrêt attaqué que l'autorité précédente, tout en utilisant le terme de "destitution", a mis fin à la fonction du tuteur pour les motifs généraux de l'<ref-law> en relevant que l'âge, la santé et le désaccord qui opposait tuteur et pupille justifiaient de mettre fin au mandat du recourant en vertu de l'<ref-law>. Elle a formulé le dispositif en prononçant la destitution du tuteur alors que ce terme, comme on l'a vu, comporte une connotation négative qui porte atteinte à l'honneur de la personne concernée et se réfère à la destitution prévue à l'al. 1.
Faute d'épuisement des moyens de droit cantonal, le présent recours est, dès lors, manifestement irrecevable.
2. Au vu du sort du recours, les frais de la procédure sont mis à la charge du recourant (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé, lequel n'a pas été invité à répondre sur le fond (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre des tutelles du Tribunal cantonal vaudois.
Lausanne, le 15 mars 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Rey-Mermet