Faits:
A. A.a A._, né en 1996, est issu de l'union libre formée par Y._, décédée le 19 janvier 2008, et X._. Seule la mère était titulaire de l'autorité parentale.
A.b Le 28 février 2008, la Justice de Paix du district d'Oron (ci-après: la justice de paix) a notamment institué une mesure de tutelle en faveur de l'enfant donnant mission au tuteur de gérer et de représenter les intérêts moraux et matériels du pupille dans le cadre de la succession de sa mère, et ouvert une enquête en attribution de l'autorité parentale à X._.
A.c Par décision du 26 mai 2008, la Chambre des tutelles du Tribunal cantonal du canton de Vaud (ci-après: la chambre des tutelles) a consenti à ce que A._ accepte cette succession, qui présentait un actif net de 282'172 fr.
Le 12 juin 2008, la justice de paix a autorisé le tuteur à exploiter le compte ouvert au nom du pupille, à concurrence de 15'000 fr. par année. Par décision du 26 janvier 2009, elle a levé la mesure de tutelle et attribué l'autorité parentale ainsi que la garde de l'enfant à X._.
B. B.a Le 29 mars 2010, X._ a requis de la justice de paix notamment l'autorisation de prélever annuellement le montant de 15'000 fr. sur le compte de son fils pour l'entretien courant de ce dernier. Par décision du 21 juin 2010, la justice de paix a rejeté la requête.
B.b Le 11 juillet 2010, X._ a recouru auprès de la chambre des tutelles contre cette décision. Cette autorité a rejeté le recours par arrêt du 14 octobre 2010, communiqué le 26 janvier 2011.
C. Par mémoire du 25 février 2011, X._ interjette un recours en matière civile contre cet arrêt. Principalement, il conclut à sa réforme en ce sens qu'il est autorisé à prélever un montant annuel maximal de 15'000 fr. sur les biens de son fils, en sus du droit de prélever les intérêts. Subsidiairement, il conclut à son annulation, la cause étant renvoyée à l'autorité cantonale pour nouvelle instruction et décision dans le sens des considérants. En substance, il invoque la violation des art. 320 CC, 29 al. 2 et 8 al. 2 Cst.
L'autorité cantonale n'a pas été invitée à déposer des observations.
Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions (art. 76 al. 1 LTF) et dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 2 let. b ch. 5 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 francs (art. 74 al. 1 let. b LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (ATF 133 III 545 consid. 2.2). Il ne connaît toutefois de la violation des droits fondamentaux que si ce grief a été soulevé et motivé par le recourant (art. 106 al. 2 LTF ; ATF 134 I 83 consid. 3.2; 133 II 249 consid. 1.4.2). Si le recourant se plaint de la violation de tels droits, il doit satisfaire au principe d'allégation, en indiquant précisément quelle disposition constitutionnelle a été violée et en démontrant, par une argumentation précise, en quoi consiste la violation (ATF 133 IV 286 consid. 1.4; 133 II 249 consid. 1.4.2). Le Tribunal fédéral n'entre pas en matière sur des critiques de nature appellatoire (ATF 133 II 396 consid. 3).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - c'est-à-dire arbitraire au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.2.2) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). Le recourant qui entend invoquer l'établissement arbitraire des faits doit satisfaire au principe d'allégation susmentionné (art. 97 al. 1 LTF, supra consid. 1.2). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision qu'a rendue l'autorité précédente (art. 99 al. 1 LTF); il en est ainsi même lorsque la maxime inquisitoire est applicable (ATF 120 II 229 consid. 1c; arrêt 5A_726/2009 du 30 avril 2010 consid. 1.3, non publié in ATF 136 III 365), ce qui est le cas s'agissant des biens des enfants (art. 318 ss CC).
2. Dans un premier grief, le recourant invoque que les faits ont été établis de manière incomplète ("lacunaire"), ce qui constitue une violation de son droit d'être entendu garanti à l'art. 29 al. 2 Cst. et de la maxime inquisitoire.
2.1 La chambre des tutelles a retenu que, devant la justice de paix, le recourant avait produit différentes pièces relatives à sa situation financière, notamment sa déclaration d'impôts 2008, dont il ressortait qu'il avait réalisé un revenu d'indépendant de 82'978 fr., soit 6'915 fr. environ par mois, une attestation selon laquelle il avait perçu, durant cette même année, une rente d'orphelin de 9'724 fr. en faveur de son fils et de 10'944 fr. pour l'année 2009. La chambre des tutelles a relevé que le recourant avait également produit un budget selon lequel les frais de l'enfant et de lui-même, entre février 2008 et février 2009, se montaient à 24'072 fr., payés en partie par la rente d'orphelin, à concurrence de 10'608 fr., et par les allocations familiales, à concurrence de 2'200 fr. Par ailleurs, la chambre des tutelles a jugé que les mesures d'instruction (audition, production de l'entier des dossiers originaux depuis 2008) que le recourant avait requis de mettre en oeuvre n'étaient pas nécessaires, étant donné que ce dernier avait été entendu par la justice de paix le 21 juin 2010, qu'il avait pu exprimer ses arguments par écrit dans son mémoire de recours et que le dossier de la justice de paix avait de toute façon été transmis à l'instance de recours.
2.2 Le recourant reproche à l'instance cantonale de s'être fondée sur des revenus et charges de 2008 pour rendre sa décision du 14 octobre 2010, alors que cette autorité devait examiner d'office sa situation financière actuelle. Il relève que ces chiffres de 2008 ne correspondent plus à la réalité, notamment que son revenu d'indépendant est de 2'365 fr. environ par mois depuis l'année 2010; cette situation obérée ne lui permet plus de subvenir aux besoins de son fils, ce qui aurait dû conduire l'autorité cantonale à l'autoriser à prélever 15'000 fr. par an au maximum sur la fortune de son enfant. Par ailleurs, le recourant estime qu'en se contentant de ces chiffres dépassés, la chambre des tutelles a violé son droit d'être entendu car c'est sans l'avertir, et donc sans lui laisser la possibilité de s'exprimer sur son revenu actuel, qu'elle a statué ainsi.
2.3 Le droit d'être entendu est de nature formelle. Sa violation conduit à l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond. C'est pourquoi il convient d'examiner ce grief avant tout autre (ATF 135 I 279 consid. 2.6.1; arrêt 5A_791/2010 du 23 mars 2011 consid. 2.2, destiné à la publication).
2.3.1 En vertu des art. 29 al. 2 Cst. et 6 ch. 1 CEDH, les parties à une procédure judiciaire ont le droit d'être entendues. Cette garantie englobe notamment le droit à la preuve, que reprend l'art. 8 CC, c'est-à-dire le droit de fournir des moyens de preuve quant aux faits de nature à influer sur le sort de la décision. Si le droit d'alléguer des faits et d'offrir des moyens de preuve pertinents est invoqué en relation avec un droit subjectif découlant d'une norme de droit privé fédéral, comme c'est le cas pour l'art. 320 al. 2 CC, le recourant doit donc se plaindre, sauf exception qui n'entre pas en considération ici (arrêt 5A_561/2009 du 1er décembre 2009 consid. 2.1), de la violation de l'art. 8 CC (arrêt 5A_620/2007 du 7 janvier 2010, consid. 6.1 et les réf. citées, publié in RNRF 2011 (92) 57). Les critiques du recourant seront donc examinées à l'aune de l'art. 8 CC, dont les conditions sont identiques à celles de l'art. 29 al. 2 Cst. (arrêt 5A_726/2009 du 30 avril 2010 consid. 3.1, non publié in ATF 136 III 365).
Le juge enfreint l'art. 8 CC s'il refuse toute administration de preuves sur des faits pertinents en droit (ATF 130 III 591 consid. 5.4). En revanche, cette disposition ne régit pas l'appréciation des preuves, de sorte qu'elle ne prescrit pas quelles sont les mesures probatoires qui doivent être ordonnées (ATF 127 III 519 consid. 2a), ni ne dicte au juge comment forger sa conviction (ATF 128 III 22 consid. 2d; 127 III 248 consid. 3a, 519 consid. 2a); elle n'exclut pas non plus que le juge puisse, sur la base d'une appréciation anticipée des preuves déjà disponibles, refuser l'administration d'une preuve supplémentaire au motif qu'il la tient pour impropre à modifier sa conviction (ATF 131 III 222 consid. 4.3; 129 III 18 consid. 2.6). Si le juge a refusé une mesure probatoire en procédant à une appréciation anticipée des preuves, celle-ci ne peut être contestée qu'en invoquant l'art. 9 Cst. qui protège le justiciable contre l'arbitraire des autorités (arrêt 5A_726/2009 du 30 avril 2010 consid. 3.1, non publié in ATF 136 III 365).
2.3.2 En l'espèce, dans son mémoire de recours du 4 octobre 2010 adressé à la chambre des tutelles, le recourant n'a offert aucune preuve relative à ses charges ou à ses revenus actuels. Il n'a même pas invoqué que sa situation financière se serait modifiée depuis l'année 2008. L'instance cantonale n'a ainsi pas violé l'art. 8 CC, le recourant n'ayant tout simplement pas offert les preuves qu'il reproche aux juges cantonaux de n'avoir pas administrées. En outre, appréciant de manière anticipée les preuves, l'autorité cantonale a refusé d'auditionner le recourant, ce dont ce dernier ne se plaint au demeurant pas.
2.3.2 En l'espèce, dans son mémoire de recours du 4 octobre 2010 adressé à la chambre des tutelles, le recourant n'a offert aucune preuve relative à ses charges ou à ses revenus actuels. Il n'a même pas invoqué que sa situation financière se serait modifiée depuis l'année 2008. L'instance cantonale n'a ainsi pas violé l'art. 8 CC, le recourant n'ayant tout simplement pas offert les preuves qu'il reproche aux juges cantonaux de n'avoir pas administrées. En outre, appréciant de manière anticipée les preuves, l'autorité cantonale a refusé d'auditionner le recourant, ce dont ce dernier ne se plaint au demeurant pas.
2.4 2.4.1 La maxime inquisitoire est applicable aux questions de droit de la famille impliquant un enfant. Elle impose à l'autorité d'éclaircir les faits et de prendre en considération d'office tous les éléments qui peuvent être importants pour rendre une décision conforme à l'intérêt de l'enfant. Toutefois, l'obligation pour l'autorité d'établir d'office les faits n'est pas sans limite: la maxime inquisitoire ne dispense pas les parties d'une collaboration active à la procédure ni d'étayer leurs propres thèses; il leur incombe ainsi de renseigner l'autorité sur les faits de la cause et de lui indiquer les moyens de preuve disponibles. Ce sont ainsi les parties qui, en premier lieu, doivent soumettre à l'autorité les faits déterminants et les offres de preuve (ATF 128 III 411 consid. 3.2.1; arrêt 5A_205/2010 du 12 juillet 2010 consid. 4.3).
2.4.2 En l'espèce, comme dit précédemment, le recourant n'a produit aucune pièce sur sa situation financière actuelle devant l'instance cantonale. Il n'a même pas indiqué, ni dans son mémoire de recours, ni durant son audition devant la première instance, que cette situation se serait modifiée depuis 2008. Partant, l'autorité cantonale n'a pas violé la maxime inquisitoire en ne requérant pas spontanément du recourant qu'il produise de nouvelles pièces sur sa situation financière. Par ailleurs, le recourant fait valoir pour la première fois devant le Tribunal fédéral que cette situation se serait modifiée. Il faut donc considérer ce fait comme nouveau, au sens de l'art. 99 LTF, et le Tribunal fédéral ne doit pas en tenir compte (supra consid. 1.3). Pour faire valoir un fait nouveau, il appartiendra, le cas échéant, au recourant d'introduire une nouvelle requête en prélèvement sur les biens de l'enfant devant la première instance cantonale.
3. Dans un second grief, le recourant se plaint de la violation de l'art. 320 al. 2 CC, l'autorité cantonale ayant refusé de l'autoriser à prélever 15'000 fr. au maximum par année sur la fortune de son fils.
3.1 La chambre des tutelles a jugé que les biens acquis par l'enfant dans le cadre de la succession de sa mère constituaient des éléments de la fortune de ce dernier. Conformément à l'art. 320 al. 2 CC, cette fortune ne pouvait être utilisée qu'avec l'autorisation de l'autorité tutélaire et seulement dans la mesure où cela était nécessaire à l'entretien de l'enfant. Elle a ensuite retenu que le recourant avait manifestement des ressources lui permettant de subvenir à l'entretien de son fils, soit environ 6'900 fr. par mois de revenus, auxquels il fallait encore ajouter la rente d'orphelin et les allocations familiales, de 1'100 fr. au total. Selon l'autorité cantonale, on ne pouvait dès lors pas considérer que des prélèvements sur la fortune de l'enfant étaient nécessaires. Par ailleurs, les juges ont précisé qu'une autorisation générale, fondée sur des besoins futurs éventuels de l'enfant, n'entrait pas en considération dans le cadre de l'art. 320 al. 2 CC; en revanche, une autorisation pouvait être envisagée pour des besoins concrets et précis.
3.2 Le recourant requiert l'autorisation de prélever un montant maximal de 15'000 fr. par an sur les biens de son fils pour "pouvoir subvenir notamment aux dépenses extraordinaires nécessitées par un étudiant de 15 ans, sans avoir à recourir à la justice de paix dont les décisions, en raison de la surcharge judiciaire, sont rendues bien souvent après les échéances de paiement auxquelles [il] doit faire face". Le recourant ne conteste pas qu'il appartient en principe aux parents d'entretenir l'enfant avec leurs propres moyens, ni que l'héritage reçu par son fils tombe sous le coup de l'art. 320 al. 2 CC. Il estime toutefois que cette norme ne dit rien sur la fixation de la contribution. Selon lui, une autorisation peut être octroyée pour un montant annuel maximal. Il explique qu'un adolescent de l'âge de son fils se trouve dans une phase d'existence où il a davantage de besoins matériels et qu'il serait excessivement contraignant de devoir demander systématiquement à l'autorité tutélaire une autorisation de prélèvement pour chacune des dépenses extraordinaires. Partant, l'autorité cantonale aurait dû l'autoriser à prélever un montant maximal de 15'000 fr. sur les comptes de son fils pour subvenir aux imprévus extraordinaires relatifs à l'entretien de ce dernier. Pour appuyer son propos, le recourant expose encore que sa défunte compagne désirait assurer l'entretien de son fils avec l'héritage qu'elle laissait à ce dernier et que son but n'était pas de l'empêcher d'utiliser ces montants; l'application de l'art. 320 al. 2 CC n'est dû, à son avis, qu'à un concours de circonstances résultant du choix de vie des parents de ne pas officialiser leur union par le mariage. Il termine enfin sa motivation en soulignant qu'il n'y a pas de raisons de traiter différemment un parent qu'un tuteur. Pourtant, l'instance inférieure a autorisé ce dernier à exploiter le compte de son pupille à concurrence de 15'000 fr. par année, somme jugée adaptée aux besoins personnels de l'enfant.
3.2 Le recourant requiert l'autorisation de prélever un montant maximal de 15'000 fr. par an sur les biens de son fils pour "pouvoir subvenir notamment aux dépenses extraordinaires nécessitées par un étudiant de 15 ans, sans avoir à recourir à la justice de paix dont les décisions, en raison de la surcharge judiciaire, sont rendues bien souvent après les échéances de paiement auxquelles [il] doit faire face". Le recourant ne conteste pas qu'il appartient en principe aux parents d'entretenir l'enfant avec leurs propres moyens, ni que l'héritage reçu par son fils tombe sous le coup de l'art. 320 al. 2 CC. Il estime toutefois que cette norme ne dit rien sur la fixation de la contribution. Selon lui, une autorisation peut être octroyée pour un montant annuel maximal. Il explique qu'un adolescent de l'âge de son fils se trouve dans une phase d'existence où il a davantage de besoins matériels et qu'il serait excessivement contraignant de devoir demander systématiquement à l'autorité tutélaire une autorisation de prélèvement pour chacune des dépenses extraordinaires. Partant, l'autorité cantonale aurait dû l'autoriser à prélever un montant maximal de 15'000 fr. sur les comptes de son fils pour subvenir aux imprévus extraordinaires relatifs à l'entretien de ce dernier. Pour appuyer son propos, le recourant expose encore que sa défunte compagne désirait assurer l'entretien de son fils avec l'héritage qu'elle laissait à ce dernier et que son but n'était pas de l'empêcher d'utiliser ces montants; l'application de l'art. 320 al. 2 CC n'est dû, à son avis, qu'à un concours de circonstances résultant du choix de vie des parents de ne pas officialiser leur union par le mariage. Il termine enfin sa motivation en soulignant qu'il n'y a pas de raisons de traiter différemment un parent qu'un tuteur. Pourtant, l'instance inférieure a autorisé ce dernier à exploiter le compte de son pupille à concurrence de 15'000 fr. par année, somme jugée adaptée aux besoins personnels de l'enfant.
3.3 3.3.1 Les père et mère doivent pourvoir à l'entretien de l'enfant et assumer, par conséquent, les frais de son éducation, de sa formation et des mesures prises pour le protéger (art. 276 al. 1 CC). Il leur incombe également d'administrer les biens de l'enfant, aussi longtemps qu'ils ont l'autorité parentale (art. 318 CC). Pour l'entretien de l'enfant, les père et mère peuvent utiliser les revenus des biens appartenant à ce dernier (art. 319 al. 1 CC). Autant que les besoins courants l'exigent, ils peuvent également utiliser les versements en capital, dommages-intérêts et autres prestations semblables (art. 320 al. 1 CC). Ces biens utilisables correspondent aux "autres ressources" mentionnées à l'art. 276 al. 3 CC, soit celles qui ont pour fonction spécifique de remplacer l'entretien, dont font partie par exemple une rente d'orphelin ou des allocations familiales (Message du Conseil fédéral à l'Assemblée fédérale concernant la modification du code civil suisse (Filiation), du 5 juin 1974, FF 1974 II 1ss [57 s.]; PETER BREITSCHMID, in Basler Kommentar ZGB I, 4ème éd., 2010, n°30 ad art. 276 CC; DENIS PIOTET, in Commentaire romand CC I, 2010, n°30 ad art. 276 CC; MARTIN STETTLER, Traité de droit privé suisse, III/2, 1, Le droit suisse de la filiation, 1987, 463; PETER TUOR/BERNHARD SCHNYDER/ALII, Das Schweizerische Zivilgesetzbuch, 13ème éd., 2009, 467 n°6). Si ces "autres ressources" ou les biens libérés de l'enfant (art. 321 à 323 CC) satisfont entièrement aux besoins de ce dernier, les père et mère sont déliés de leur obligation d'entretien (art. 276 al. 3 CC; ATF 123 III 161 consid. 4a).
En revanche, les père et mère ne peuvent en principe pas se servir de la substance de la fortune appartenant à l'enfant, autre que celle constituée des biens mentionnés à l'art. 320 al. 1 CC. En ce sens, l'administration du patrimoine de l'enfant est purement conservatoire (BREITSCHMID, op. cit., n°1 ad art. 318 CC; MARIE-LAURE PAPAUX VON DELDEN, La gestion des biens de l'enfant: pouvoir parental et dispositions en faveur de l'enfant, in Journées de droit civil 2008, La planification du patrimoine, 2009, 9 ss [13] [cité: Gestion]).
3.3.2 Le principe précité de l'intangibilité des biens de l'enfant connaît toutefois des limites. Aux termes de l'art. 320 al. 2 CC, lorsque cela est nécessaire pour subvenir à l'entretien, à l'éducation ou à la formation de l'enfant, l'autorité tutélaire peut permettre aux père et mère de prélever sur les autres biens de l'enfant la contribution qu'elle fixera.
Les conditions posées à l'art. 320 al. 2 CC sont, d'une part, la nécessité du prélèvement et, d'autre part, l'affectation de ce dernier à l'entretien, l'éducation ou la formation de l'enfant. Le terme de "nécessité" se définit en fonction de l'obligation précitée des père et mère de subvenir par leurs propres ressources aux besoins de leur enfant (art. 276 al. 1 CC), le propre devoir de l'enfant d'assumer son entretien étant subsidiaire à celui de ses parents. En ce sens, l'utilisation des autres biens mentionnés à l'art. 320 al. 2 CC, même dans l'intérêt direct de l'enfant, revêt un caractère exceptionnel (BREITSCHMID, op. cit., n°2 ad art. 318 CC; MARIE-LAURE PAPAUX VON DELDEN, in Commentaire romand CC I, 2010, n°3 in fine ad art. 319 CC). Elle implique que les père et mère n'aient pas les facultés suffisantes pour couvrir le coût de l'entretien de l'enfant, en totalité ou en partie (JEAN-PIERRE MOSER, La protection du patrimoine du mineur soumis à l'autorité parentale, thèse, 1978, 147; dans le même sens, cf. STETTLER, op. cit., 464 pour qui le prélèvement suppose de "réelles difficultés" des débiteurs d'entretien). En outre, les ressources propres de l'enfant, au sens de l'art. 323 al. 1 CC, ainsi que les biens spécifiquement destinés, de par leur nature, à servir à son entretien, au sens de l'art. 320 al. 1 CC, doivent avoir été épuisés avant que les parents puissent utiliser cette part de la fortune de l'enfant (MOSER, op. cit., 149). Pour pouvoir apprécier la nécessité du prélèvement en fonction de la situation financière des pères et mère, l'autorité tutélaire doit connaître, selon la motivation de la requête, le coût des besoins courants de l'enfant ou celui de la dépense extraordinaire, ainsi que l'objet de cette dernière.
Si les conditions de l'art. 320 al. 2 CC sont remplies, l'autorité doit autoriser le prélèvement et en fixer le montant, la fréquence ainsi que le but (MARIE-LAURE PAPAUX VAN DELDEN, Gestion, 23; RUTH REUSSER, Unterhaltspflicht, Unterstützungspflicht, Kindesvermögen, in Das neue Kindesrecht, Berner Tage für die juristische Praxis 1977, 1978, 61 ss [79]).
3.3.3 En l'espèce, le recourant requiert une autorisation générale de prélever un montant annuel de 15'000 fr. sur les biens de son fils pour des dépenses extraordinaires, futures et hypothétiques. Cette situation ne remplit pas la condition de nécessité de l'art. 320 al. 2 CC. Cette norme suppose, pour une dépense extraordinaire, un besoin actuel et concret que le débiteur d'entretien ne peut pas prendre en charge, faute de ressources propres suffisantes. Partant, l'autorité cantonale n'a pas violé l'art. 320 al. 2 CC en refusant d'octroyer au recourant l'autorisation requise.
3.4 Les allégations du recourant concernant la volonté de la mère de A._ relèvent de l'établissement des faits. Pour critiquer ceux-ci, notamment pour prétendre que certains d'entre eux ont été ignorés à tort, le recourant aurait dû démontrer que l'instance cantonale a violé l'art. 9 Cst. En outre bien que le recourant invoque l'art. 320 al. 2 CC, ses explications sur l'inégalité de traitement dont il serait l'objet par rapport au tuteur consistent en réalité à dire que l'instance cantonale a violé l'art. 8 Cst. A supposer même que ces éléments soient relevants pour la présente cause, ces critiques ne répondent en rien aux exigences de motivation auxquelles un recourant doit satisfaire pour faire valoir la violation d'un de ses droits constitutionnels (principe d'allégation), les normes topiques n'étant au demeurant même pas citées (supra consid. 1.2 et 1.3). Partant, ces critiques sont purement appellatoires et donc irrecevables.
4. Dans un dernier grief, le recourant se plaint de la violation de l'art. 8 al. 2 Cst.
4.1 Le recourant explique que, s'il avait été marié avec la mère de son fils, il aurait hérité de celle-ci et aurait pu utiliser librement cet argent pour subvenir aux besoins de A._. Selon lui, en persistant à lui refuser le droit de prélever de l'argent sur le compte de son fils, les autorités inférieures usent d'un procédé discriminatoire, au sens de l'art. 8 al. 2 Cst., tenant au fait qu'il n'était pas marié avec sa compagne.
4.2 Dans le recours en matière civile ordinaire (art. 95 LTF), les nouveaux moyens de droit basé sur le droit matériel sont admissibles, en vertu du principe de l'application du droit d'office (art. 106 al. 1 LTF), pour autant que l'argumentation juridique repose sur des constatations de fait de la décision attaquée. En revanche, les nouveaux moyens de droit fondés sur le droit constitutionnel notamment, qui sont soumis au principe d'allégation (art. 106 al. 2 LTF; supra consid. 1.2), sont exclus en vertu du principe de la bonne foi et du principe de l'épuisement des griefs (ATF 133 III 639 consid. 2; FABIENNE HOHL, Procédure civile, tome II, 2ème éd., 2010, n°3044 ss).
4.3 En l'espèce, le recourant n'a pas invoqué la violation de l'art. 8 al. 2 Cst. devant les instances cantonales. Ce grief est donc nouveau et, de ce fait, irrecevable.
5. En conclusion, le recours est rejeté, dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant qui succombe entièrement (art. 66 al. 1 LTF). Aucun dépens n'est alloué au canton de Vaud, qui n'a pas été invité à répondre (art. 68 al. 1 LTF) et a agi en qualité d'autorité tutélaire (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant et à la Chambre des tutelles du Tribunal cantonal vaudois.
Lausanne, le 6 juillet 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl Achtari