Faits: A. En juin 1999, le Service de protection de la jeunesse vaudois (ci-après: SPJ) a été chargé de la protection de X._ et de sa fratrie par le juge civil, conformément à l'art. 310 CC, à la suite du divorce de leurs parents. Le SPJ a traité cette affaire du 29 juin 1999 au 31 mai 2011, à savoir jusqu'aux 25 ans de X._, conformément à l'art. 17 al. 2 de la Loi vaudoise sur la protection des mineurs (LProMin; RSV 850.41), après quoi le dossier constitué a été archivé. B. La dernière assistante sociale chargée de ce dossier a utilisé les données personnelles sensibles qu'il contenait pour l'élaboration d'un mémoire de diplôme dans le cadre de sa formation. Ce texte a été publié dès 2010 sur le réseau vaudois du Réseau des bibliothèques de Suisse occidentale (RERO). L'utilisation de ces données par l'assistante sociale en question n'a pas fait l'objet d'une autorisation. Le type d'anonymisation choisi n'était pas adéquat. Le consentement préalable de l'intéressé n'a pas non plus été requis. C. X._ a eu connaissance pour la première fois de cette publication en juillet 2012. Le 23 juillet 2012, X._ a requis la suppression intégrale de tout document transcrit, informatique et manuscrit, archivé et non archivé, composant son dossier personnel au SPJ, ainsi que la suppression de toute référence à sa personne et à sa vie dans le mémoire de diplôme de l'assistante sociale concernée. Le 18 septembre 2012, le SPJ a refusé de donner une suite positive à sa demande. D. Par arrêt du 30 août 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: la Cour d'appel) a rejeté le recours formé par X._ contre cette décision, confirmant ainsi la décision entreprise. E. Par acte du 2 octobre 2013, X._ exerce un recours en matière de droit public au Tribunal fédéral contre cette décision. Il conclut à ce que l'arrêt entrepris soit annulé et la destruction du dossier le concernant, lequel est en mains du SPJ, ordonnée. A l'appui de ses conclusions, il invoque la violation de son droit d'être entendu (art. 29 al. 2 Cst.), de l'interdiction de l'arbitraire (art. 9 Cst.), du principe de proportionnalité et de l'intérêt public (art. 5 al. 2 et 36 Cst.). Il se plaint également d'un emploi abusif des données le concernant au sens des art. 13 al. 2 Cst. et 29 LPrD/VD et d'une atteinte à sa sphère privée au sens de l'art. 8 par. 2 CEDH.