Faits: A. A.a. En juin 1999, le Service de protection de la jeunesse vaudois (ci-après: SPJ) a été chargé de la protection de X._, à la suite du divorce de ses parents. Le SPJ a traité cette affaire entre 1999 et 2011, après quoi le dossier constitué a été archivé. A.b. La dernière assistante sociale chargée de ce dossier a utilisé les données personnelles sensibles qu'il contenait pour l'élaboration d'un mémoire de diplôme dans le cadre de sa formation. Ce texte a été publié dès 2010 sur le réseau vaudois du Réseau des bibliothèques de Suisse occidentale (RERO). L'utilisation de ces données par l'assistante sociale en question n'a pas fait l'objet d'une autorisation, la méthode d'anonymisation choisie n'était pas adéquate et le consentement préalable de l'intéressé n'a pas été requis. A.c. X._ a eu connaissance pour la première fois de cette publication en juillet 2012 et a requis, le 23 juillet 2012, la suppression intégrale de tout document transcrit, informatique et manuscrit, archivé et non archivé, composant son dossier personnel au SPJ, ainsi que la suppression de toute référence à sa personne et à sa vie dans le mémoire de diplôme de l'assistante sociale concernée. Le 18 septembre 2012, le SPJ a refusé de donner une suite positive à sa demande. Par arrêt du 30 août 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: Cour de droit administratif et public) a rejeté le recours formé par X._ contre cette décision, confirmant ainsi la décision entreprise. Saisie d'un recours du 2 octobre 2013 de X._, la IIe Cour de droit civil du Tribunal fédéral a, par arrêt du 3 février 2014, débouté l'intéressé (arrêt 5A_771/2013). B. Dans l'intervalle, le 15 octobre 2013, le Président de la Cour de droit administratif et public ayant rendu l'arrêt du 30 août 2013 a informé X._ que, à la suite d'une demande de celui-ci du 16 septembre 2013, il avait été décidé de renoncer à la publication de son arrêt du 30 août 2013 sur le site internet du Tribunal cantonal. X._ a, par courrier 28 octobre 2013 adressé à la Présidente de la Chambre III de la Cour de droit administratif et public, pris acte de la décision de renoncer à la publication de l'arrêt du 30 août 2013 sur le site internet du Tribunal cantonal et réitéré sa demande de faire défalquer tous les passages de l'arrêt contenant ses données personnelles sensibles, ainsi que d'ordonner au SPJ qu'il restitue la copie qu'il a reçue de cet arrêt. B.a. Par lettre du 31 octobre 2013, la Présidente de la Chambre III de la Cour de droit administratif et public a confirmé à l'intéressé que l'arrêt du 30 août 2013 ne serait pas publié sur internet, précisé que cet arrêt serait archivé dans le respect des dispositions légales, et rappelé que l'ensemble du personnel du Tribunal cantonal était soumis au secret de fonction. Le 5 novembre 2013, X._ a contesté la décision du 31 octobre 2013 de la Présidente de la Chambre III de la Cour de droit administratif et public, se plaignant que ses données personnelles sensibles figurent, illicitement selon lui, dans l'arrêt du 30 août 2013. Il a requis, alternativement, que l'arrêt visé soit détruit, subsidiairement, que les parties exposant illicitement ses données personnelles sensibles soient défalquées. Il a également demandé à ce que l'ordre soit donné au SPJ de restituer sa copie de l'arrêt du 30 août 2013. B.b. Par courrier du 26 novembre 2013, le Président du Tribunal cantonal vaudois a informé l'intéressé que la Cour de droit administratif et public avait décidé de renoncer à la publication de son arrêt du 30 août 2013 sur le site internet du Tribunal cantonal, mais a refusé la destruction ou la modification de cet arrêt pour en soustraire les passages contenant des données personnelles sensibles. Le 30 novembre 2013, X._ a fait parvenir un mémoire de " réplique " au Président du Tribunal cantonal, dans lequel il a persisté dans sa requête. Par décision du 19 décembre 2013, le Président du Tribunal cantonal a confirmé, d'une part, la renonciation de la Cour de droit administratif et public de publier l'arrêt du 30 août 2013 sur son site internet et, d'autre part, le refus de défalquer certains passages contenant des données personnelles sensibles de l'intéressé. Le Président du Tribunal cantonal a également exposé qu'il n'était pas du ressort du Tribunal cantonal d'intervenir auprès du SPJ. C. Par acte du 28 décembre 2013, X._ exerce un recours au Tribunal fédéral. En substance, il conclut à ce que les décisions des 26 novembre et 19 décembre 2013 du Président du Tribunal cantonal du canton de Vaud soient annulées, à ce que la défalcation de ses données personnelles sensibles de l'arrêt du 30 août 2013 soit ordonnée et à ce que le SPJ soit sommé de restituer la copie de l'arrêt du 30 août 2013. Invité à se déterminer, le Président du Tribunal cantonal du canton de Vaud a, par lettre du 6 mars 2014, déclaré renoncer à déposer des observations.