Faits:
A.
A.a. En juin 1999, le Service de protection de la jeunesse vaudois (ci-après: SPJ) a été chargé de la protection de X._, à la suite du divorce de ses parents. Le SPJ a traité cette affaire entre 1999 et 2011, après quoi le dossier constitué a été archivé.
A.b. La dernière assistante sociale chargée de ce dossier a utilisé les données personnelles sensibles qu'il contenait pour l'élaboration d'un mémoire de diplôme dans le cadre de sa formation. Ce texte a été publié dès 2010 sur le réseau vaudois du Réseau des bibliothèques de Suisse occidentale (RERO). L'utilisation de ces données par l'assistante sociale en question n'a pas fait l'objet d'une autorisation, la méthode d'anonymisation choisie n'était pas adéquate et le consentement préalable de l'intéressé n'a pas été requis.
A.c. X._ a eu connaissance pour la première fois de cette publication en juillet 2012 et a requis, le 23 juillet 2012, la suppression intégrale de tout document transcrit, informatique et manuscrit, archivé et non archivé, composant son dossier personnel au SPJ, ainsi que la suppression de toute référence à sa personne et à sa vie dans le mémoire de diplôme de l'assistante sociale concernée.
Le 18 septembre 2012, le SPJ a refusé de donner une suite positive à sa demande.
Par arrêt du 30 août 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: Cour de droit administratif et public) a rejeté le recours formé par X._ contre cette décision, confirmant ainsi la décision entreprise.
Saisie d'un recours du 2 octobre 2013 de X._, la IIe Cour de droit civil du Tribunal fédéral a, par arrêt du 3 février 2014, débouté l'intéressé (arrêt 5A_771/2013).
B.
Dans l'intervalle, le 15 octobre 2013, le Président de la Cour de droit administratif et public ayant rendu l'arrêt du 30 août 2013 a informé X._ que, à la suite d'une demande de celui-ci du 16 septembre 2013, il avait été décidé de renoncer à la publication de son arrêt du 30 août 2013 sur le site internet du Tribunal cantonal.
X._ a, par courrier 28 octobre 2013 adressé à la Présidente de la Chambre III de la Cour de droit administratif et public, pris acte de la décision de renoncer à la publication de l'arrêt du 30 août 2013 sur le site internet du Tribunal cantonal et réitéré sa demande de faire défalquer tous les passages de l'arrêt contenant ses données personnelles sensibles, ainsi que d'ordonner au SPJ qu'il restitue la copie qu'il a reçue de cet arrêt.
B.a. Par lettre du 31 octobre 2013, la Présidente de la Chambre III de la Cour de droit administratif et public a confirmé à l'intéressé que l'arrêt du 30 août 2013 ne serait pas publié sur internet, précisé que cet arrêt serait archivé dans le respect des dispositions légales, et rappelé que l'ensemble du personnel du Tribunal cantonal était soumis au secret de fonction.
Le 5 novembre 2013, X._ a contesté la décision du 31 octobre 2013 de la Présidente de la Chambre III de la Cour de droit administratif et public, se plaignant que ses données personnelles sensibles figurent, illicitement selon lui, dans l'arrêt du 30 août 2013. Il a requis, alternativement, que l'arrêt visé soit détruit, subsidiairement, que les parties exposant illicitement ses données personnelles sensibles soient défalquées. Il a également demandé à ce que l'ordre soit donné au SPJ de restituer sa copie de l'arrêt du 30 août 2013.
B.b. Par courrier du 26 novembre 2013, le Président du Tribunal cantonal vaudois a informé l'intéressé que la Cour de droit administratif et public avait décidé de renoncer à la publication de son arrêt du 30 août 2013 sur le site internet du Tribunal cantonal, mais a refusé la destruction ou la modification de cet arrêt pour en soustraire les passages contenant des données personnelles sensibles.
Le 30 novembre 2013, X._ a fait parvenir un mémoire de " réplique " au Président du Tribunal cantonal, dans lequel il a persisté dans sa requête.
Par décision du 19 décembre 2013, le Président du Tribunal cantonal a confirmé, d'une part, la renonciation de la Cour de droit administratif et public de publier l'arrêt du 30 août 2013 sur son site internet et, d'autre part, le refus de défalquer certains passages contenant des données personnelles sensibles de l'intéressé. Le Président du Tribunal cantonal a également exposé qu'il n'était pas du ressort du Tribunal cantonal d'intervenir auprès du SPJ.
C.
Par acte du 28 décembre 2013, X._ exerce un recours au Tribunal fédéral. En substance, il conclut à ce que les décisions des 26 novembre et 19 décembre 2013 du Président du Tribunal cantonal du canton de Vaud soient annulées, à ce que la défalcation de ses données personnelles sensibles de l'arrêt du 30 août 2013 soit ordonnée et à ce que le SPJ soit sommé de restituer la copie de l'arrêt du 30 août 2013.
Invité à se déterminer, le Président du Tribunal cantonal du canton de Vaud a, par lettre du 6 mars 2014, déclaré renoncer à déposer des observations.

Considérant en droit:
1.
Le litige porte sur le refus de l'autorité cantonale de détruire ou de défalquer des données personnelles sensibles d'un arrêt de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud rendu à la suite d'une demande de destruction d'un dossier archivé concernant le suivi du recourant par le Service de protection de la jeunesse, ainsi que sur la non-entrée en matière sur la requête tendant à ordonner à la partie adverse de l'arrêt de la Cour de droit administratif et public de restituer la copie de cette décision.
1.1. Dans sa lettre du 26 novembre 2013, le Président du Tribunal cantonal a exposé au recourant que l'arrêt querellé ne pouvait ni être détruit, ni défalqué pour en soustraire les données personnelles sensibles, dès lors que les décisions des autorités judiciaires doivent être archivées. Le Président du Tribunal cantonal a cependant précisé qu'en vertu des art. 10 à 12 de la loi du 14 juin 2011 sur l'archivage (LArch), durant les délais de protection légaux, la consultation par le public des archives est soumise à l'autorisation de l'autorité qui a versé les documents et que celle-ci se prononcera conformément à la législation sur l'information et sur la protection des données personnelles. A cet égard, le Président du Tribunal cantonal a informé le recourant que les art. 25 ss de la loi du 11 septembre 2007 sur la protection des données (LPrD), qui règlent les droits de la personne concernée, et les art. 31 ss LPrD concernant les voies de recours, s'appliquaient, le cas échéant. S'agissant de la restitution de la copie du SPJ, le Président du Tribunal cantonal a invité le recourant à s'adresser directement à ce service.
Par courrier du 19 décembre 2013, le Président du Tribunal cantonal a confirmé " ne pas pouvoir entrer en matière " sur la demande de destruction/défalcation, indiquant qu'il n'est pas possible de demander la modification ou la soustraction de certains passages des décisions, dès lors que les normes sur la conservation des archives et sur la protection des données personnelles offrent des garanties suffisantes pour protéger, le cas échéant, les intérêts privés. Pour le surplus, le Président du Tribunal cantonal a à nouveau exposé que le SPJ n'est pas partie à cette procédure, en sorte qu'il n'était pas " de [son] ressort " d'intervenir pour ordonner au SPJ la restitution de la copie de l'arrêt. Le Président du Tribunal cantonal a enfin informé le recourant que la présente mettait un terme à leurs " échanges de courriers ".
1.2. A teneur de l'<ref-law>, les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit. Il résulte de cette norme que l'état de fait figurant dans les décisions susceptibles de recours devant le Tribunal fédéral doit être suffisant pour lui permettre de contrôler de quelle manière le droit fédéral a été appliqué (arrêt 4A_370/2012 du 4 décembre 2012 consid. 2.2). Ainsi, lesdites décisions doivent indiquer clairement les faits qui sont établis et les déductions juridiques qui sont tirées de l'état de fait déterminant ( HANSJÖRG SEILER, Bundesgerichtsgesetz, Seiler/von Werdt/Güngerich [éds], 2007, n° 9 s. ad <ref-law>).
Le dispositif est l'élément essentiel de la décision, en tant qu'il est l'expression de la manifestation de volonté de l'autorité d'exercer un effet sur un rapport juridique déterminé, qu'il précise les droits et obligations qui résultent du jugement et surtout dès lors que le recours au Tribunal fédéral est fermé à celui qui entend se plaindre uniquement de la motivation de l'arrêt entrepris ( YVES DONZALLAZ, Loi sur le Tribunal fédéral, Commentaire, 2008, n° 4512 ss ad <ref-law>). Il est donc indispensable que la décision contienne un dispositif.
Les tribunaux doivent enfin mentionner le délai de recours et les voies de droit, à tout le moins la simple possibilité de recourir au Tribunal fédéral (art. 112 al. 1 let. d LTF; arrêt 5D_134/2010 du 3 décembre 2010 consid. 2; DONZALLAZ, op. cit., n° 4515 ad <ref-law>; BERNHARD EHRENZELLER, Basler Kommentar BGG, Niggli/Uebersax/Wiprächtiger [éds], 2008, n° 11 ad <ref-law>). Dans la mesure où le recourant a été capable de recourir au Tribunal fédéral dans le délai, nonobstant l'absence de mention des voies de recours ou une indication inexacte, celui-ci ne subit aucun préjudice de ce vice et ne peut en conséquence s'en plaindre devant le Tribunal fédéral (arrêt 5D_134/2010 du 3 décembre 2010 consid. 2; DONZALLAZ, op. cit., n° 4516 ad <ref-law>; SEILER, op. cit., n° 27 ad <ref-law>; EHRENZELLER, op. cit., n° 17 ad <ref-law>).
1.3. Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut alternativement la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, ou l'annuler (<ref-law>; arrêt 5A_18/2013 du 1 er juillet 2013 consid. 3.1.2; SEILER, op. cit., n° 30 ad <ref-law>; DONZALLAZ, op. cit., n° 4523 ad <ref-law>; ANNETTE DOLGE, Bundesgerichtsgesetz, Praxiskommentar, Spühler/Aemisegger/Dolge/Vock [éds], 2013, n° 12 ad <ref-law>). L'annulation de l'arrêt entrepris suppose que le vice constaté ne soit pas susceptible d'être amélioré, à savoir lorsqu'il s'avère important ( DONZALLAZ, op. cit., n° 4524 ad <ref-law>). Lorsque les motifs déterminants de fait et de droit font défaut (let. b) ou en l'absence de dispositif (let. c), il n'incombe pas au Tribunal fédéral de se substituer à l'autorité précédente - qui n'a en réalité pas rempli entièrement son devoir de juger la cause - et de trancher à sa place. Dans une telle situation, la décision attaquée doit être annulée et la cause renvoyée à l'autorité cantonale pour qu'elle statue à nouveau dans une décision conforme aux exigences de l'<ref-law> (Bernard Corboz, Commentaire de la LTF, 2009, n° 60 ad <ref-law>; EHRENZELLER, op. cit., n° 22 ad <ref-law>).
1.4. En l'occurrence, la décision attaquée, qui se présente sous la forme de deux lettres du Président du Tribunal cantonal des 26 novembre et 19 décembre 2013, statue sur une requête du recourant, en ce sens qu'elle confirme la décision de l'autorité inférieure de ne pas publier l'arrêt querellé sur le site internet du Tribunal cantonal, mais rejette au surplus la destruction ou la défalcation de certains passages de cet arrêt, ainsi que l'ordre de restitution de la copie de l'arrêt par le SPJ. Il s'ensuit que ces courriers constituent matériellement des décisions. En ce qui concerne l'aspect formel, la décision attaquée ne comporte aucun établissement des faits, ni résumé de la procédure ayant précédé l'arrêt querellé. En outre, aucun des deux courriers ne fait référence ni aux dispositions fondant la compétence du Président du Tribunal cantonal pour connaître de la cause, ni aux dispositions procédurales sur la base desquelles la décision querellée a été rendue. Il s'ensuit que la décision viole l'obligation de l'autorité d'indiquer clairement l'état de fait et les déductions juridiques qui en sont tirées (<ref-law>). De surcroît, la décision attaquée ne contient pas de dispositif, en sorte que l'on ne sait pas ce qui relève de la motivation ou du dispositif qui lie les parties, et la question des frais et dépens n'est pas évoquée non plus (art. 112 al. 1 let. c LTF). Enfin, aucun des courriers du Président du Tribunal cantonal ne contient d'indications relatives au délai pour entreprendre cette décision et aux voies de droit, pas même la mention de la possibilité de recourir au Tribunal fédéral (art. 112 al. 1 let. d LTF), le Président du Tribunal cantonal se contentant de signaler que la lettre du 19 décembre 2013 met un terme à leurs " échanges de courriers ".
1.5. En conclusion, la décision entreprise ne contient aucun état de fait, la présentation de la procédure est trop succincte, l'exposé du raisonnement juridique est totalement insuffisant pour permettre de contrôler en particulier la compétence du juge, la nature de la procédure, ainsi que les motifs de refus, et enfin, le dispositif et les voies de droit font défaut. Vu ce qui précède, les vices formels de la décision du Président du Tribunal cantonal sont trop importants pour renvoyer l'arrêt et en requérir l'amélioration. La gravité des défauts constatés justifie en l'espèce que l'arrêt du Président du Tribunal cantonal soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision (<ref-law>).
2.
Compte tenu des circonstances et considérant que le canton de Vaud n'a pas à supporter de frais (<ref-law>), le présent arrêt est rendu sans frais (art. 66 al. 1 2 ème phr. LTF; DONZALLAZ, op. cit., n° 4524 ad <ref-law>). Il n'y a pas lieu d'allouer une indemnité de dépens au recourant, qui n'est pas représenté en procédure par un avocat (art. 68 al. 1 et 2 LTF; <ref-ruling> consid. 4 p. 446).

Par ces motifs, le Tribunal fédéral prononce:
1.
L'arrêt attaqué est annulé et la cause est renvoyée à la cour cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Président du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 mars 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Gauron-Carlin