Faits :
A.
A.X._ (1965), de nationalité italienne, et D.Y._ Z._ (1972), de nationalité espagnole, se sont mariés le 8 octobre 2000 en Espagne. Leurs deux enfants, B._, née en 2004, et C._, né en 2006, qui sont titulaires des nationalités italienne et espagnole, sont nés à Lausanne et ont été inscrits à leur naissance à l'état civil suisse sous le nom de famille de leur père, soit " X._ ". Leurs permis d'établissement ont été établis sous le nom de " X._ Y._ ", sur la base de leurs documents d'identité espagnols. Ils ont été inscrits au Contrôle des habitants de leur commune de résidence sous le nom de " X._ Y._ ".
Les parents de B._ et C._ se sont séparés le 27 mars 2015.
B.
B.a. Le 24 janvier 2017, dans le cadre d'une procédure de naturalisation, D.Y._ Z._ a adressé à la Direction de l'état civil du canton de Vaud une requête en modification du nom de ses enfants, demandant qu'ils soient reconnus en Suisse sous le nom de " X._-Y._ ". Par lettre du 6 mars 2017, la Direction de l'état civil a notamment requis une détermination manuscrite et signée par B._, dès lors qu'à partir de 12 ans, un enfant pouvait agir seul en changement de nom, ainsi qu'une détermination écrite et signée du père des enfants. Le 31 mars 2017, la mère a confirmé sa requête et a notamment transmis une détermination écrite de B._ datée du même jour et indiquant qu'elle souhaitait " garder " son nom de famille " X._ Y._ " en tant que citoyenne suisse. A.X._ s'est déterminé le 4 mai 2017. Il s'est opposé au changement de nom des enfants.
Le 8 mai 2017, la Direction de l'état civil a informé la mère que le père refusait le changement de nom de leurs enfants. Cette autorité considérait en outre que la demande était prématurée, notamment au vu du fait que le couple était toujours marié, et indiquait suspendre la procédure pour une durée indéterminée. La mère s'est opposée à la suspension par courrier du 7 juin 2017.
B.b. Le 15 décembre 2017, la Direction de l'état civil a sollicité de la Justice de paix de l'Ouest lausannois l'institution d'une curatelle de représentation en faveur des enfants, au vu du désaccord profond entre les parents. Ceux-ci ont été entendus par la Justice de paix lors d'une audience le 13 mars 2018; ils ont adhéré à la demande d'instauration d'une curatelle. Par décision du même jour, Me Anne-Claire Boudry, avocate, a été nommée curatrice de représentation au sens de l'<ref-law>, avec pour tâche de représenter les enfants dans le cadre de la demande de changement de nom introduite en leurs noms auprès de la Direction de l'état civil.
Le 3 avril 2019, les enfants ont obtenu la nationalité suisse.
Le 13 mai 2019, la curatrice des enfants a requis la reprise de la cause en changement de nom en accord avec la volonté explicite des enfants, qu'elle avait rencontrés séparément et hors présence de leur mère.
B.c. Statuant le 9 octobre 2019, le Département de l'économie, de l'innovation et du sport du canton de Vaud - auquel est rattachée la Direction de l'état civil - a autorisé les enfants à modifier leur nom actuel et à porter à l'avenir les noms " X._ Y._ ".
Par arrêt du 3 mars 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (CDAP) a rejeté le recours interjeté par le père contre cette décision.
C.
Par mémoire du 1er mai 2020, A.X._ exerce un recours en matière civile au Tribunal fédéral, sollicitant en substance l'annulation et la réforme de l'arrêt cantonal, en ce sens que la requête en changement de nom est rejetée.
Il n'a pas été demandé d'observations.

Considérant en droit :
1.
Introduit en temps utile (<ref-law> en lien avec l'art. 1 al. 1 de l'Ordonnance sur la suspension de délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus [COVID-19; RS 173.110.4]) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), prise en application de normes de droit public dans une matière connexe au droit civil, à savoir une affaire soumise au recours en matière civile (art. 72 al. 2 let. b ch. 3 LTF) de nature non pécuniaire. On peut se demander si dans les circonstances de l'espèce, le père des enfants dispose d'un intérêt personnel à recourir (<ref-law>; voir notamment les arrêts 5A_344/2014 du 23 octobre 2014 consid. 1.1 non publié aux <ref-ruling>; 5A_424/2010 du 2 novembre 2010 consid. 1.1), étant rappelé qu'il n'est, sauf exceptions, pas admis d'agir en justice pour faire valoir non pas son propre intérêt, mais l'intérêt d'un tiers (arrêts 5A_388/2018 du 3 avril 2019 consid. 1.2; 5A_459/2016 du 21 septembre 2016 consid. 1.2.1 et les références). La question peut toutefois demeurer indécise dès lors que quoi qu'il en soit, le recours doit être rejeté pour les motifs qui vont suivre.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit, sous peine d'irrecevabilité, satisfaire au principe d'allégation susmentionné (cf. supra consid. 2.1).
3.
L'autorité cantonale a tout d'abord relevé qu'il ressortait des pièces du dossier que les enfants étaient connus depuis leur naissance sous le nom de " X._ Y._ ", tant par les autorités que par des tiers. Ils figuraient dans leurs documents espagnols d'identité sous le double nom " X._ Y._ ", conformément au droit espagnol. Ils étaient connus dans leur commune de domicile, par le contrôle des habitants de U._, sous leur identité espagnole, avec ce double nom, comme cela ressortait de l'attestation d'établissement du 4 avril 2017. Leurs permis d'établissement étaient aussi établis lors de l'ouverture de la procédure de changement de nom sous ce patronyme, avec la mention de leur nationalité d'origine " Espagne ". Si ces inscriptions résultaient manifestement du fait qu'elles avaient été opérées sur la base des documents d'identité espagnols, il n'en demeurait pas moins qu'elles tendaient à établir que les enfants avaient été désignés dans la vie courante sous le double nom " X._ Y._ " dans leurs relations avec les autorités administratives, bien qu'ils aient été inscrits à la naissance à l'état civil avec le seul nom " X._ ". Il en était de même dans le cadre scolaire, comme cela ressortait de diverses pièces, notamment des correspondances avec le Département de la formation, de la jeunesse et de la culture, avec les établissements scolaires qu'ils avaient fréquenté et les résultats des épreuves cantonales de référence. Le père évoquait dans ce cadre le carnet de son fils sur lequel l'enfant aurait seulement inscrit le nom de " X._ ", " Y._ " ayant été ajouté dans une deuxième étape. Cet élément n'était toutefois pas déterminant dans la mesure où l'on ignorait dans quelles circonstances cette adjonction avait été opérée et où l'on ne pouvait forcément y voir une influence ou une action de la mère de l'enfant. Le double nom " X._ Y._ " figurait aussi sur les carnets de santé et de vaccination des enfants depuis leur naissance, de sorte qu'il fallait retenir qu'ils étaient désignés ainsi dans le cadre de leur suivi médical, ce qu'attestaient aussi des convocations par des professionnels de la santé plus récentes. La mention du double nom apparaissait également dans le cadre de la vie sociale des enfants et dans leurs activités extrascolaire (bibliothèque, cours de sécurité vélo, cours de musique ou de cirque).
La cour cantonale a ensuite relevé qu'il fallait aussi tenir compte du fait que les enfants avaient clairement exprimé leur souhait d'avoir comme nom de famille celui de leur père suivi du premier nom de leur mère. B._, alors âgée de 13 ans, l'avait rapidement confirmé par écrit le 31 mars 2017, puis le 6 juin 2017. La curatrice des deux enfants avait recueilli leur opinion en les recevant séparément et hors de la présence de leur mère, le 10 mai 2019. Les deux enfants avaient alors clairement manifesté leur volonté de s'appeler " X._ Y._ " de manière officielle. Pour eux, cela avait " du sens ". Ils avaient spontanément expliqué que cela leur paraissait juste, dès lors que ce nom faisait référence tant à leur père qu'à leur mère, ajoutant que le nom " X._ Y._ " était " le mieux à même de les définir ", B._ ayant déclaré qu'elle se présentait toujours comme B.X._Y._. Selon la curatrice, les enfants étaient donc déterminés dans leur choix et très au clair sur la notion d'identité liée à leur double nom. Elle se déclarait convaincue qu'ils avaient exprimé leur volonté de manière claire et sans influence extérieure. La curatrice avait encore transmis des déclarations signées le 3 septembre 2019 par les deux enfants, qui avaient confirmé de manière explicite leur volonté réelle de porter un double nom. Elle avait maintenu cette position dans son écriture du 14 janvier 2020 en concluant au rejet du recours, étant relevé que la représentation des enfants dans la procédure en changement de nom comprenait également les pouvoirs de renoncer à cette procédure si cela était dans l'intérêt des enfants.
L'autorité cantonale a jugé que le besoin de concordance du nom des enfants avec celui de leurs deux parents, qu'ils considéraient comme le plus juste et le mieux à même de les définir, était parfaitement compréhensible, ce d'autant plus lorsqu'il s'inscrivait dans le cadre d'une séparation des parents manifestement conflictuelle. La décision de porter le double nom permettait de concrétiser dans le nom des enfants la relation entretenue tant du côté maternel que paternel, en dépit de la séparation, et d'éviter un conflit de loyauté dans la mesure où aucun des noms des parents n'était effacé, radié ou supprimé de leur identité. On pouvait ainsi comprendre l'intérêt socio-affectif et la portée symbolique ou sentimentale, pour les enfants, de ce double nom qui leur permettait de s'identifier à leurs deux parents et aussi bien à leur ascendance maternelle que paternelle. Ils avaient parlé à la curatrice d'un sentiment de justice à cet égard. Cela pouvait aussi contribuer à leur donner un sentiment d'appartenance à une famille plus grande, non limitée à ses ascendants paternels.
Pour le surplus, il ne ressortait pas du dossier que la mère avait exercé des pressions particulières sur les enfants. Le compte rendu de leur curatrice et sa position dans la procédure étaient parfaitement clairs. Aucun élément du dossier ne permettait de mettre en doute l'appréciation de la curatrice ou sa partialité. Le père n'apportait d'ailleurs aucun élément sérieux qui tendrait à établir que la mère ait forcé ses enfants ou qu'elle les ait incités à vouloir porter impérativement un double nom, l'évocation de l'agenda scolaire de C._ étant à cet égard anecdotique. La nécessité de procéder à une évaluation pédopsychiatrique des enfants ne se justifiait pas en l'espèce et devait être réservée à des situations complexes lorsqu'il existait des problèmes majeurs ou des menaces particulières concernant la santé et l'éducation des enfants. Par ailleurs, les deux enfants étaient âgés de plus de 12 ans lorsque la décision de première instance avait été rendue. Il convenait donc de retenir qu'ils avaient désormais suffisamment d'autonomie et de maturité pour apprécier en toute liberté la manière dont ils souhaitaient se faire appeler. Or, ils avaient clairement manifesté leur intention de vouloir changer de nom.
La cour cantonale a souligné qu'on ne voyait pas en quoi l'adjonction de " Y._ " au nom de " X._ " rendrait plus difficile l'intégration en Suisse des enfants, aucun de ces deux noms n'ayant d'ailleurs une consonance étrangère plus marquée que l'autre. Il n'était pas problématique non plus que leur identité italienne ne soit pas " X._ Y._ ". Il fallait constater qu'il était courant, pour des personnes binationales, voire tri-nationales comme c'était le cas désormais des deux enfants devenus suisses, que leurs noms ne correspondent pas dans leurs différentes pièces d'identité selon la nationalité concernée, la détermination des noms dans chaque Etat étant opérée en fonction de règles propres qui pouvaient être très différentes.
La cour cantonale a encore relevé qu'à l'instar de la situation tranchée dans l'<ref-ruling>, les enfants sollicitaient l'attribution d'un double nom composé du patronyme de chacun de leurs parents, afin de faire coïncider leur identité officielle avec leur identité administrative, sociale et scolaire. Leur situation différait dès lors de celle d'un enfant auquel on refuse la possibilité de porter le double nom de son père et de sa mère et pour lequel ce simple souhait ne répond pas à un motif légitime. Il s'agissait plus de compléter le nom du père en ajoutant le nom de la mère que d'un vrai changement de nom. Il fallait aussi tenir compte du fait qu'il ne s'agissait pas du nom d'un tiers (par exemple, le nom du nouveau mari de la mère, si elle se remarie) et qu'en Espagne, pays d'origine des enfants, cette possibilité de porter un double nom existait.
En définitive, pour tous ces motifs, la Cour de droit administratif et public a considéré que la démarche de changement de nom ne paraissait pas procéder d'une simple " lubie " que la révision législative de 2011 ne permettrait pas de concrétiser, mais qu'elle reposait sur des motifs légitimes, au sens de l'<ref-law>. Les motifs subjectifs et le sentiment de justice invoqués n'étaient pas anodins dans le cadre d'une procédure de séparation et de relations parentales conflictuelles. Par ailleurs, les différentes pièces produites démontraient que les enfants étaient manifestement connus de l'administration et de leur entourage privé et scolaire sous le double nom " X._ Y._ " depuis leur naissance; elles attestaient ainsi de l'importance objective que revêtait depuis longtemps ce nom qu'ils souhaitaient officialiser.
4.
Se plaignant d'une violation des <ref-law>, 37 et 38 LDIP et 8 al. 1 Cst. ainsi que d'arbitraire (art. 9 Cst.), le recourant conteste l'existence de motifs légitimes au changement de nom.
4.1. En principe, le nom d'une personne est immuable (<ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2; <ref-ruling> consid. 3.1). Dans certaines constellations propres au droit de la famille (art. 270 al. 2, art. 270a al. 2, art. 8a Tit. fin. CC), la loi autorise le changement de nom de façon inconditionnelle (ch. I de la loi fédérale du 30 septembre 2011 [nom et droit de cité], en vigueur depuis le 1er janvier 2013; RO 2012 2569). S'il existe des motifs légitimes (achtenswerte Gründe, motivi degni di rispetto), le gouvernement du canton de domicile peut également autoriser une personne à changer de nom (<ref-law>, dans sa version en vigueur depuis le 1er janvier 2013). Le point de savoir s'il existe, dans un cas individuel, des " motifs légitimes " en vue du changement de nom relève du pouvoir d'appréciation, que l'autorité compétente doit exercer selon les règles du droit et de l'équité (<ref-law>; <ref-ruling> consid. 3.1; <ref-ruling> consid. 3.2).
4.2. Jusqu'à l'entrée en vigueur de l'<ref-law> dans sa nouvelle teneur et l'introduction de la notion de " motifs légitimes ", une personne désirant changer de nom devait faire la démonstration que de " justes motifs " fondaient sa requête, à savoir, outre l'existence de motifs liés au nom lui-même, celle de motifs entraînant des désavantages sociaux concrets et sérieux (cf. de manière générale ATF <ref-ruling> consid. 3.1.1). La jurisprudence était particulièrement restrictive à cet égard, ne tenant compte que des motifs objectifs invoqués par le requérant (notamment: arrêts 5C.163/2002 du 1er octobre 2002 consid. 2.1 publié in: FamPra.ch 2003 114; 5C.2/1993 du 14 avril 1993 consid. 3 publié in: REC 61/1993 p. 298 s.).
Selon la jurisprudence, la notion de " motifs légitimes " doit être appréciée de manière plus souple que celle de " justes motifs ". La requête doit cependant toujours faire état de motifs particuliers, lesquels ne peuvent être illicites, abusifs ou contraires aux moeurs; le nom lui-même doit de surcroît être conforme au droit et ne pas porter atteinte au nom d'un tiers. La composante subjective ou émotionnelle de la motivation du requérant ne peut en revanche être écartée comme par le passé, pour autant toutefois que les raisons invoquées atteignent une certaine gravité et ne soient pas purement futiles. Le nom ne doit en effet pas perdre sa fonction identificatrice et il ne s'agit pas de contourner le principe de son immutabilité, qui reste en vigueur malgré la modification législative (<ref-ruling> consid. 3.2 et les nombreuses références).
L'officialisation d'un pseudonyme peut ainsi constituer un motif légitime de changement de nom lorsque les conditions pour qu'il figure sur le passeport à titre de complément officiel (cf. art. 2 al. 4 de la loi fédérale sur les documents d'identité des ressortissants suisses [LDI], RS 143.1) seraient remplies, le requérant devant alors démontrer que son nom d'artiste a une importante objective dans sa vie économique et sociale (à l'aide par exemple de contrats d'artiste, d'articles de presse, d'affiches, de documents sur l'activité artistique, etc.; <ref-ruling> consid. 3.2 et les références). Un examen attentif des circonstances concrètes reste dans tous les cas nécessaire (<ref-ruling> consid. 3.3.4).
4.3. Lorsque le juge cantonal dispose d'un pouvoir d'appréciation, le Tribunal fédéral ne revoit en principe qu'avec réserve sa décision prise en équité. Il intervient lorsque celle-ci s'écarte sans raison des règles établies par la jurisprudence en matière de libre appréciation, ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une inéquité choquante (<ref-ruling> consid. 3.3 et les références; <ref-ruling> consid. 3.2.5; <ref-ruling> consid. 2; <ref-ruling> consid. 5.4).
5.
5.1. Le recourant soutient que la décision entreprise relève d'un abus du pouvoir d'appréciation et contrevient à l'<ref-law>. Elle serait aussi arbitraire, au sens de l'art. 9 Cst., dans ses motifs - faute de prendre en compte le fait que les enfants ne sont pas connus partout sous le double nom - et dans son résultat, dès lors qu'elle valide une solution non conforme au droit suisse. Le recourant rappelle que selon la jurisprudence, le nouveau nom requis doit être conforme au droit, et que le droit suisse n'autorise pas les enfants à porter un double nom composé de ceux de leurs deux parents. Selon lui, si le législateur avait eu l'intention d'ouvrir une telle possibilité, il l'aurait fait lors de la modification du droit du nom en 2013. Se référant aux art. 37 et 38 LDIP, le recourant fait en outre valoir que les conditions d'un changement de nom sont exclusivement soumises au droit suisse, de sorte que l'admissibilité du port du double nom en droit espagnol serait un élément dénué de pertinence dans le cadre de la pesée des intérêts en jeu. En outre, la prise en compte d'un tel critère dans le cas présent aurait pour effet de favoriser l'application du droit espagnol sur celle du droit italien, pays dont les enfants sont aussi originaire, ce qui ne serait pas admissible et contraire au principe de l'égalité de traitement consacré par l'art. 8 al. 1 Cst.; il relève que les enfants de ressortissants suisses ne pourraient pas bénéficier de cette possibilité contraire au droit Suisse. Il rappelle également que les enfants ont vécu en Suisse depuis leur naissance et qu'ils en ont désormais la nationalité, de sorte qu'ils n'ont pas un lien étroit avec l'Espagne. Dans la mesure où la cour cantonale avait en outre tenu compte du fait que la séparation des parents était conflictuelle et que le port du double nom aurait dans ce contexte un intérêt socio-affectif, elle violerait aussi le principe de l'égalité de traitement, traitant en effet de manière inégale les enfants de parents séparés ou divorcés de ceux de parents mariés ou en concubinage, alors qu'une telle inégalité ne serait pas prévue par la loi.
Le recourant soutient aussi que l'autorité cantonale n'a à tort pas tenu compte, dans son appréciation, du fait qu'en réalité, les enfants ne sont pas connus partout sous le double nom " X._ Y._ ". Renvoyant sur ce point à un arrêt du 21 novembre 2018 de la Chambre des curatelles du Tribunal cantonal du canton de Vaud, il expose que seul le nom " X._ " figurerait sur les documents d'identité italiens des enfants, sur leurs cartes de code fiscal italien, sur leur carnet de l'Ecole suisse de ski, sur un extrait du certificat de famille, sur des demandes de renseignements établies le 20 décembre 2017 par le contrôle des habitants de leur commune de domicile, sur deux attestations d'assurance datées du 13 mars 2018 ainsi que sur un courrier du 20 juillet 2018 de l'établissement scolaire des enfants.
5.2. En tant que le recourant affirme qu'en réalité, les enfants ne seraient pas connus partout sous le double nom " X._ Y._ ", exposant que seul le nom " X._ " figurerait sur divers documents, il fait valoir des faits qui ne ressortent pas de l'arrêt entrepris sans toutefois invoquer leur établissement arbitraire, de sorte que ceux-ci doivent être ignorés (cf. supra consid. 2.2).
Pour le surplus, s'il est vrai que le droit suisse ne prévoit pas la possibilité, pour des enfants, de porter un double nom composé de celui de leur père et de leur mère, il n'en demeure pas moins que sous l'angle de l'<ref-law>, la jurisprudence a déjà eu l'occasion de préciser que dans des situations très particulières, l'autorité compétente pouvait, dans le cadre de son pouvoir d'appréciation, admettre un tel changement de nom en présence de motifs légitimes au sens de l'<ref-law> (<ref-ruling> consid. 4.4). En l'occurrence, l'autorité cantonale a notamment tenu compte du fait - qui lie le Tribunal fédéral (cf. supra paragraphe précédent) - que les enfants étaient généralement connus depuis leur naissance sous le double nom requis, de sorte que ce nom était le mieux à même de les définir, ainsi que l'ont d'ailleurs clairement confirmé les enfants à plusieurs reprises au cours de la procédure. Comme cela ressort de l'arrêt entrepris, il ne s'agit pas d'un " simple souhait " exprimé par des enfants de porter un nom composé des noms respectifs de leurs deux parents, mais d'une volonté plus profonde qui tend à faire correspondre leur nom officiel avec celui sous lequel ils ont été couramment appelés depuis leur naissance, autrement dit, avec le nom qu'ils considèrent comme correspondant à leur véritable identité. La cour cantonale était fondée à prendre en considération la composante émotionnelle de la motivation des enfants à changer de nom et à leur permettre de faire correspondre leur identité officielle avec celle sous laquelle ils ont été couramment désignés depuis des années (cf. supra consid. 4.2), de sorte que la décision entreprise n'est pas critiquable sous cet angle. En tant que le recourant se plaint de ce que l'autorité cantonale n'aurait pas pris en considération dans son appréciation le fait que les documents d'identité italiens des enfants ne mentionnent que le nom de " X._ ", il se méprend puisque les juges cantonaux ont expressément tenu compte de cet élément de fait. Ils ont en effet considéré qu'en soi, cela ne suffisait pas à faire obstacle au changement de nom requis, dès lors qu'il était courant, pour des personnes ayant plusieurs nationalités, que leurs noms ne correspondent pas dans leurs différentes pièces d'identité.
En définitive, il apparaît que dans les circonstances particulières du cas d'espèce, l'autorité cantonale n'a pas abusé du large pouvoir d'appréciation qui est le sien dans l'application de l'<ref-law> en admettant la requête en changement de nom, indépendamment du point de savoir s'il était admissible, dans ce contexte, de tenir compte comme elle l'a fait du fait que le droit espagnol autorise le port du double nom ou encore du caractère conflictuel de la séparation des parents. Les griefs de violation des <ref-law> et 38 LDIP doivent ainsi être rejetés, étant relevé qu'en tant que le recourant expose que la décision entreprise est " arbitraire ", il omet que l'examen de la conformité de la décision entreprise aux dispositions du droit fédéral n'est ici pas limitée à l'arbitraire (cf. supra consid. 2.1). Enfin, en tant que le recourant fait valoir la violation du principe de l'égalité de traitement, on ne discerne pas en quoi ce principe aurait une portée propre ici. En effet, une décision viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à juger ou lorsqu'elle omet de faire des distinctions qui s'imposent sur le vu des circonstances (<ref-ruling> consid. 4.1; <ref-ruling> consid. 5.1). S'agissant des " motifs légitimes " permettant de requérir un changement de nom, la pesée des intérêts à effectuer implique de tenir compte de l'ensemble des circonstances de chaque cas d'espèce, de sorte que des solutions différentes peuvent se justifier en fonction des diverses situations de fait en présence, ce qui ne saurait en soi contrevenir au principe précité. Au demeurant, comme il vient d'être dit, au vu de la retenue dont doit faire preuve le Tribunal fédéral en la matière (cf. supra consid. 4.3), la solution de l'arrêt entrepris peut être confirmée indépendamment des origines espagnoles de la mère et de l'intensité du conflit parental, quel que soit le statut matrimonial des parents.
6.
En conclusion, le recours est rejeté dans la mesure de sa recevabilité. Les frais judiciaires sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'y a pas lieu d'allouer de dépens, des observations n'ayant pas été demandées.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux participants à la procédure et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 12 juillet 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo