Faits :
A.
A.a. A._ est ressortissante suisse née en 1969. Elle a trois enfants nés entre 1993 et 1997 d'une union dissoute par le divorce en juillet 2011. B._ est ressortissant kosovar né en 1984. Il est célibataire et n'a pas d'enfant. Ces deux personnes ont déposé durant les mois d'octobre et de novembre 2019 une demande de préparation de mariage auprès de l'Office de l'état civil de La Côte (ci-après: office de l'état civil) et de la Représentation suisse à Pristina (Kosovo).
A.b. Par courrier adressé le 7 novembre 2019 à l'Office fédéral de la justice (OFJ), l'Ambassade de Suisse au Kosovo a relevé différents " i ndices pour un mariage abusif selon les documents soumis ". Le 5 mars 2020, A._ a dès lors été entendue par l'office de l'état civil et B._ par l'Ambassade précitée.
A.c. Par courrier adressé le 11 mars 2020 à A._ et B._, la Direction de l'état civil du canton de Vaud a relevé l'existence de " doutes sérieux " quant à la réalité de leur union, " au vu des nombreuses contradictions, de la méconnaissance de l'un et de l'autre et des difficultés de communication entre [eux] " telles qu'elles résultaient de leur audition, de sorte que l'officier d'état civil " aurait la possibilité de refuser son concours p our prononcer le mariage ". Elle a invité les intéressés à se déterminer avant qu'une décision ne soit rendue.
B.
B.a. Par décision du 22 juillet 2020, l'office de l'état civil a refusé son concours à la célébration du mariage des parties.
B.b. Par arrêt du 11 novembre 2020, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté le recours interjeté par A._ et B._ contre cette décision.
C.
Par acte posté le 12 décembre 2020, A._ et B._ interjettent un " recours en matière de droit public " contre cet arrêt. Ils concluent, principalement, à sa réforme, en ce sens qu'il est ordonné à l'office de l'état civil de constater la clôture de la procédure préparatoire et de procéder à la célébration du mariage, et, subsidiairement, à son annulation et au renvoi de la cause à l'autorité cantonale pour nouvelle instruction et décision au sens des considérants. En substance, ils se plaignent de la violation des art. 14 et 29 al. 2 Cst., 6 § 1 et 12 CEDH, et 97a CC.
Des observations n'ont pas été requises.

Considérant en droit :
1.
L'arrêt attaqué, qui confirme le refus de l'office de l'état civil de concourir à la célébration du mariage (<ref-law>), constitue une décision finale au sens de l'<ref-law>, prise sur recours par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), en application de normes de droit public, dans une matière connexe au droit civil (art. 72 al. 2 let. b ch. 2 LTF; arrêts 5A_764/2018 du 28 décembre 2018 consid. 1; 5A_743/2013 du 27 novembre 2013 consid. 1.1; 5A_901/2012 du 25 janvier 2013 consid. 1.1; 5A_814/2011 du 17 janvier 2012 consid. 1, non publié in <ref-ruling>). C'est dès lors le recours en matière civile qui est ouvert en l'espèce. La dénomination erronée du recours ne saurait cependant nuire aux recourants, dans la mesure où leur acte répond aux exigences de la voie de droit à disposition (<ref-ruling> consid. 1.1). Pour le reste, la décision entreprise est de nature non pécuniaire (<ref-law> a contrario). Le présent recours est interjeté dans le respect du délai légal (<ref-law>) et de la forme prévue par l'<ref-law>, par des parties qui ont succombé dans leurs conclusions prises devant l'autorité précédente et jouissent d'un intérêt digne de protection à l'annulation ou à la modification de la décision déférée (<ref-law>).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, compte tenu de l'obligation de motiver qui incombe au recourant en vertu de l'art. 42 al. 1 et 2 LTF, il n'examine pas toutes les questions juridiques qui peuvent se poser, mais seulement celles qui sont soulevées devant lui (<ref-ruling> consid. 2.4 et les références). L'<ref-law> exige par ailleurs que le recourant discute les motifs de la décision entreprise et indique précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). En outre, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si de tels griefs ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3.1).
En l'espèce, la partie " Faits allégués par la partie recourante " (p. 2 ss) sera ignorée en tant que les éléments qui y sont exposés s'écartent de ceux contenus dans l'arrêt attaqué et que les recourants n'invoquent, ni a fortiori ne démontrent, leur établissement arbitraire ou que leur correction influerait sur le sort de la cause.
3.
En substance, l'autorité cantonale a confirmé la motivation de la décision rendue par l'office de l'état civil selon laquelle le concours à la célébration du mariage devait être refusé compte tenu des indices permettant de considérer qu'on se trouvait manifestement en présence d'un mariage de complaisance.
4.
Les recourants se plaignent de la violation de leur droit d'être entendus (art. 29 al. 2 Cst.; 6 § 1 CEDH). Ils soutiennent qu'ils ont requis leur audition dans leur recours et que l'autorité cantonale a rendu son arrêt sans y avoir procédé, alors que cette audition leur aurait permis de la convaincre de l'authenticité de leurs sentiments réciproques et de leur projet de créer une union conjugale.
4.1. Garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend, notamment, le droit pour le justiciable d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.2; <ref-ruling> consid. 2.3). L'autorité peut renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.1; <ref-ruling> consid. 6.3.1). L'art. 29 al. 2 Cst. ne garantit pas, de façon générale, le droit d'être entendu oralement (<ref-ruling> consid. 5.3). Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision (ATF <ref-ruling> consid. 5.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 3.2.1).
4.2. Dans l'arrêt querellé, l'autorité cantonale ne s'est pas prononcée sur la requête tendant à l'audition orale des recourants. Cela étant, elle a implicitement procédé à une appréciation anticipée des preuves, en considérant manifestement que le moyen en question n'était pas de nature à influencer le sort de la cause. Or, les recourants n'invoquent pas l'arbitraire de cette appréciation des preuves (art. 9 Cst.; cf. supra consid. 2.2), de sorte que leur critique ne soulève aucun grief recevable.
5.
L'autorité cantonale a tout d'abord examiné la date à partir de laquelle les recourants se connaissaient ainsi que le nombre et la fréquence de leurs rencontres. Se fondant sur le contenu de leur audition du 5 mars 2020 et de leurs écritures cantonales, elle a retenu qu'il en résultait une contradiction manifeste et flagrante entre les déclarations de chacun quant à la date et aux circonstances de leur rencontre. Elle a souligné qu'à prendre en compte la version des faits de la recourante (reprise dans le recours cantonal), le recourant aurait ainsi non seulement purement et simplement oublié qu'il avait rencontré la recourante en 2015 déjà, qu'ils avaient par la suite régulièrement communiqué par le biais de messages électroniques et qu'il l'avait revue en 2017, mais encore inventé d'autres circonstances s'agissant de leur première rencontre, qui aurait eu lieu dans le cadre de jeux en ligne au début de l'année 2018. Selon elle, une telle contradiction constitue à l'évidence un indice très fort en faveur de l'existence d'un mariage de complaisance. L'autorité cantonale a par ailleurs ajouté que les recourants ne s'étaient rencontrés qu'à trois reprises, en mai 2019 (entre deux et trois semaines), septembre 2019 (entre une et deux semaines) et janvier 2020 (quatre jours), car il n'était aucunement établi que la recourante aurait rejoint le recourant " à de multiples reprises " au Kosovo ni même qu'elle se serait rendue " à de multiples reprises " dans ce pays, aucune pièce n'ayant été produite à ce propos. Elle a souligné qu'à supposer qu'il y eût lieu de s'en tenir aux déclarations de la recourante lors de son audition du 5 mars 2020 selon lesquelles ils se seraient rencontrés à cinq reprises, on voyait mal que l'on tînt compte, s'agissant d'apprécier la durée et le caractère effectif et réel de leur relation, de rencontres dont le recourant n'avait aucun souvenir. Elle a aussi relevé que, contrairement au recourant, la recourante n'avait évoqué un ménage commun que lors de leurs deux dernières rencontres. Les recourants ne se seraient ainsi rencontrés qu'à deux reprises et n'auraient fait ménage commun qu'à une seule reprise, en septembre 2019, avant de déposer dès le mois suivant leur demande de préparation de mariage.
Enfin, l'autorité cantonale a retenu d'autres indices quant à l'existence d'un mariage de complaisance. Ainsi, la différence d'âge de 15 ans entre les personnes en cause - qui hypothéquait des voeux de paternité que le recourant n'avait pas exclus, sans que ceux-ci fussent essentiels pour lui -, l'absence de langue commune - dont il résultait notamment que le contenu des messages électroniques échangés, qui ne comptaient pour la plupart que quelques mots (voire uniquement une ou plusieurs images), demeurait très largement superficiel et ne leur aura pas permis, en particulier, de se connaître de façon plus intime ou de construire de véritables projets ensemble - et le fait que le recourant ne pourrait obtenir un permis de séjour en Suisse que par la conclusion de ce mariage au vu de l'absence de qualifications personnelles dans le cadre de son activité.
6.
Les recourants se plaignent de la violation des art. 12 CEDH, 14 Cst. et 97a CC.
6.1. Ils soutiennent que, pour retenir une contradiction entre leurs déclarations sur la date de leur rencontre, l'autorité cantonale n'a tenu compte ni du fait que leur relation a d'abord été amicale avant de devenir amoureuse, alors que l'évolution de leurs sentiments est fondamentale pour déterminer leur volonté de se marier, ni qu'ils se connaissent au moins depuis 2018. Ils avancent ensuite qu'en accordant un poids trop important à leur différence d'âge, l'autorité cantonale applique une discrimination crasse envers les couples qui ont quelques années d'écart et omet de constater que le fait d'avoir des enfants est un souhait sans importance pour le recourant. Ensuite, les recourants soutiennent que l'absence de langue commune est un argument dénué de pertinence car cette différence linguistique n'a pas été un obstacle à leur volonté de se marier. Enfin, ils arguent qu'il est faux de prétendre qu'ils tentent d'éluder les règles du droit des étrangers puisque que le recourant n'a jamais déposé de demande de permis en Suisse ni ne s'est trouvé en situation irrégulière dans ce pays.
6.2. L'art. 12 CEDH consacre, à partir de l'âge nubile, le droit de l'homme et de la femme de se marier et de fonder une famille selon les lois nationales régissant l'exercice de ce droit; ces garanties sont reprises, respectivement par les art. 13 et 14 Cst. Le droit au mariage n'est toutefois pas absolu et des mesures destinées à lutter contre les mariages de complaisance sont admissibles, pour autant qu'elles soient raisonnables et proportionnées et qu'elles visent à déterminer si l'intention matrimoniale des futurs époux est réelle et sincère, à savoir repose sur la volonté de fonder une communauté conjugale (<ref-ruling> consid. 3.5, citant l'arrêt de la CourEDH du 14 décembre 2010 dans la cause O'Donoghue et consorts contre Royaume-Uni, requête no 34848/07; arrêt 5A_364/2015 du 13 juillet 2015 consid. 3.1).
6.3. Selon l'<ref-law>, l'officier de l'état civil refuse son concours à la célébration du mariage lorsque l'un des fiancés (<ref-ruling> consid. 3.3.2) ne veut manifestement pas fonder une vie conjugale, mais éluder les dispositions sur l'admission et le séjour des étrangers. Il s'agit d'une concrétisation du principe de l'interdiction de l'abus de droit posé à l'<ref-law>. L'officier de l'état civil peut refuser son concours lorsque deux conditions cumulatives sont remplies: d'une part, les intéressés ne doivent avoir aucune volonté de fonder une communauté conjugale d'une certaine durée, voire durable, à caractère en principe exclusif, présentant une composante tant spirituelle que corporelle et économique; d'autre part, ils doivent avoir l'intention d'éluder les dispositions sur l'admission et le séjour des étrangers (arrêt 5A_764/2018 du 28 décembre 2018 consid. 4.1). La réalisation de ces deux conditions doit être manifeste. La volonté de fonder une communauté conjugale est un élément intime qui, par la nature des choses, ne peut pas être prouvé directement. Le plus souvent, l'abus ne pourra être établi qu'au moyen d'un faisceau d'indices (arrêts 5A_30/2014 du 15 avril 2014 consid. 3.3, publié in FamPra.ch 2014 p. 693; 5A_225/2011 du 9 août 2011 consid. 5.1.1, publié in FamPra.ch 2011 p. 922 et les références).
Ces indices peuvent concerner des circonstances externes, tels la grande différence d'âge entre les fiancés, l'impossibilité pour ceux-là de communiquer, la méconnaissance réciproque du cadre de vie et des conditions d'existence (famille, amis, profession, hobbies, habitudes, etc.), l'élaboration d'un projet de mariage peu de temps après la rencontre des fiancés ou encore l'absence de vie commune avant le mariage. Ils peuvent aussi consister en des éléments d'ordre psychique, relevant de la volonté interne (volonté des époux). Il s'agit, dans les deux cas, de constatations de fait qui lient le Tribunal fédéral (<ref-law>), sauf si elles ont été établies de façon manifestement inexacte (<ref-law>), c'est-dire arbitraire (<ref-ruling> consid. 1.2.2; <ref-ruling> consid. 7.1), ou en violation du droit au sens de l'<ref-law> (<ref-ruling> consid. 2.3 et références; arrêts 5A_30/2014 du 15 avril 2014 consid. 3.3, publié in FamPra.ch 2014 p. 693; 5A_225/2011 du 9 août 2011 consid. 5.1.1, publié in FamPra.ch 2011 p. 922 et les références). En revanche, le point de savoir si ces indices permettent de conclure à l'existence d'un mariage abusif aux fins d'éluder les dispositions sur l'admission et le séjour des étrangers est une question de droit qui s'examine librement (arrêt 5A_764/2018 du 28 décembre 2018 consid. 4.2).
6.4. En l'espèce, les recourants ne font que critiquer les critères retenus par l'autorité cantonale et opposer à la motivation attaquée, en se fondant sur leur volonté intime, que ceux-ci ne sont pas déterminants. Or ces critères sont de toute évidence pertinents selon la jurisprudence consacrée en la matière et leur rôle est précisément de permettre d'apprécier une volonté qui, par nature, ne peut pas être prouvée directement. On notera au demeurant que les éléments que les recourants considèrent comme importants ont été pris en compte par l'autorité cantonale dans son examen, soit la nature dans un premier temps amicale d'une relation qui a débuté en 2015 et le fait que le recourant a évoqué qu'il souhaiterait avoir des enfants mais avait conscience que cela pourrait être impossible.
Il suit de là que les griefs des recourants doivent être rejetés, dans la mesure où ils sont recevables.
7.
En définitive, le recours est rejeté dans la mesure où il est recevable. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants qui succombent (<ref-law>). Aucun dépens ne sont dus (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 2'000 fr, sont mis solidairement à la charge des recourants.
3.
Le présent arrêt est communiqué aux recourants, à l'Office de l'état civil de La Côte et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 février 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari