Faits:
A. A.a B._, ressortissant kosovar né en 1974, est entré illégalement en Suisse en septembre 2008. Il a été interpellé par la police fribourgeoise le 30 août 2009 et a indiqué séjourner et travailler en Suisse depuis le 1er octobre 2008.
Le 28 octobre 2009, le Service fribourgeois de la population et des migrants a rendu une décision de renvoi de Suisse à l'encontre de B._. L'Office fédéral des migrations a prononcé une interdiction d'entrée en Suisse à son encontre le 29 octobre 2009. Le juge d'instruction cantonal fribourgeois l'a condamné pour séjour et travail illégaux par ordonnance pénale du 9 décembre 2009.
A.b Le 22 janvier 2010, B._ et A._, ressortissante mauricienne née en 1946, titulaire d'une autorisation d'établissement en Suisse, ont déposé une demande d'ouverture d'un dossier de mariage auprès de l'Office de l'état civil de Lausanne.
Les candidats au mariage ont été entendus séparément le 10 juin 2010 par l'Officier de l'état civil de Lausanne. Celui-ci a transmis le dossier des intéressés à la Direction de l'état civil du canton de Vaud le 21 juin 2010 en lui indiquant présumer l'existence d'un mariage de complaisance.
A.c Parallèlement, le 5 février 2010, B._ s'est présenté au Bureau des étrangers de la commune de X._ pour y annoncer son arrivée et son intention d'épouser A._. Il a sollicité une autorisation de séjour en vue de conclure un mariage. Le 11 février 2010, le Juge d'instruction de l'arrondissement de Lausanne a ouvert une enquête pour séjour illégal à l'encontre de B._, sur dénonciation de la commune de X._.
B. Par décision du 27 septembre 2010, l'Office de l'état civil a refusé son concours à la célébration du mariage de B._ et A._.
Par arrêt du 22 février 2011, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté le recours déposé par les intéressés et confirmé la décision querellée.
C. Par acte du 25 mars 2011, B._ et A._ exercent un recours en matière civile au Tribunal fédéral, concluant à ce que l'arrêt entrepris soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Les recourants se plaignent de la violation du droit d'être entendu (art. 29 al. 2 Cst.), des exigences minimales de procédure (art. 6 par. 1 CEDH), de l'art. 97a CC, ainsi que d'arbitraire dans l'appréciation des preuves (art. 9 Cst.).
Des réponses n'ont pas été requises.
Considérant en droit:
1. 1.1 Le recours est dirigé contre une décision de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud qui confirme le refus de l'Office de l'état civil de prêter son concours à la célébration du mariage, en application de l'art. 97a CC. Il s'agit d'une décision prise en application de normes de droit public, notamment de droit des étrangers, dans une matière connexe au droit civil (art. 72 al. 2 let. b ch. 2 LTF; arrêt 5A_753/2009 du 18 janvier 2010 consid. 1.1). Interjeté dans le délai légal (art. 100 al. 1 LTF) par des parties qui ont succombé dans leurs conclusions prises devant l'autorité précédente (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue par la dernière juridiction cantonale (art. 75 al. 1 LTF), le présent recours en matière civile est en principe recevable.
1.2 Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), qui comprend les droits constitutionnels (ATF 133 III 446 consid. 3.1 p. 447, 462 consid. 2.3 p. 466) et le droit international (art. 95 let. b LTF). Compte tenu des exigences de motivation posées, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), à l'art. 42 al. 2 LTF, le Tribunal fédéral n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser lorsqu'elles ne sont plus discutées devant lui (ATF 133 IV 150 consid. 1.2 p. 152). Il ne connaît de la violation de droits fondamentaux que si ce grief a été soulevé et motivé par le recourant ("principe d'allégation"; art. 106 al. 2 LTF; ATF 134 II 349 consid. 3 p. 351-352 et les références). Il appartient ainsi au recourant de démontrer, par une argumentation précise, en quoi consiste la violation des droits fondamentaux dont il se plaint (ATF 134 I 83 consid. 3.2 p. 88 et les arrêts cités).
1.3 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influencer le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis de manière manifestement inexacte (art. 97 al. 1 LTF), à savoir que les constatations de fait sont arbitraires au sens de l'art. 9 Cst. (ATF 134 IV 36 consid. 1.4.1 p. 39; 133 II 249 consid. 1.2.2 p. 252), doit démontrer, par une argumentation précise, en quoi consiste la violation (cf. supra consid. 1.2, "principe d'allégation"). Le recourant ne saurait se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de la juridiction cantonale. Les critiques de nature appellatoire sont irrecevables (ATF 133 III 585 consid. 4.1 p. 588-589; 130 I 258 consid. 1.3 p. 261).
2. La Cour de droit administratif et public a d'abord examiné la question de l'intérêt au recours des fiancés sous l'angle de l'art. 98 al. 4 CC (entré en vigueur le 1er janvier 2011), considérant qu'il était hautement vraisemblable que l'officier d'état civil doive en tout état de cause refuser de prêter son concours à la célébration du mariage en raison de la situation du recourant. Elle a cependant laissé la question ouverte et examiné le recours. Les juges cantonaux ont ensuite refusé de donner suite au complément d'instruction requis par les recourants, s'estimant suffisamment renseignés pour juger la cause sans entendre les deux témoins proposés.
Sur le fond, la cour cantonale a considéré, après un bref rappel de sa jurisprudence en la matière, qu'un faisceau d'indices évidents laissait apparaître que le recourant ne souhaitait manifestement pas fonder une communauté conjugale, mais éluder les dispositions sur l'admission et le séjour des étrangers en contractant mariage. En particulier, elle a relevé que les recourants se prévalaient de leur relation depuis février 2009 alors que le fiancé avait déclaré à la Police en août 2009 être venu en Suisse uniquement pour y travailler et avoir une amie et deux enfants au Kosovo. Elle a également retenu à ce propos que la fiancée avait expliqué lors de son audition que le recourant lui avait proposé le mariage pour la première fois en février 2009, à peine deux ou trois semaines après leur première rencontre, alors que celui-ci avait soutenu de manière contradictoire que c'est sa fiancée qui lui avait proposé de se marier. Quant à l'emménagement du recourant chez sa fiancée au mois de septembre 2009, la cour cantonale a considéré qu'il ne témoignait nullement d'une volonté partagée et réfléchie de faire ménage commun, mais qu'il coïncidait à trois jours près avec le contrôle policier du 30 août 2009 à l'issue duquel le recourant avait été dénoncé pour séjour et travail illégaux. Enfin, la Cour de droit administratif et public a admis que, s'il n'était pas question de définir une communauté conjugale classique, il convenait néanmoins de relever la différence d'âge importante entre les fiancés, les difficultés de ceux-ci à communiquer couramment dans une langue commune, la méconnaissance de leur famille et amis respectifs, ainsi que le fait que les fiancés ne semblent pas partager de loisirs communs.
3. Les recourants font grief à l'autorité précédente d'avoir violé leur droit d'être entendu (art. 29 al. 2 Cst.) et les garanties minimales de procédure consacrées à l'art. 6 par. 1 CEDH, en rendant une décision sans audience publique et en refusant l'audition de deux témoins.
3.1 Le droit d'être entendu est de nature formelle. Sa violation conduit à l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond. Il convient ainsi d'examiner ce grief avant tout autre (ATF 135 I 279 consid. 2.6.1 p. 285; arrêt 5A_791/2010 du 23 mars 2011 consid. 2.2).
3.2 En vertu de l'art. 6 par. 1 de la Convention de sauvegarde des droits de l'homme et des libertés fondamentales du 4 novembre 1950 (ci-après: CEDH, RS 0.101), toute personne a le droit d'être entendue oralement devant un tribunal au cours d'une séance publique lorsque sont en jeu des "droits et obligations de caractère civil" (ATF 130 II 425 consid. 2.2 p. 429; 127 II 306 consid. 5 p. 309), ce qui signifie qu'à un stade du procès au moins le tribunal doit tenir des débats publics (ATF 121 I 30 consid. 5e p. 35). L'obligation d'organiser une audience publique présuppose cependant une demande formulée de manière claire et indiscutable par l'une des parties au procès (arrêt de la Cour européenne des droits de l'Homme du 15 décembre 2005, Hurter c. Suisse, N 53146/99 ch. 33 s.; ATF 134 I 140 consid. 5.2 p. 147; 130 II 425 consid. 2.4 p .431). L'art. 29 al. 2 Cst., qui ne confère pas le droit d'être entendu oralement, n'offre pas de garanties procédurales plus étendues que l'art. 6 par. 1 CEDH (arrêt 5A_851/2008 du 4 mai 2009 consid. 2.1). La norme constitutionnelle prévoit que toute personne a le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, d'offrir des preuves quant aux faits de nature à influer sur la décision, de participer à l'administration des preuves et de se déterminer à leur propos (ATF 129 II 497 consid. 2.2 p. 504 s.; 127 I 54 consid. 2b p. 56; 127 III 576 consid. 2c p. 578 s.). Cette garantie inclut le droit à l'administration des preuves valablement offertes, à moins que le fait à prouver ne soit dépourvu de pertinence ou que le moyen de preuve apparaisse manifestement inapte à établir le fait allégué. Par ailleurs, le juge est autorisé à effectuer une appréciation anticipée des preuves déjà disponibles s'il peut admettre de façon exempte d'arbitraire qu'une preuve supplémentaire serait impropre à ébranler sa conviction; il peut dans ce cas refuser d'administrer une preuve (ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2.1 p. 428-429). En conséquence, si le juge a refusé une mesure probatoire en procédant à une appréciation anticipée des preuves, celle-ci ne peut être contestée qu'en invoquant l'art. 9 Cst. (arrêt 5A_726/2009 du 30 avril 2010 consid. 3.1, non publié in ATF 136 III 365).
3.3 En l'occurrence, il ne ressort pas de la décision entreprise que les recourants auraient requis formellement la tenue d'une audience publique. Quand bien même les recourants auraient formulé une demande expresse relative à la tenue de débats aux fins d'être entendus oralement, les garanties minimales de procédure instaurées à l'art. 6 par. 1 CEDH n'ont pas été violées par la Cour cantonale. L'arrêt entrepris retient en effet que les recourants ont déjà été entendus oralement par l'Officier d'état civil et qu'ils ont spontanément déposé des déterminations le 27 juillet 2010 ainsi qu'un mémoire complémentaire le 29 décembre 2010. Les fiancés ont donc été en mesure de se déterminer oralement et par écrit sur les faits de la cause, tant antérieurement que postérieurement à l'administration des preuves.
Le grief de violation du droit d'être entendu en relation avec le refus d'auditionner deux témoins n'est pas mieux fondé. La garantie du droit d'être entendu inclut certes le droit à l'administration des preuves valablement offertes; néanmoins, le juge peut effectuer une appréciation anticipée des preuves, et donc refuser d'entendre deux témoins, s'il estime que leur audition sera impropre à ébranler sa conviction (cf. supra consid. 3.3; ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2.1 p. 428 s.). Les juges précédents ont en l'espèce considéré qu'ils étaient en mesure de statuer sur la base des preuves déjà administrées et que l'audition de témoins ne serait pas de nature à leur fournir des explications nouvelles sur la cause, dès lors que les recourants avaient eu l'occasion de se déterminer par écrit à deux reprises. Tant l'absence de débats que le refus d'auditionner des témoins sont ainsi conformes au droit. Le grief de violation du droit d'être entendu (art. 29 al. 2 Cst.) et des garanties minimales de procédure (art. 6 par. 1 CEDH) est infondé.
4. Les recourants font grief à l'autorité précédente d'avoir "mésestimé[...], voire passé[...] sous silence" certains éléments du dossier et d'avoir procédé à une instruction lacunaire, partant d'avoir fait preuve d'arbitraire dans l'appréciation des preuves au sens de l'art. 9 Cst.
4.1 Selon la jurisprudence, il n'y a arbitraire (art. 9 Cst.) en matière d'appréciation des preuves que lorsque le juge ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'il se trompe manifestement sur son sens et sa portée ou encore lorsque, en se fondant sur les éléments recueillis, il en tire des constatations insoutenables (ATF 134 V 53 consid. 4.3 p. 62; 129 I 8 consid. 2.1 p. 9; 118 Ia 28 consid. 1b p. 30).
4.2 En l'espèce, les recourants n'expliquent pas en quoi l'appréciation à laquelle cette autorité s'est livrée serait insoutenable; ils se contentent de présenter leur propre version et ne démontrent pas le caractère insoutenable des motifs de la cour cantonale, qui reposent sur d'autres éléments. Les recourants soutiennent notamment, sans nullement étayer leurs critiques, qu'il "importe peu de savoir qui a proposé le mariage", que "ce n'est plus un phénomène rare de nos jours que des fiancés décident de se marier après s'être fréquentés durant six mois", qu'une différence d'âge, qui empêche d'enfanter, n'est pas déterminante et qu'ils arrivent "parfaitement à communiquer ensemble". S'agissant des activités communes, les intéressés estiment "[qu']on ne saurait retenir qu'il n'y en a aucune et leur choix relève également de la sphère privée". Ces allégations, qui ne reposent sur aucun élément de preuve, ne permettent pas de taxer d'arbitraire l'opinion des juges précédents. Ces critiques ne répondent pas à l'exigence de motivation à laquelle un recourant doit satisfaire pour se plaindre de la violation de l'un de ses droits constitutionnels (principe d'allégation). Faute de motivation suffisante, ce moyen est irrecevable (cf. supra consid. 1.3; art. 42 al. 2 et 106 al. 2 LTF).
Enfin et contrairement à ce qu'ils prétendent, la cour cantonale n'a pas ignoré le fait que les recourants ont emménagé ensemble six mois avant le dépôt de leur demande de mariage (cf. supra consid. 2), mais elle a estimé que cet élément n'était pas suffisant pour infirmer tous les autres indices démontrant l'absence de volonté de créer une communauté conjugale (cf. infra consid. 5.2).
5. Les recourants soutiennent aussi que l'autorité précédente aurait violé l'art. 97a CC et leur droit au mariage. Selon eux, cette autorité aurait "omis d'expliquer en quoi la relation de couple des recourants serait feinte", alors que le législateur n'a autorisé l'officier d'état civil à refuser son concours à la célébration du mariage que "lorsque l'un des fiancés ne veut manifestement pas fonder une communauté conjugale" (art. 97a al. 1 CC).
5.1 Le droit au mariage, garanti par l'art. 14 Cst., protège les particuliers contre les mesures étatiques qui limiteraient de manière injustifiée la faculté de se marier et le choix du conjoint (PAPAUX VAN DELDEN, Le droit au mariage et à la famille, FamPra 2011, p. 321 ss., p. 322). Ce droit fondamental n'a pas une portée absolue et peut faire l'objet de restrictions, dans la mesure où celles-ci ne portent pas atteinte à l'essence même de ce droit. Le refus de célébrer le mariage est l'atteinte la plus grave au droit du mariage; il nécessite une loi au sens formel, doit être justifié par un motif d'intérêt public et respecter le principe de proportionnalité (art. 36 al. 2 et 3 Cst.; PAPAUX VAN DELDEN, Mariages fictifs, Jusletter du 22 octobre 2007, N 1). L'art. 12 CEDH garantit le droit fondamental, pour un homme et une femme, de se marier et de fonder une famille. Cette garantie obéit cependant aux lois nationales des États contractants et les limitations en résultant ne doivent pas restreindre ou réduire ce droit fondamental de façon ou à un degré qui l'atteindrait dans sa substance même (arrêt de la Cour européenne des droits de l'Homme du 18 décembre 1987, F. c. Suisse, N 11329/85 ch. 32). Dans tous les États membres du Conseil de l'Europe, ces limitations apparaissent comme autant de conditions et figurent dans des règles soit de forme, soit de fond. Les premières portent notamment sur la célébration du mariage (MEIER/CARANDO, "Pas de mariage en cas de séjour irrégulier en Suisse"?, Jusletter du 14 février 2011, N 35).
5.1.1 Selon l'art. 97 CC, l'officier de l'état civil est compétent pour célébrer le mariage. Il peut refuser son concours lorsque l'un des fiancés ne veut manifestement pas fonder une vie conjugale, mais éluder les dispositions sur l'admission et le séjour des étrangers (art. 97a CC, introduit par la Loi fédérale du 16 décembre 2005 sur les étrangers [LEtr], RS 142.20; art. 74a al. 1 OEC). Il s'agit d'une concrétisation du principe de l'interdiction de l'abus de droit posée à l'art. 2 al. 2 CC (arrêts 5A_201/2011 du 26 juillet 2011 consid. 3.1.1; 5A_785/2009 du 2 février 2010 consid. 5.1; FF 2002 3469 p. 3590-3591). L'officier de l'état civil peut refuser son concours lorsque deux conditions cumulatives sont remplies. D'une part, les intéressés ne doivent avoir aucune volonté de fonder une communauté conjugale: ils ne souhaitent pas former une communauté de vie d'une certaine durée, voire durable, à caractère en principe exclusif, présentant une composante tant spirituelle que corporelle et économique (ATF 124 III 52 consid. 2a/aa p. 54-55; pour les partenaires enregistrés: 5A_785/2009 du 2 février 2010 consid. 5.1). D'autre part, ils doivent avoir l'intention d'éluder les dispositions sur l'admission et le séjour des étrangers. La réalisation de ces deux conditions doit être manifeste (GEISER/BUSSLINGER, Ausländische Personen als Ehepartner und registrierte Partnerinnen, in Ausländerrecht, 2e éd. 2009, N 14.12, p. 664; MONTINI, Basler Kommentar, ZGB I, 4e éd. 2010, N 1 s. ad art. 97a CC; PAPAUX VAN DELDEN, Commentaire romand, 2010, N 3 ad art. 97a CC; également arrêt 5A_785/2009 précité consid. 5.1). La volonté de fonder une communauté conjugale est un élément intime qui, par la nature des choses, ne peut pas être prouvé directement. Le plus souvent, l'abus ne pourra être établi qu'au moyen d'un faisceau d'indices, notamment une grande différence d'âge entre les fiancés, l'impossibilité pour ceux-ci de communiquer, une méconnaissance réciproque, un paiement d'une somme d'argent, un mariage contracté alors qu'une procédure de renvoi est en cours ou que l'un des fiancés séjourne illégalement en Suisse (FF 2002 3469, p. 3591; ATF 122 II 289 consid. 2b p. 295; arrêt 5A_201/2011 précité consid. 3.1.1).
5.1.2 Les constatations portant sur des indices peuvent concerner des circonstances externes, tout comme des éléments d'ordre psychique, relevant de la volonté interne (volonté des époux). Il s'agit, dans les deux cas, de constatations de fait (ATF 128 II 145 consid. 2.3 p. 152 et les arrêts cités) qui lient le Tribunal fédéral, sauf si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (arrêt 5A_201/2011 du 26 juillet 2011 consid. 3.1.2). La réalisation des deux conditions précitées conduit alors à conclure à l'existence d'un mariage fictif.
5.2 En l'espèce, la Cour cantonale a considéré que c'est à bon droit que l'Office d'état civil de l'arrondissement de Lausanne a refusé de prêter son concours à la célébration du mariage des recourants, pour le motif que les éléments de fait font ressortir une conjonction suffisante d'indices prouvant qu'il s'agit manifestement d'un mariage de complaisance. Il ressort de l'arrêt attaqué que le fiancé a proposé le mariage pour la première fois en février 2009, à peine deux ou trois semaines après la première rencontre. L'emménagement du fiancé chez la recourante a eu lieu en septembre 2009, trois jours après le contrôle policier à l'issue duquel le fiancé a été dénoncé pour séjour et travail illégaux en Suisse (cf. supra consid. 2) et suite auquel il avait d'ailleurs quitté son domicile antérieur en y laissant toutes ses affaires. La Cour cantonale a également souligné "qu'il existe en l'espèce une différence d'âge importante (28 ans) entre le recourant, âgé de 36 ans, et sa fiancée âgée de 64 ans", que "les recourants éprouvent des difficultés à communiquer couramment dans une langue commune et que les activités du couple se résument pour l'essentiel aux courses alimentaires, à regarder la télévision et à une sortie mensuelle en discothèque". S'agissant des difficultés de communication dans le couple, la recourante admet ne pas parler albanais et le recourant peine à s'exprimer en français, comme cela ressort, d'une part, de son audition lorsque l'Officier d'état civil s'est passé du concours de l'interprète et, d'autre part, de l'explication de son précédent conseil. De surcroît, les juges cantonaux ont constaté que les fiancés ne connaissent pas leur famille, ni leurs amis respectifs. Il ressort en effet de l'arrêt querellé que la fiancée s'est trompée à deux reprises lors de son audition sur le prénom de l'un des enfants du recourant et qu'elle a déclaré ne pas connaître le traducteur de son fiancé alors que celui-ci affirme l'avoir rencontrée à plusieurs reprises. Les explications des fiancés concernant leurs revenus et dépenses sont en outre inconciliables, par exemple s'agissant de l'envoi d'argent à l'étranger. Enfin, l'instruction a révélé que le recourant fait l'objet d'une mesure d'interdiction d'entrée en Suisse jusqu'au 28 octobre 2012 et qu'il a déjà été dénoncé puis condamné par les autorités pénales suisses pour des infractions en relation avec la législation sur les étrangers. La demande de mariage a par ailleurs été déposée au cours du mois suivant celui de la première condamnation pénale du fiancé pour infraction à la loi sur les étrangers.
5.3 Les recourants ne s'en prennent pas aux critères essentiels sur lesquels le tribunal s'est fondé pour admettre la réalisation des deux conditions cumulatives contraignant l'officier civil à refuser son concours à la célébration du mariage selon l'art. 97a CC. Ainsi, les fiancés ne démontrent pas l'arbitraire dans la constatation des faits (indices) retenus pour conclure à l'absence de volonté de fonder une union conjugale (première condition), principalement les circonstances dans lesquelles leur mariage et leur emménagement ont été décidés. Ils se limitent à opposer leur propre appréciation desdites circonstances à celle de la cour cantonale. En outre, les intéressés ne contestent pas que, par le mariage, le fiancé souhaite régulariser sa situation en Suisse, ni ne critiquent l'appréciation des juges précédents selon laquelle ils cherchent à éluder la législation sur l'admission et le séjour des étrangers (seconde condition). En conséquence, il faut admettre, à l'instar des juges précédents, que les deux conditions d'application de l'art. 97a CC, à savoir l'absence de volonté de fonder une communauté conjugale et la volonté d'éluder les dispositions sur le séjour et l'établissement des étrangers, sont réalisées. Le grief de violation de l'art. 97a CC doit ainsi être rejeté dans la mesure où il est recevable.
6. Vu ce qui précède, le recours doit être rejeté, dans la mesure de sa recevabilité. Les frais judiciaires sont mis solidairement à la charge des recourants qui succombent (art. 66 al. 1 et 5 LTF). L'autorité intimée, qui n'a d'ailleurs pas été invitée à déposer des observations, n'a pas droit à l'allocation de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3. Le présent arrêt est communiqué aux parties et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 9 août 2011
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Hohl
La Greffière: Carlin