Faits: A. A.a B._, ressortissant kosovar né en 1974, est entré illégalement en Suisse en septembre 2008. Il a été interpellé par la police fribourgeoise le 30 août 2009 et a indiqué séjourner et travailler en Suisse depuis le 1er octobre 2008. Le 28 octobre 2009, le Service fribourgeois de la population et des migrants a rendu une décision de renvoi de Suisse à l'encontre de B._. L'Office fédéral des migrations a prononcé une interdiction d'entrée en Suisse à son encontre le 29 octobre 2009. Le juge d'instruction cantonal fribourgeois l'a condamné pour séjour et travail illégaux par ordonnance pénale du 9 décembre 2009. A.b Le 22 janvier 2010, B._ et A._, ressortissante mauricienne née en 1946, titulaire d'une autorisation d'établissement en Suisse, ont déposé une demande d'ouverture d'un dossier de mariage auprès de l'Office de l'état civil de Lausanne. Les candidats au mariage ont été entendus séparément le 10 juin 2010 par l'Officier de l'état civil de Lausanne. Celui-ci a transmis le dossier des intéressés à la Direction de l'état civil du canton de Vaud le 21 juin 2010 en lui indiquant présumer l'existence d'un mariage de complaisance. A.c Parallèlement, le 5 février 2010, B._ s'est présenté au Bureau des étrangers de la commune de X._ pour y annoncer son arrivée et son intention d'épouser A._. Il a sollicité une autorisation de séjour en vue de conclure un mariage. Le 11 février 2010, le Juge d'instruction de l'arrondissement de Lausanne a ouvert une enquête pour séjour illégal à l'encontre de B._, sur dénonciation de la commune de X._. B. Par décision du 27 septembre 2010, l'Office de l'état civil a refusé son concours à la célébration du mariage de B._ et A._. Par arrêt du 22 février 2011, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté le recours déposé par les intéressés et confirmé la décision querellée. C. Par acte du 25 mars 2011, B._ et A._ exercent un recours en matière civile au Tribunal fédéral, concluant à ce que l'arrêt entrepris soit annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Les recourants se plaignent de la violation du droit d'être entendu (art. 29 al. 2 Cst.), des exigences minimales de procédure (art. 6 par. 1 CEDH), de l'art. 97a CC, ainsi que d'arbitraire dans l'appréciation des preuves (art. 9 Cst.). Des réponses n'ont pas été requises.