Faits: A. A.a X._, ressortissant suisse, est né le 21 août 1943. Il a divorcé d'une ressortissante marocaine le 13 septembre 2005. Y._, ressortissante marocaine née le 6 juillet 1976, est domiciliée à Tanger (Maroc). A.b Le 23 décembre 2009, en vue de la célébration de leur mariage au Maroc, les prénommés ont présenté, en faveur de X._, une demande de certificat de capacité matrimoniale auprès de l'Ambassade de Suisse à Rabat (Maroc). Le 21 janvier 2010, la Direction de l'état civil a transmis cette demande à l'Office de l'état civil de Lausanne (ci-après l'Office de l'état civil). X._ a été entendu le 2 mars 2010 par l'Officier de l'état civil de Lausanne (ci-après l'Officier de l'état civil), en présence d'un interprète. Sur demande de la Direction de l'état civil, qui considérait que le mariage présentait des caractéristiques d'un abus du droit des étrangers au sens de l'art. 97a CC, Y._ a été entendue le 4 mai 2010 par la Représentation suisse à Rabat. Le 27 mai 2010, la Direction de l'état civil a informé X._ du fait qu'il subsistait de sérieux doutes quant à la réalité de l'union projetée sous l'angle de l'art. 97a CC et que l'Officier de l'état civil pourrait refuser de prêter son concours à la célébration du mariage. X._ a présenté des observations le 10 juin 2010. Retournant le dossier des fiancés à l'Office de l'état civil le 25 juin 2010, la Direction de l'état civil a préconisé le refus de leur délivrer un certificat de capacité matrimoniale. B. Par décision du 8 novembre 2010, l'Office de l'état civil a refusé la délivrance du certificat sollicité par application analogique de l'art. 97a CC. Les fiancés ont recouru contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, qui a rejeté leur recours et confirmé la décision attaquée par arrêt du 15 février 2011. C. Le 17 mars 2011, X._ et Y._ (ci-après les recourants) déposent, devant le Tribunal fédéral, un recours en matière de droit public. Ils concluent à l'annulation de la décision attaquée et à l'admission de leur recours en ce sens qu'un certificat de capacité matrimoniale leur soit délivré. A l'appui de leurs conclusions, les recourants invoquent la violation des art. 29 et 14 Cst. ainsi que celle des art. 8 et 12 de la Convention de sauvegarde des droits de l'homme et des libertés fondamentales (CEDH; RS 0.101).