Faits: A. Lors de la séance du Conseil communal de Sainte-Croix (ci-après: le Conseil communal) du 13 décembre 2010, les conseillers communaux, membres du parti libéral-radical (PLR), ont déposé une motion demandant une consultation de la population au sujet d'un projet de parc éolien à Sainte-Croix. Cette motion a été acceptée à une large majorité et transmise à la Municipalité de Sainte-Croix (ci-après: la Municipalité). La Municipalité a rédigé un projet de règlement communal en faveur du développement de l'énergie éolienne sur le territoire de la commune de Sainte-Croix (ci-après: le règlement). Dans son préavis du 1er février 2011, elle a proposé au Conseil communal d'adopter son projet de règlement et de le soumettre au référendum spontané, en application de l'art. 107 al. 4 de la loi cantonale du 16 mai 1989 sur l'exercice des droits politiques (LEDP; RSV 160.01). Lors de la séance du 21 février 2011, le Conseil communal a suivi le préavis municipal: il a adopté le règlement et a décidé de le soumettre spontanément au vote du peuple. B. Le 9 mars 2011, A._ et B._, conseillers communaux de Sainte-Croix et auteurs de la motion précitée, ont recouru auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) contre «la décision contenue dans le préavis du 1er février 2011, consistant à traiter une motion demandant que le principe de l'implantation d'éoliennes sur le territoire de la commune soit soumise à un scrutin populaire, en présentant au Conseil communal un projet de "règlement communal en faveur du développement de l'énergie éolienne sur le territoire de la commune de Sainte-Croix"». Ils se plaignent de la manière dont l'exécutif communal a traité la motion précitée et ils reprochent à la Municipalité d'avoir adopté un règlement communal en faveur du développement des éoliennes sur le territoire de la commune, au lieu de présenter un projet de consultation populaire portant sur le principe de la réalisation d'un parc éolien. Par courrier du 11 mars 2011, le Président de la Cour de droit administratif et public a procédé à un échange de vues avec le Conseil d'Etat du canton de Vaud (ci-après: le Conseil d'Etat). Le 16 mars 2011, A._ et B._ ont précisé que le seul acte qui était attaqué était "le préavis municipal et la décision qu'il contient" et que la décision du Conseil communal de soumettre au référendum spontané le règlement susmentionné n'était pas contestée. Le 24 mars 2011, le Conseil d'Etat a estimé qu'il n'était pas compétent pour statuer sur le recours, dans la mesure où celui-ci n'était pas dirigé contre une décision du Conseil communal. Par arrêt du 14 avril 2011, le Tribunal cantonal a déclaré le recours irrecevable. Il a considéré en substance que le préavis municipal litigieux ne contenait que des projets de décisions soumis à approbation du Conseil communal et ne constituait pas une décision susceptible de recours au sens de l'art. 3 de la loi du 28 octobre 2008 sur la procédure administrative du canton de Vaud (LPA/VD; RSV 173.36). C. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal et de lui renvoyer la cause pour qu'il statue sur le fond du recours déposé le 9 mars 2011. Le Tribunal cantonal et la Municipalité de Sainte-Croix ont renoncé à se déterminer. D. Par ordonnance du 1er juillet 2011, le Président de lre Cour de droit public a admis la requête d'effet suspensif, traitée comme une demande de mesures provisionnelles (tendant à la suspension de l'organisation du vote populaire sur le règlement), que les recourants avaient présentée.