Faits : A. Le 18 juillet 2013, le Conseil communal d'Aigle a adopté un préavis relatif à une demande de crédit d'un montant de 18'650'000 francs pour les travaux de renouvellement des infrastructures souterraines et de surface ainsi que pour le réaménagement des espaces publics en ville, dénommé "Aigle centre 2020". Le référendum communal lancé contre cet acte a abouti dans le délai utile. Le Préfet du district d'Aigle a fixé au 24 novembre 2013 la date de la votation communale, en même temps que trois votations fédérales. Selon le procès-verbal établi par le bureau du Conseil communal, la décision du Conseil communal du 18 juillet 2013 a été acceptée par 1'624 voix contre 1'532, 26 bulletins blancs et 6 nuls. Marcel Jacques Bacca et Jean-François Jaggi ont recouru notamment contre le résultat de la votation communale du 24 novembre 2013, auprès du Conseil d'Etat du canton de Vaud (ci-après: le Conseil d'Etat) et en ont demandé le prononcé de la nullité. Chargé par le Conseil d'Etat d'instruire les griefs soulevés à l'encontre du matériel de vote et du déroulement du dépouillement, le Préfet du district d'Aigle a rendu un rapport le 14 février 2014. Il a notamment été procédé, sous contrôle du Préfet, à un recomptage des bulletins de la votation communale du 24 novembre 2013, lequel a abouti à un résultat de 1'624 "oui" contre 1'533 "non", 26 bulletins blancs et 6 nuls, soit une différence d'une voix en faveur du "non". Par décision du 14 mai 2014, le Conseil d'Etat a rejeté les recours en tant que dirigés contre la votation populaire du 24 novembre 2013. Il a précisé en particulier que l'examen des griefs présentés par les recourants se limiterait aux seuls griefs en relation directe avec le déroulement du scrutin et le dépouillement. Marcel Jacques Bacca et Jean-François Jaggi ont interjeté un recours contre cette décision auprès de la Cour constitutionnelle du Tribunal cantonal du canton de Vaud (ci-après: la Cour constitutionnelle), concluant au prononcé de la nullité de la votation populaire communale du 24 novembre 2013. Par arrêt du 10 décembre 2014, la Cour constitutionnelle a rejeté le recours et confirmé la décision du Conseil d'Etat du 14 mai 2014. Elle a considéré en substance que les recourants ne rendaient pas vraisemblable que les irrégularités alléguées à l'encontre du déroulement de la votation communale et de son dépouillement auraient pu influencer de manière décisive le résultat du vote. B. Agissant par la voie du recours en matière de droit public, Marcel Jacques Bacca et Jean-François Jaggi demandent au Tribunal fédéral d'annuler l'arrêt du 10 décembre 2014 et de renvoyer la cause à l'instance précédente pour nouvelle décision au sens des considérants. Ils concluent implicitement à l'annulation de la votation communale du 24 novembre 2013. La Cour constitutionnelle renonce à se déterminer sur le recours et se réfère à l'arrêt attaqué. Le Conseil d'Etat conclut au rejet du recours et le Conseil communal d'Aigle à son irrecevabilité, subsidiairement à son rejet. Les recourants ont répliqué par courrier du 27 avril 2015.