Faits : A. Par arrêt du 4 août 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a déclaré irrecevable pour défaut de paiement de l'avance de frais le recours que A._ et B._ ont déposé contre la décision du 5 juin 2015 de la Municipalité de Chexbres ordonnant la suspension des travaux de construction de deux piscines et de démolition sans autorisation d'un mur de soutènement. Le 17 août 2015, A._ et B._ ont saisi le Tribunal cantonal d'une requête en restitution de délai. Ils ont demandé que le délai imparti pour le versement de l'avance de frais leur soit restitué, qu'il soit constaté que l'avance de frais - entre-temps effectuée - a été versée dans le délai ainsi restitué et que la cour cantonale entre en matière sur le recours. Par arrêt du 8 septembre 2015, le Tribunal cantonal a rejeté la requête en restitution de délai et restitué l'avance de frais effectuée entre-temps. B. Agissant par la voie du recours en matière de droit public, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du 8 septembre 2015, de leur restituer le délai pour le versement de l'avance de frais et de renvoyer la cause au Tribunal cantonal. Invités à se déterminer, la Municipalité de Chexbres et le Tribunal cantonal concluent au rejet du recours.