Faits : A. D.D._ et E.D._ sont propriétaires de la parcelle n o 215 du cadastre de la Commune de Chexbres, d'une surface de 276 m 2, sise dans la zone village au sens des art. 3 et suivants du Règlement communal sur le plan d'extension et la police des constructions approuvé par le Conseil d'Etat le 24 février 1984 (ci-après: RC). Ce bien-fonds supporte un bâtiment d'habitation d'une surface de 114 m 2, abritant un logement occupé par les propriétaires et une place jardin. D.D._ et E.D._ (ci-après: les constructeurs) ont soumis à l'enquête publique du 5 mai au 3 juin 2012 un projet d'agrandissement du bâtiment sis sur leur parcelle, qu'ils ont limité ultérieurement à la construction d'un appartement sous la terrasse (appartement de 3,5 pièces d'environ 90 m 2 sis du côté sud-est). Un permis de construire correspondant à ce projet réduit a été délivré le 1 er octobre 2013 (permis de construire n o 45/2012). Aucun recours n'a été formé contre cette décision. Le 28 avril 2014, A.A._ et B.A._ sont devenus propriétaires de la parcelle n o 217, sise à l'est de la parcelle n o 215. Le 3 février 2015, l'architecte des constructeurs (ci-après: l'architecte) a informé la commune que les installations de chantier (dans le cadre du permis n o 45/2012) seraient montées dès le 16 février 2015. La Municipalité de Chexbres (ci-après: la municipalité) lui a signifié le 13 février 2015 qu'elle devait approuver, avant le début des travaux, le plan d'installation du chantier, notamment l'emplacement de la grue et le secteur de travail de son bras. La sécurité du chantier devait par ailleurs être assurée et les mesures garantissant la stabilité du mur séparant les parcelles n os 215 et 217 prises. Le 31 mars 2015, une séance réunissant l'architecte, B.A._, le syndic, une municipale et le technicien communal a abouti à la signature par les participants d'un accord relatif notamment à l'utilisation de la grue (réglant plus particulièrement le survol de la parcelle n o 217), à l'établissement avant travaux d'un constat de l'état du mur de soutènement séparant les parcelles n os 215 et 217 et à l'installation sur la parcelle n o 217 d'une enceinte de sécurité le long dudit mur. Le 12 mai 2015, l'architecte a informé la commune que les travaux d'installation du chantier débuteraient le 18 mai 2015. La grue a été installée le 8 juillet 2015 et des échafaudages mis en place le 9 juillet 2015. Dans le courant des mois de juin et juillet 2015, des échanges de courriels et des courriers ont eu lieu entre les constructeurs, les époux A._, respectivement leur conseil, et la commune, au sujet du respect des engagements pris lors de la séance du 31 mars 2015. A la suite d'une nouvelle séance organisée par la commune le 23 juillet 2015, à laquelle ont notamment pris part le conseil des époux A._, l'architecte, le syndic et deux municipaux, et au cours de laquelle le respect des normes de sécurité ainsi que la démolition des balcons de la maison ont été abordés, l'architecte a signalé à la commune, le 6 août 2015, que le chantier reprendrait finalement le 17 août 2015, par les travaux de sécurisation demandés. A la suite d'une requête de mesures provisionnelles et superprovisionnelles déposée le 5 août 2015 par A.A._ et B.A._, le Président du Tribunal d'arrondissement de l'Est vaudois a, par ordonnance du 6 août 2015, interdit à titre superprovisionnel aux constructeurs de faire survoler le bras de la grue au-dessus de la parcelle n o 217, la grue pouvant toutefois s'orienter librement durant les périodes d'arrêt du chantier. Lors d'une audience de mesures provisionnelles du 18 septembre 2015, les parties ont convenu de suspendre l'instruction pour mettre en oeuvre une expertise amiable portant sur le mur de soutènement séparant les parcelles n os 215 et 217. Le 8 décembre 2015, le conseil des constructeurs a informé le Tribunal d'arrondissement de l'Est vaudois que ses mandants avaient pris la décision de suspendre " jusqu'à nouvel avis " les travaux " afin de se donner le temps de réfléchir à la suite à donner à ce projet qui butte contre l'opposition sans concession des voisins ". Il a ajouté que s'il s'agissait pour l'heure d'une suspension provisoire, les installations de chantier existantes seraient toutefois ôtées, dont la grue qui ne serait pas remontée. Le 11 janvier 2016, le Tribunal d'arrondissement de l'Est vaudois a rayé la cause du rôle aux frais des constructeurs, considérant que l'interruption du chantier et le démontage de la grue valaient acceptation par actes concluants des conclusions de la partie adverse. Lors d'un contrôle effectué le 1 er mars 2016 sur la parcelle n o 215, D.D._ a précisé que les travaux étaient arrêtés pour une durée indéterminée. Par courrier du 5 mai 2017, la municipalité a interdit la reprise des travaux concernant le permis de construire no 45/2012 jusqu'à droit connu sur les recours pendants devant la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) au sujet d'un nouveau projet soumis par les constructeurs portant sur la création d'un logement supplémentaire et l'agrandissement du logement principal autorisé par la municipalité par décision du 8 novembre 2016 (permis de construire n o 141/2016). Par arrêt du 26 septembre 2017, la CDAP a admis les recours précités et annulé la décision municipale du 8 novembre 2016, aux motifs que la construction prévue empiétait à plusieurs égards sur la limite des constructions et que la toiture envisagée ne respectait pas les exigences réglementaires communales. Parallèlement, A.A._ et B.A._ ont requis le 8 juin 2017 de la municipalité qu'elle constate formellement la péremption du permis délivré en 2013 (permis de construire n o 45/2012). Par décision du 18 août 2017, la municipalité a refusé de reconnaître la péremption du permis de construire délivré le 1 er octobre 2013 en retenant que, selon le courrier du 22 juin 2017 des constructeurs, des travaux " apparemment relativement conséquents ", constatés lors de la vison locale du 7 juin 2017, avaient été réalisés de juin à fin juillet 2015. Elle a ajouté que ces travaux " semblaient " avoir été interrompus par un litige civil ayant abouti à l'interdiction de l'usage de la grue. B. Par arrêt du 25 avril 2018, la CDAP a rejeté le recours déposé par A.A._ et B.A._ contre la décision du 18 août 2017 de la municipalité. C. A.A._ et B.A._ forment un recours en matière de droit public au Tribunal fédéral par lequel ils demandent, avec suite de frais et dépens, la réforme de l'arrêt cantonal du 25 avril 2018 en ce sens que leur recours à l'encontre de la décision de la municipalité du 18 août 2017 est admis, le permis de construire délivré aux constructeurs D.D._ et E.D._ (ci-après: les intimés) le 1 er octobre 2013 étant périmé. Subsidiairement, ils sollicitent son annulation et le renvoi de la cause pour nouvel arrêt dans le sens des considérants. Invitée à se déterminer, la cour cantonale s'est référée aux considérants de son arrêt. La Commune de Chexbres, représentée par sa Municipalité, a déposé une réponse et a conclu au rejet du recours. Il en va de même des intimés, qui ont conclu au rejet du recours, dans la mesure de sa recevabilité. Dans leurs observations complémentaires, les recourants ont confirmé leurs conclusions. Par ordonnance du 15 juin 2018, le Président de la 1 re Cour de droit public du Tribunal fédéral a rejeté la demande d'effet suspensif déposée par les recourants. Il a en outre rejeté la demande des intimés - qui se sont opposés à l'effet suspensif - tendant au dépôt de sûretés.