Faits :
A.
D.D._ et E.D._ sont propriétaires de la parcelle n o 215 du cadastre de la Commune de Chexbres, d'une surface de 276 m 2, sise dans la zone village au sens des art. 3 et suivants du Règlement communal sur le plan d'extension et la police des constructions approuvé par le Conseil d'Etat le 24 février 1984 (ci-après: RC). Ce bien-fonds supporte un bâtiment d'habitation d'une surface de 114 m 2, abritant un logement occupé par les propriétaires et une place jardin.
D.D._ et E.D._ (ci-après: les constructeurs) ont soumis à l'enquête publique du 5 mai au 3 juin 2012 un projet d'agrandissement du bâtiment sis sur leur parcelle, qu'ils ont limité ultérieurement à la construction d'un appartement sous la terrasse (appartement de 3,5 pièces d'environ 90 m 2 sis du côté sud-est). Un permis de construire correspondant à ce projet réduit a été délivré le 1 er octobre 2013 (permis de construire n o 45/2012). Aucun recours n'a été formé contre cette décision.
Le 28 avril 2014, A.A._ et B.A._ sont devenus propriétaires de la parcelle n o 217, sise à l'est de la parcelle n o 215.
Le 3 février 2015, l'architecte des constructeurs (ci-après: l'architecte) a informé la commune que les installations de chantier (dans le cadre du permis n o 45/2012) seraient montées dès le 16 février 2015. La Municipalité de Chexbres (ci-après: la municipalité) lui a signifié le 13 février 2015 qu'elle devait approuver, avant le début des travaux, le plan d'installation du chantier, notamment l'emplacement de la grue et le secteur de travail de son bras. La sécurité du chantier devait par ailleurs être assurée et les mesures garantissant la stabilité du mur séparant les parcelles n os 215 et 217 prises.
Le 31 mars 2015, une séance réunissant l'architecte, B.A._, le syndic, une municipale et le technicien communal a abouti à la signature par les participants d'un accord relatif notamment à l'utilisation de la grue (réglant plus particulièrement le survol de la parcelle n o 217), à l'établissement avant travaux d'un constat de l'état du mur de soutènement séparant les parcelles n os 215 et 217 et à l'installation sur la parcelle n o 217 d'une enceinte de sécurité le long dudit mur.
Le 12 mai 2015, l'architecte a informé la commune que les travaux d'installation du chantier débuteraient le 18 mai 2015.
La grue a été installée le 8 juillet 2015 et des échafaudages mis en place le 9 juillet 2015.
Dans le courant des mois de juin et juillet 2015, des échanges de courriels et des courriers ont eu lieu entre les constructeurs, les époux A._, respectivement leur conseil, et la commune, au sujet du respect des engagements pris lors de la séance du 31 mars 2015. A la suite d'une nouvelle séance organisée par la commune le 23 juillet 2015, à laquelle ont notamment pris part le conseil des époux A._, l'architecte, le syndic et deux municipaux, et au cours de laquelle le respect des normes de sécurité ainsi que la démolition des balcons de la maison ont été abordés, l'architecte a signalé à la commune, le 6 août 2015, que le chantier reprendrait finalement le 17 août 2015, par les travaux de sécurisation demandés.
A la suite d'une requête de mesures provisionnelles et superprovisionnelles déposée le 5 août 2015 par A.A._ et B.A._, le Président du Tribunal d'arrondissement de l'Est vaudois a, par ordonnance du 6 août 2015, interdit à titre superprovisionnel aux constructeurs de faire survoler le bras de la grue au-dessus de la parcelle n o 217, la grue pouvant toutefois s'orienter librement durant les périodes d'arrêt du chantier. Lors d'une audience de mesures provisionnelles du 18 septembre 2015, les parties ont convenu de suspendre l'instruction pour mettre en oeuvre une expertise amiable portant sur le mur de soutènement séparant les parcelles n os 215 et 217.
Le 8 décembre 2015, le conseil des constructeurs a informé le Tribunal d'arrondissement de l'Est vaudois que ses mandants avaient pris la décision de suspendre " jusqu'à nouvel avis " les travaux " afin de se donner le temps de réfléchir à la suite à donner à ce projet qui butte contre l'opposition sans concession des voisins ". Il a ajouté que s'il s'agissait pour l'heure d'une suspension provisoire, les installations de chantier existantes seraient toutefois ôtées, dont la grue qui ne serait pas remontée.
Le 11 janvier 2016, le Tribunal d'arrondissement de l'Est vaudois a rayé la cause du rôle aux frais des constructeurs, considérant que l'interruption du chantier et le démontage de la grue valaient acceptation par actes concluants des conclusions de la partie adverse.
Lors d'un contrôle effectué le 1 er mars 2016 sur la parcelle n o 215, D.D._ a précisé que les travaux étaient arrêtés pour une durée indéterminée.
Par courrier du 5 mai 2017, la municipalité a interdit la reprise des travaux concernant le permis de construire no 45/2012 jusqu'à droit connu sur les recours pendants devant la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) au sujet d'un nouveau projet soumis par les constructeurs portant sur la création d'un logement supplémentaire et l'agrandissement du logement principal autorisé par la municipalité par décision du 8 novembre 2016 (permis de construire n o 141/2016).
Par arrêt du 26 septembre 2017, la CDAP a admis les recours précités et annulé la décision municipale du 8 novembre 2016, aux motifs que la construction prévue empiétait à plusieurs égards sur la limite des constructions et que la toiture envisagée ne respectait pas les exigences réglementaires communales.
Parallèlement, A.A._ et B.A._ ont requis le 8 juin 2017 de la municipalité qu'elle constate formellement la péremption du permis délivré en 2013 (permis de construire n o 45/2012).
Par décision du 18 août 2017, la municipalité a refusé de reconnaître la péremption du permis de construire délivré le 1 er octobre 2013 en retenant que, selon le courrier du 22 juin 2017 des constructeurs, des travaux " apparemment relativement conséquents ", constatés lors de la vison locale du 7 juin 2017, avaient été réalisés de juin à fin juillet 2015. Elle a ajouté que ces travaux " semblaient " avoir été interrompus par un litige civil ayant abouti à l'interdiction de l'usage de la grue.
B.
Par arrêt du 25 avril 2018, la CDAP a rejeté le recours déposé par A.A._ et B.A._ contre la décision du 18 août 2017 de la municipalité.
C.
A.A._ et B.A._ forment un recours en matière de droit public au Tribunal fédéral par lequel ils demandent, avec suite de frais et dépens, la réforme de l'arrêt cantonal du 25 avril 2018 en ce sens que leur recours à l'encontre de la décision de la municipalité du 18 août 2017 est admis, le permis de construire délivré aux constructeurs D.D._ et E.D._ (ci-après: les intimés) le 1 er octobre 2013 étant périmé. Subsidiairement, ils sollicitent son annulation et le renvoi de la cause pour nouvel arrêt dans le sens des considérants.
Invitée à se déterminer, la cour cantonale s'est référée aux considérants de son arrêt. La Commune de Chexbres, représentée par sa Municipalité, a déposé une réponse et a conclu au rejet du recours. Il en va de même des intimés, qui ont conclu au rejet du recours, dans la mesure de sa recevabilité. Dans leurs observations complémentaires, les recourants ont confirmé leurs conclusions.
Par ordonnance du 15 juin 2018, le Président de la 1 re Cour de droit public du Tribunal fédéral a rejeté la demande d'effet suspensif déposée par les recourants. Il a en outre rejeté la demande des intimés - qui se sont opposés à l'effet suspensif - tendant au dépôt de sûretés.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (cf. <ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants, voisins directs de la parcelle sur laquelle est projetée la construction, sont particulièrement touchés par l'arrêt attaqué et ont un intérêt digne de protection à l'annulation ou à la modification de celui-ci. Ils disposent dès lors de la qualité pour recourir devant le Tribunal fédéral au sens de l'<ref-law>. Il y a ainsi lieu d'entrer en matière.
2.
Les pièces nouvelles produites par les intimés à l'appui de leur mémoire-réponse qui sont postérieures à l'arrêt entrepris sont d'emblée irrecevables (cf. <ref-ruling> consid. 1.2 p. 23 et les arrêts cités).
3.
Les recourants débutent leur écriture par un " résumé des faits ", sans toutefois exposer en quoi l'état de fait de l'arrêt attaqué aurait été établi de manière manifestement inexacte ou en violation du droit au sens de l'<ref-law>, ni en quoi la correction du vice serait susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne prend dès lors pas en considération la version présentée par les recourants et s'en tient aux constatations de l'arrêt cantonal.
4.
Les recourants soutiennent que l'instance précédente aurait fait preuve d'arbitraire en considérant que l'art. 118 de la loi [du canton de Vaud] du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11) excluait l'application de l'art. 69 RC, disposition communale spécifique précisant ce qu'il faut entendre par " Début des travaux ". Ils font également valoir que la cour cantonale aurait appliqué, respectivement interprété arbitrairement l'art. 118 LATC.
4.1. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal - et a fortiori communal - que sous l'angle de l'arbitraire. Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Par conséquent, si celle-ci ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation cantonale en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable. De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (cf. <ref-ruling> consid. 1.2 p. 308 s.; <ref-ruling> consid. 2.1 p. 18 s.). Dans ce contexte, les recourants sont soumis aux exigences accrues de motivation de l'<ref-law>.
4.2. Selon l'art. 118 al. 1 et 2 LATC, le permis de construire est périmé si, dans le délai de deux ans dès sa date, la construction n'est pas commencée; la municipalité peut en prolonger la validité d'une année si les circonstances le justifient.
4.3. S'agissant du premier grief relatif au refus d'appliquer l'art. 69 RC, la cour cantonale a relevé que, selon une jurisprudence relativement ancienne - rendue sous l'empire de l'ancienne loi sur la police des constructions du 5 février 1941 - jamais modifiée depuis lors, les communes étaient compétentes pour définir la notion de commencement des travaux. Elle avait toutefois relevé à plusieurs reprises qu'il n'était pas certain que cette jurisprudence doive être maintenue: la notion de " commencement des travaux ", déterminante pour la péremption du permis de construire au sens de l'art. 118 LATC, faisait partie des règles formelles fixées par le droit cantonal et ne semblait pas pouvoir faire l'objet d'une disposition communale qui lui donnerait un contenu différent. Concéder une telle liberté aux communes revenait en définitive à les autoriser à modifier librement le délai de deux ans prévu par l'art. 118 LATC. Enfin, accorder pareille faculté aux communes introduisait une complexité et une incertitude dommageables pour les justiciables confrontés à une application de l'art. 118 LATC. Selon l'autorité précédente, il convenait par conséquent d'examiner la question du commencement des travaux et de la péremption du permis de construire exclusivement au regard de l'art. 118 LATC et de la jurisprudence y relative.
Ainsi, l'autorité cantonale, qui se fonde sur une norme légale formelle, considère que la péremption du permis de construire est réglée exclusivement par le droit cantonal, faisant valoir en outre l'insécurité juridique qui résulterait d'une interprétation laissant cette compétence aux communes. L'argumentation des recourants, qui se réfèrent de façon générale à l'art. 47 LATC sans dire en quoi cette norme s'opposerait précisément au raisonnement précité, ne fait pas apparaître insoutenable l'analyse de l'autorité précédente. Il en va de même du grief lié à une prétendue imprécision de la jurisprudence cantonale en ce domaine; il ne concerne en effet pas la question de la détermination de la base légale, mais celle de son interprétation. En réalité, les recourants se bornent à opposer leur propre opinion à celle de la cour cantonale, ce qui est irrecevable en matière d'examen de la violation de l'interdiction de l'arbitraire. Ce grief des recourants ne peut dès lors être qu'écarté, le caractère arbitraire de l'analyse juridique de la cour cantonale n'étant pas démontré.
4.4.
4.4.1. Il y a lieu dès lors d'examiner le deuxième grief des recourants, soit celui d'une interprétation, respectivement d'une application arbitraire de l'art. 118 al. 1 LATC. A cet égard, la cour cantonale a constaté, en substance, que les intimés avaient obtenu en février 2015 un crédit de construction de 400'000 fr. auprès d'un établissement bancaire, qu'ils avaient fait procéder au mois de mai 2015 à un constat avant travaux du mur sud surplombant le domaine public par un bureau d'ingénieurs et qu'une grue de grande taille avait été installée le 8 juillet 2015. Elle a en outre déduit des différentes factures - d'un montant totalisant plus de 250'000 fr. - produites par les intimés (relatives notamment à des travaux d'installation du chantier, à des travaux de démolition, à des terrassements, au transport et à l'évacuation de terres et de matériaux, à l'installation de micropieux pour le socle de la grue et à des travaux préparatoires) ainsi que des procès-verbaux de rendez-vous de chantier, que l'entreprise F._ était active sur le chantier depuis le mois de juin 2015 et que cette entreprise, ainsi que les autres mises en oeuvre, suivaient un planning des travaux préalablement établi. Sous l'angle objectif, la cour cantonale a jugé que des opérations aussi complexes et coûteuses devraient a priori être considérées comme un commencement des travaux. De plus, l'entreprise générale F._ avait été active durant plusieurs semaines sur le chantier en juin-juillet 2015. Il apparaissait ainsi difficile de contester que les travaux avaient objectivement débuté à ce moment-là. Cela étant, l'autorité inférieure a relevé que, la " volonté sérieuse " de commencer lesdits travaux avant la péremption du permis de construire était de toute manière établie au plan subjectif, de sorte que la question de savoir si, objectivement, des travaux de construction avaient été réalisés en juin-juillet 2015 ou si on était uniquement en présence d'opérations préparatoires préalables au commencement des travaux comme le soutenaient les recourants, souffrait finalement de demeurer indécise. La cour cantonale est ainsi parvenue à la conclusion que c'était à juste titre que la municipalité avait considéré que le permis de construire n o 45/2012 n'était pas périmé en application de l'art. 118 al. 1 LATC.
4.4.2. Les recourants affirment que le fait de substituer la seule " volonté sérieuse " des constructeurs au commencement effectif des travaux apparaît en contradiction avec l'art. 118 LATC. Ils ajoutent que cette interprétation serait " totalement contreproductive pour les voisins " en ce sens qu'ils seraient bien en peine de sonder cette " volonté sérieuse " des constructeurs ou de la vérifier par des moyens tangibles et objectifs. Selon eux, l'art. 118 LATC imposerait l'existence d'un élément objectif. Cette argumentation ne conduit pas à considérer le raisonnement de la cour cantonale comme arbitraire. En effet, les juges cantonaux n'ont en l'occurrence pas substitué l'élément subjectif à l'élément objectif. Ils ont laissé indécise la question de la réalisation de l'élément objectif pour retenir l'existence de l'élément subjectif. En ce qui concerne ce dernier, ils l'ont considéré comme établi en se fondant sur les faits, eux, objectifs, mentionnés ci-dessus (cf. supra consid. 4.4.1), soit des travaux d'une importance significative, entrepris à temps, facturés pour des montants substantiels. S'agissant de l'arrêt 1C_587/2017 du 19 mars 2018 auquel les recourants se réfèrent, on ne discerne pas ce qu'ils entendent en déduire; en effet, dans ce cas, le Tribunal fédéral a jugé que le grief tiré de l'application arbitraire du droit cantonal était irrecevable, s'agissant de l'appréciation de la cour cantonale qui a considéré que les travaux préparatoires n'équivalaient pas à un commencement du chantier et que les investissements déjà réalisés ne pouvaient fonder une volonté sérieuse de commencer les travaux, respectivement que son appréciation circonstanciée n'apparaissait pas arbitraire.
En outre, le Tribunal fédéral a déjà admis le caractère non arbitraire de la prise en compte d'un élément subjectif par le Tribunal cantonal vaudois dans l'examen des conditions de l'art. 118 al. 1 LATC, cette autorité se montrant sévère quant à la preuve de cette intention sérieuse de poursuivre la construction de l'immeuble, dès lors que la prise en compte de cet élément subjectif constitue un assouplissement des exigences posées par la loi (arrêt 1C_487/2017 du 5 juillet 2018 consid. 3.3; cf. également arrêts 1C_150/2008 du 8 juillet 2008 consid. 3.3; 1P.142/1993 du 8 juin 1993 consid. 3b). Il a ajouté qu'il permettait de tenir compte des difficultés dans la réalisation de l'ouvrage que peut rencontrer le constructeur, notamment dans le cas de constructions importantes, lorsque celui-ci peut établir son intention sérieuse de mener à bien son projet (arrêt 1P.142/1993 précité consid. 3b).
En définitive, l'application, respectivement l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable au point d'apparaître insoutenable, étant rappelé qu'il n'y a pas arbitraire du seul fait qu'une autre solution que celle de l'autorité précédente apparaît comme concevable, voire préférable.
4.5. Les recourants posent ensuite la question de la durée de validité du permis de construire si l'on se fonde sur la " seule volonté sérieuse du constructeur ". D'après les recourants, la disparition de ce critère subjectif deux ans après la délivrance du permis de construire devrait permettre de constater sa péremption; or, en l'espèce, la " volonté sérieuse " des constructeurs aurait disparu, à la fin février 2016. L'art. 118 al. 3 LATC - au sujet duquel la cour cantonale s'est prononcée au considérant 7 de sa décision - permet toutefois de répondre à ces interrogations en ce sens qu'il prévoit notamment que le permis de construire peut être retiré si, sans motifs suffisants, l'exécution des travaux n'est pas poursuivie dans les délais usuels. Les recourants n'évoquent toutefois aucune critique recevable au sujet de l'application de cette dernière disposition.
4.6. En résumé, les recourants ne démontrent pas en quoi le Tribunal cantonal aurait arbitrairement exclu d'appliquer l'art. 69 RC ni qu'il aurait interprété et appliqué l'art. 118 al. 1 LATC d'une manière qui puisse être qualifiée d'arbitraire au sens de la jurisprudence susmentionnée. Plus particulièrement, il n'apparaît pas que la cour cantonale ait fait preuve d'arbitraire en considérant, au vu des multiples pièces produites par les intimés, que les conditions de l'art. 118 al. 1 LATC étaient réalisées. Pour le surplus, les recourants ne soulèvent aucun grief recevable s'agissant de l'art. 118 al. 3 LATC, de sorte qu'il n'y a pas lieu d'examiner plus avant cette question (<ref-law>); cela ne préjuge toutefois en rien de la question de savoir si la péremption du permis de construire est intervenue dans l'intervalle, respectivement si elle pourrait intervenir à l'avenir.
5.
Sur le vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). La commune obtenant gain de cause dans l'exercice de ses attributions officielles, il n'y a pas lieu de lui allouer des dépens (<ref-law>). En revanche, les recourants verseront des dépens aux intimés, qui ont agi par l'intermédiaire d'un avocat (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de dépens de 3'000 fr. est accordée aux intimés à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de Chexbres ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 31 janvier 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel