Faits : A. C.B._, A.B._, B.B._ et la succession de D.B._ (ci-après: les constructeurs) sont copropriétaires de la parcelle n o 1826 de la Commune de Pully. Ce bien-fonds, d'une surface de 2236 m2, est libre de constructions. Il est compris dans le périmètre du plan d'extension partiel "zone de villas de xxx" (ci-après: PEP), approuvé le 18 septembre 1981 par le Conseil d'Etat canton de Vaud. Celui-ci est régi par le règlement du plan d'extension partiel (ci-après: RPEP). Sont par ailleurs applicables, à titre subsidiaire, le règlement communal sur l'aménagement du territoire et les constructions entré en vigueur le 18 juin 2012 (ci-après: RCATC), la loi du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS/VD 700.11), ainsi que son règlement d'application du 19 septembre 1986 (RLATC; RS/VD 700.11.1) (cf. art. 15 RPEP). Selon l'art. 6 RPEP, la zone de villas est divisée en quatre secteurs délimités sur le plan. La parcelle n o 1826 se situe sur les secteurs A et C. La parcelle n o 1826 se situe dans la partie aval du périmètre du PEP. Elle s'inscrit dans une forte pente orientée du nord au sud. Sa limite, à l'est, longe le chemin de xxx. En pente et bordé de murs de vigne, ce chemin rejoint l'avenue yyy au sud. B. Du 14 septembre au 13 octobre 2016, les constructeurs ont soumis à l'enquête publique un projet portant sur la réalisation d'une villa de deux logements, de six places de stationnement et d'un chemin d'accès. La construction est prévue dans la partie ouest de la parcelle, dans le secteur "A" défini par le PEP. Le chemin d'accès privé est quant à lui projeté à l'est de la parcelle, depuis le chemin de xxx. La réalisation du projet, notamment du chemin d'accès, implique l'abattage de 23 arbres (7 pins, 1 pommier, 2 poiriers, 1 cerisier, 4 hêtres, 3 épicéas, 2 frênes, 2 bouleaux et 1 if). Le projet a suscité plusieurs oppositions, dont celle de B.A._ et A.A._ déposée le 12 octobre 2016. Ces derniers sont copropriétaires des parcelles nos 1811 et 1825 du cadastre de Pully. La parcelle n° 1825 jouxte à l'ouest la parcelle no 1826. Par la suite, la Municipalité de Pully a requis une modification du projet comprenant notamment la réduction à quatre du nombre de places de stationnement, la diminution de la surface de la terrasse prévue à l'ouest ainsi que la réduction de l'emprise de la surface d'évitement du chemin d'accès. Ces modifications font l'objet de plans modifiés des 15 mai et 22 mai 2017. C. Par courrier du 30 juin 2017, la municipalité a informé les opposants prénommés qu'elle avait décidé de lever leur opposition et de délivrer le permis de construire. Cette autorisation, délivrée le 30 juin 2018, porte notamment sur l'abattage de huit arbres protégés par le règlement communal sur la protection des arbres du 26 juillet 2004. Le 1er septembre 2017, B.A._ et A.A._ ont recouru contre cette décision à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud. Par arrêt du 20 août 2017, après avoir procédé à une inspection locale, la cour cantonale a partiellement admis le recours, assortissant l'autorisation d'abattre certains arbres d'une mesure de compensation quantitative et qualitative. Le Tribunal cantonal a pour le surplus écarté les différents griefs soulevés notamment en lien avec la forme de la toiture, les mouvements de terre ou encore l'équipement de la parcelle (accès). D. D.a. Agissant par la voie du recours en matière de droit public, B.A._ et A.A._ demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que le recours cantonal est admis; les décisions municipales du 30 juin 2017 levant leur opposition, respectivement délivrant le permis de construire, sont annulées. Subsidiairement, ils concluent au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Ils requièrent enfin l'octroi de l'effet suspensif. Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. La Municipalité de Pully conclut au rejet du recours. Il en va de même des constructeurs intimés. Les recourants ont répliqué, persistant dans leurs conclusions. Par ordonnance du 12 octobre 2018, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif. D.b. Par acte du 7 février 2019, les parties ont requis la suspension de la procédure jusqu'au 15 avril 2019 afin de poursuivre leurs négociations. Par ordonnance du 8 février 2019, le Président de la Ire Cour de droit public a suspendu l'instruction jusqu'au 15 avril 2019. Une seconde suspension, jusqu'au 31 mai 2019, a été requise par convention de procédure ratifiée par les parties les 16 et 17 avril 2019. La suspension nouvellement requise a été accordée par ordonnance du 18 avril 2019. A l'issue de ce délai, par ordonnance du 12 juin 2019, le Président de la Ire Cour de droit public a ordonné la reprise de l'instruction. Par acte du 9 mars 2020, la Municipalité de Pully a requis une nouvelle suspension de la procédure jusqu'au 15 avril 2020, arguant d'une séance de discussion appointée le 19 mars 2020.