Faits :
A.
C._ et D._ sont propriétaires des parcelles n os 1'827 et 2'728 de la commune de E._, sises au ***, route F._, la seconde jouxtant la première à l'est. Ces biens-fonds se trouvent en cinquième zone de construction.
Le 5 octobre 2015, C._ et D._ ont déposé auprès du Département de l'aménagement, du logement et de l'énergie du canton de Genève (devenu le Département du territoire) une demande définitive d'autorisation de construire un habitat groupé de huit logements avec garage souterrain sur les parcelles n os 1'827 et 2'728.
L'extrait de plan cadastral joint à la demande faisait figurer, hors du périmètre concerné, la parcelle n o 1'831, dont l'extrémité sud menait au garage souterrain de la future construction et dont l'extrémité nord donnait sur la route F._.
Lors de l'instruction de la demande par le Département du territoire, la Direction générale des transports (ci-après: la DGT) a demandé une modification du projet, s'agissant des places de stationnement pour les visiteurs et les habitants et les places pour les vélos, dans un préavis du 19 octobre 2015.
Les 4 et 16 novembre 2015, la commune a préavisé favorablement le projet, sous conditions.
Le 16 novembre 2015, B.B._ et A.B._, propriétaires de la parcelle voisine n° 1'828, ont formulé des observations. Ils ont fait valoir que l'extrait du plan cadastral joint à la demande d'autorisation était vicié à la forme et que la largeur du chemin d'accès, de 4 m, était insuffisante.
Le 25 novembre 2015, le bureau d'architectes a établi des plans complémentaires. L'annexe B, soit le plan de la parcelle n o 1'831, et l'annexe G, soit le plan du rez-de-chaussée et parking, indiquaient que la largeur libre de passage sur le chemin était d'environ 4 m. Le 30 novembre 2015, le bureau d'architectes a répondu aux observations de B.B._ et A.B._ point par point, soulignant que la largeur du chemin était de 6 m, mais que des aménagements avaient été réalisés sans autorisation, avec pour conséquence une réduction du passage utile. Le 1 er décembre 2015, le bureau d'architectes a établi de nouveaux plans complémentaires. La largeur libre de passage sur la parcelle no 1'831 était de 6 m.
Le 22 décembre 2015, la DGT a rendu un nouveau préavis, cette fois favorable sans observation. L'ensemble des préavis recueillis étant favorables, avec ou sans conditions, le Département du territoire a, par décision du 30 mars 2016 délivré l'autorisation sollicitée, les conditions figurant dans des préavis cités devant être respectées.
Par jugement du 3 novembre 2016, le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI) a rejeté le recours interjeté par B.B._ et A.B._ contre l'autorisation de construire du 30 mars 2016.
B.B._ et A.B._ ont recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Après avoir procédé à une inspection locale en présence des parties, la cour cantonale a admis le recours, annulé le jugement du 3 novembre 2016 et l'autorisation de construire, par arrêt du 21 novembre 2017. Elle a renvoyé le dossier au Département du territoire pour nouvelle décision au sens des considérants.
B.
Les 25 et 29 janvier 2018, un nouvel extrait du plan cadastral et un nouveau plan de situation ont été réalisés par un ingénieur géomètre breveté, sur lesquels figurent en détail les emprises sur le chemin dont la largeur oscille entre 3,94 et 4 m.
Le 26 mars 2018, la DGT a émis un préavis favorable avec souhaits, notamment de faire procéder à un marquage médian au niveau du débouché sur la partie principale de la route F._ et à la taille régulière des haies bordant la voie d'accès. Les autres préavis recueillis par le Département du territoire étaient favorables avec ou sans conditions. Par décision du 23 mai 2018, le Département du territoire a délivré l'autorisation de construire sollicitée.
Par jugement du 31 janvier 2019, le TAPI a rejeté le recours déposé par B.B._ et A.B._ contre l'autorisation de construire du 23 mai 2018. Par arrêt du 13 août 2019, la Cour de justice a rejeté le recours interjeté contre le jugement du 31 janvier 2019.
C.
Agissant par la voie du recours en matière de droit public, B.B._ et A.B._ demandent au Tribunal fédéral d'annuler l'arrêt du 13 août 2019, le jugement du 31 janvier 2019 et l'autorisation de construire du 23 mai 2018.
Invités à se déterminer, le Département du territoire et les intimés concluent au rejet du recours. La Cour de justice s'en rapporte à justice quant à la recevabilité des recours et persiste dans les considérants et le dispositif de son arrêt. Les recourants ont répliqué.
Par ordonnance du 18 septembre 2019, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, déposée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (art. 82 let. a LTF), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont pris part à la procédure de recours devant l'instance précédente (art. 89 al. 1 let. a LTF). En tant que propriétaires d'une parcelle directement voisine du projet de construction litigieux, ils sont particulièrement touchés par l'arrêt attaqué confirmant l'autorisation de construire, qu'ils tiennent en particulier pour non conforme aux art. 19 et 22 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 (LAT; RS 700). Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Dans un premier grief d'ordre formel, les recourants font valoir un établissement manifestement inexact des faits (art. 97 et 105 LTF).
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375).
2.2. En l'espèce, les recourants reprochent d'abord à l'instance précédente d'avoir retenu que le chemin d'accès à la construction projetée était à sens unique, alors qu'il s'agit d'un chemin en impasse qui est emprunté par des véhicules roulant dans les deux sens. Ils soulignent qu'il n'est en revanche pas possible pour ces véhicules de croiser hors des embouchures du chemin étant donné sa largeur insuffisante. Cet élément ressort cependant de l'arrêt attaqué, lequel a retenu que "le chemin à considérer est une impasse et n'accueillera aucune circulation de transit, mais uniquement celle des habitations riveraines (...). Il est établi que les deux extrémités du chemin s'élargissent de façon à permettre l'attente et/ou le croisement des véhicules". En réalité, les recourants ne contestent pas l'établissement de ce fait en tant que tel mais plutôt son appréciation juridique. Il s'agit ainsi d'une question de droit qui sera examinée avec le fond.
Les recourants font ensuite grief à la cour cantonale d'avoir retenu qu'un chemin d'accès d'une largeur de 6 m aurait été autorisé et construit en 1956 à cet endroit, et que sa largeur actuelle de 4 m résulterait de l'ajout ultérieur de bordures. Vu le raisonnement qui suit (consid. 3), cet élément n'est pas susceptible d'avoir une incidence sur l'issue de la procédure.
Le grief de la constatation arbitraire des faits est donc irrecevable.
3.
Sur le fond, les recourants se plaignent d'une violation des art. 19 et 22 LAT. Ils soutiennent que la norme émise par l'Union des professionnels suisses de la route VSS 640 050 sur les accès riverains a été appliquée de manière arbitraire.
3.1. Selon l'art. 22 al. 2 let. b LAT, aucune construction ne peut être autorisée si le terrain n'est pas équipé. Un terrain est réputé équipé lorsqu'il est desservi d'une manière adaptée à l'utilisation prévue par des voies d'accès notamment (art. 19 al. 1 LAT).
Une voie d'accès est adaptée à l'utilisation prévue lorsqu'elle est suffisante d'un point de vue technique et juridique pour accueillir tout le trafic de la zone qu'elle dessert (<ref-ruling> consid. 3 a et les arrêts cités). Il faut aussi que la sécurité des usagers soit garantie sur toute sa longueur, que la visibilité et les possibilités de croisement soient suffisantes et que l'accès des services de secours et de voirie soit assuré. La loi n'impose pas des voies d'accès idéales; il faut et il suffit que, par sa construction et son aménagement, une voie de desserte soit praticable pour le trafic lié à l'utilisation du bien-fonds et n'expose pas ses usagers ni ceux des voies publiques auxquelles elle se raccorderait à des dangers excessifs (arrêt 1C_210/2018 du 11 décembre 2018 consid. 11.1 et les références citées).
Dans le cadre de l'interprétation et de l'application de la notion d'accès suffisant, les autorités communales et cantonales disposent d'une importante marge d'appréciation que le Tribunal fédéral doit respecter, en particulier quand il s'agit d'évaluer les circonstances locales (<ref-ruling> consid. 3a in fine p. 68; arrêt 1C_210/2018 du 11 décembre 2018 consid. 11.1 et les arrêts cités). Elles peuvent aussi se fonder sur les normes édictées en la matière par l'Union des professionnels suisses de la route, étant précisé que ces normes, non contraignantes, doivent être appliquées en fonction des circonstances concrètes et en accord avec les principes généraux du droit, dont celui de la proportionnalité (arrêt 1C_155/2019 du 11 décembre 2019 consid. 5.1 et les références citées).
3.2. En l'espèce, la Direction générale des transports a donné son préavis le 27 mars 2018, émettant uniquement des souhaits quant à un marquage médian au niveau du débouché et à une taille régulière des haies bordant la voie d'accès. Elle a considéré que le chemin d'accès devait être qualifié de "type A" au sens de la norme VSS 640 050, ce qui implique une largeur de 3 m. Pour les recourants, au contraire le chemin doit être qualifié de "type B", ce qui impliquerait une largeur de 5 m. Le Tribunal administratif de première instance, composé pour partie de personnes possédant des compétences techniques spécifiques, a analysé de manière détaillée la problématique de l'accès et a conclu que rien ne s'opposait à la qualification d'accès de type A.
Quant à la cour cantonale, elle s'est abstenue de qualifier le chemin litigieux de type A ou B, au motif qu'il convenait de prendre en compte en l'espèce les circonstances suivantes dont la norme VSS 640 050 ne tenait pas compte: le chemin à considérer était une impasse et n'accueillait aucune circulation de transit, mais uniquement celle des habitations riveraines; le chemin était une propriété privée ayant un statut de dépendance; les copropriétaires riverains du chemin avaient effectué des constructions et aménagements rétrécissant ce chemin de 6 m à 3,94 m, lesquels pourraient être enlevés à la suite d'une décision de remise en état que le Département du territoire se disait prêt à rendre; il était établi que les deux extrémités du chemin s'élargissaient de façon à permettre l'attente et/ou le croisement de véhicules.
L'instance précédente en a déduit que les conclusions du Département du territoire, prises sur la base du préavis favorable de la DGT et des explications détaillées fournies sur tous les points litigieux par celle-ci, dont notamment celles au sujet de la présence de haies ainsi que le rétrécissement du chemin, pouvaient être suivies pour considérer que le chemin d'accès revêtait des caractéristiques suffisantes, d'un point de vue technique au sens de la jurisprudence susmentionnée, pour assurer la desserte des constructions projetées.
3.3. Les recourants reprochent à l'instance précédente de ne pas avoir tranché la question de savoir si le chemin litigieux était de type A ou de type B. Ils lui font aussi grief d'avoir retenu que le chemin pourrait être élargi "par une décision de remise en état que le département se dit prêt à rendre". Ils ne se prononcent cependant pas sur le raisonnement de la cour cantonale. Comme s'ils plaidaient devant une cour d'appel, ils se contentent de répéter qu'il s'agirait d'une route d'accès de type B et que le chemin d'accès ne serait dès lors pas assez large. Ils se bornent sur ce point à opposer leur propre appréciation à celle de la Direction générale des transports, instance spécialisée en matière de mobilité, et du Département du territoire.
La Cour de justice n'était par ailleurs pas tenue de se prononcer sur la qualification d'accès de type A ou B, les normes VSS étant de pures recommandations, chaque cas devant, selon la jurisprudence, s'examiner sous l'angle de la notion d'accès suffisant, ce qu'a fait la Cour de justice en relevant de surcroît toutes les spécificités de ce chemin d'accès. Cette approche se justifie d'autant plus que, même si le chemin litigieux devait être qualifié de "route de desserte de quartier" au sens de la norme VSS 640 050, le standard peut être de type A comme de type B, selon le confort souhaité. Les recourants, en se focalisant sur la route F._ à laquelle aboutit la parcelle n° 1831, analysent la mauvaise route, dont le statut n'a pas d'importance pour l'issue du litige. A cet égard, il y a lieu de constater, comme le relève la Cour de justice, que le chemin d'accès en question s'élargit à son abord - au delà de 5 m - comme à l'autre extrémité, y rendant les croisements possibles.
Les recourants rappellent encore que le projet augmentera le nombre de places de stationnement à environ 30. Or à teneur de la norme VSS précitée, une route de desserte de quartier, et dès lors aussi un chemin d'accès, peuvent accueillir jusqu'à 40 places de stationnement, tout en pouvant ne respecter que le standard de type A. Cet argument manque ainsi de pertinence.
3.4. Il résulte de ce qui précède que les recourants ne démontrent pas le caractère arbitraire de l'interprétation par l'instance précédente et ne parviennent pas à rendre vraisemblable que le chemin d'accès ne serait pas assez large pour l'utilisation prévue. Il n'y a dès lors pas lieu de s'écarter de l'appréciation de la Cour de justice selon laquelle la voie d'accès litigieuse revêt des caractéristiques suffisantes d'un point de vue technique pour assurer la desserte des constructions projetées. Avec la retenue dont doit faire preuve le Tribunal de céans dans cet examen, l'analyse faite par la Cour de justice doit être confirmée, ce d'autant plus que l'instance précédente a procédé à une inspection locale et que la Direction générale des transports et le Département du territoire y ont assisté.
4.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité, aux frais des recourants qui succombent (art. 65 et 66 al. 1 LTF). Ceux-ci verseront en outre une indemnité de dépens aux intimés qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge des recourants.
3.
Une indemnité de 4'000 fr. est allouée aux intimés à titre de dépens, à la charge des recourants pris solidairement entre eux.
4.
Le présent arrêt est communiqué aux mandataires des recourants et des intimés, au Département du territoire et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 2 avril 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller