Faits :
A.
A.a. Par inscription opérée au Registre foncier le 20 mai 1980, les parcelles n° 1385 à 1407 de la commune de Cologny (GE), sises chemin des Prés-de-la-Gradelle, ont été grevées d'une servitude personnelle de restriction de bâtir, au profit de l'Etat de Genève, en ce sens qu'il ne pouvait être construit qu'un logement par parcelle.
En janvier 2017, C._ et B._, propriétaires de la parcelle n° 1404, ont sollicité, par l'intermédiaire de leur notaire, que l'Etat de Genève se détermine quant à la possibilité d'une radiation de la servitude précitée. Après avoir notamment recueilli les préavis des différents services concernés, l'Office cantonal du logement et de la planification foncière (ci-après: OCLPF) a répondu favorablement à la requête des propriétaires précités, estimant que la servitude en cause était devenue obsolète.
Le 1 er février 2017, l'OCLPF, par son Directeur de la planification et des opérations foncières, a dès lors requis du Registre foncier la radiation de la servitude pour l'ensemble des parcelles concernées (parcelles n° 1385 à 1407).
A.b. Le 7 juillet 2017, D._ SA et E._ SA ont déposé auprès du Département du territoire de la République et canton de Genève une demande d'autorisation de construire visant à la construction de quatre villas sur la propriété de C._ et B._ (parcelle n° 1404).
B.
B.a. Le 11 juillet 2018, les propriétaires des parcelles n° 1385 à 1387, 1390 à 1392, 1395, 1396, 1398 à 1403, 1405 et 1406 ainsi que le Groupement des propriétaires des Prés-de-la-Gradelle, par l'intermédiaire de leur mandataire commun, ont demandé à connaître les raisons pour lesquelles l'Etat de Genève avait renoncé à la servitude sus-visée.
L'OCLPF a donné suite à cette demande par courrier du 10 août 2018.
B.b. Par arrêt du 28 mai 2019, rectifié le 21 juin 2019 s'agissant des frais de justice, la Chambre administrative de la Cour de justice genevoise a déclaré irrecevable le recours formé le 13 septembre 2018 contre le courrier du 10 août 2018 par une partie des propriétaires des parcelles précitées ainsi que par le Groupement des propriétaires des Prés-de-la-Gradelle.
C.
A._ et consorts (propriétaires des parcelles n° s 1399, 1407, 1390, 1392, 1398, 1406, 1385, 1391, 1400, 1395, 1401, 1405, n° 1403 et 1394) forment un recours en matière de droit public au Tribunal fédéral contre l'arrêt du 28 mai 2019. Ils concluent, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale pour qu'elle statue sur le fond de leur recours du 13 septembre 2018.
Invitée à se déterminer, la cour cantonale s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département du territoire, par l'OCLPF, conclut pour sa part au rejet du recours dans la mesure de sa recevabilité. Quant à C._, B._, D._ SA et E._ SA, qui agissent par l'intermédiaire de mandataires communs, ils concluent, avec suite de frais et dépens, principalement à l'irrecevabilité du recours en matière de droit public et subsidiairement à son rejet.
Les recourants, les intimés et le Département du territoire ont par la suite persisté dans leurs conclusions respectives.

Considérant en droit :
1.
Formé contre un arrêt final (<ref-law>) pris en dernière instance cantonale (art. 86 al. 1 let. d LTF) sur la base du droit public cantonal (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants sont directement touchés par le prononcé d'irrecevabilité de l'arrêt attaqué et ont un intérêt digne de protection à en obtenir l'annulation. Ils ont dès lors qualité pour recourir au sens de l'<ref-law>.
Les juges cantonaux ayant refusé d'entrer en matière sur le recours, seule la question de la recevabilité du recours cantonal peut donc être portée devant le Tribunal fédéral qui n'a, à ce stade, pas à examiner le fond de la contestation (<ref-ruling> consid. 1.4 p. 414; <ref-ruling> consid. 3.1; arrêt 1C_206/2019 du 6 août 2019 consid. 1).
2.
Les recourants produisent, à l'appui de leur recours, un courrier que l'Office du Registre foncier a adressé le 29 mai 2019 au recourant B.A._ au sujet de la radiation d'une servitude de restriction du droit de bâtir au bénéfice de l'Etat de Genève concernant un immeuble sis à Thônex (GE). Cette pièce, de même que les faits qui en découlent, sont nouveaux au sens de l'<ref-law> et, partant, irrecevables.
3.
Se prévalant d'un déni de justice formel (art. 29 al. 1 Cst.), les recourants soutiennent que leur recours visait non pas le "courrier de transmission du 10 août 2018", mais l'acte adressé le 1er février 2017 par l'OCLPF au Registre foncier, lequel constitue selon eux une décision au sens de l'art. 4 de la loi sur la procédure administrative genevoise du 12 septembre 1985 (LPA/GE; E 5 10).
3.1.
3.1.1. Aux termes de l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Il y a déni de justice formel lorsqu'une autorité n'applique pas ou applique d'une façon incorrecte une règle de procédure, de sorte qu'elle ferme l'accès à la justice au particulier qui, normalement, y aurait droit. L'autorité qui se refuse à statuer, ou ne le fait que partiellement, viole l'art. 29 al. 1 Cst. (<ref-ruling> consid. 5 p. 181 et les références citées).
3.1.2. En droit public, la notion de "décision" au sens large vise habituellement toute résolution que prend une autorité et qui est destinée à produire un certain effet juridique ou à constater l'existence ou l'inexistence d'un droit ou d'une obligation; au sens étroit, c'est un acte qui, tout en répondant à cette définition, intervient dans un cas individuel et concret (<ref-ruling> consid. 2.1 p. 332; <ref-ruling> consid. 3 p. 69; <ref-ruling> consid. 3a p. 520; cf. également <ref-ruling> consid. 3.1 p. 235 s.; <ref-ruling> consid. 4.3 p. 44 s.). A teneur de l'art. 4 al. 1 LPA, sont considérées comme des décisions "les mesures individuelles et concrètes prises par l'autorité dans les cas d'espèce, fondées sur le droit public fédéral, cantonal, communal et ayant pour objet de créer, de modifier ou d'annuler des droits ou des obligations (let. a), de constater l'existence, l'inexistence ou l'étendue de droits, d'obligations ou de faits (let. b) ou de rejeter ou de déclarer irrecevables des demandes tendant à créer, modifier, annuler ou constater des droits ou des obligations (let. c) ". Selon l'art. 4 al. 3 LPA, "lorsqu'une autorité rejette ou invoque des prétentions à faire valoir par voie d'action judiciaire, sa déclaration n'est pas considérée comme une décision". Cette exception s'applique notamment au contentieux de la responsabilité de l'Etat, qui prévoit un contentieux par voie d'action (art. 7 de la loi sur la responsabilité de l'Etat et des communes du 24 février 1989 [LREC; RS/GE A 2 40]; arrêt 2C_282/2017 du 4 décembre 2017 consid. 2.1 et les références citées).
L'art. 4 LPA définit la notion de décision de la même manière que l'art. 5 al. 1 de la loi fédérale sur la procédure administrative (PA; RS 172.021; GRODECKI/JORDAN, Code annoté de procédure administrative genevoise, LPA/GE et lois spéciales, 2017, n° 63 p. 17). La notion de décision implique donc un rapport juridique obligatoire et contraignant entre l'autorité et l'administré. De simples déclarations, comme des opinions, des communications, des prises de position, des recommandations et des renseignements n'entrent pas dans la catégorie des décisions, faute de caractère juridique contraignant (arrêts 1C_593/2016 du 11 septembre 2017 consid. 2.2; 8C_220/2011 du 2 mars 2012 consid. 4.1.2 in SJ 2013 I 18). Pour déterminer s'il y a ou non décision, il y a lieu de considérer les caractéristiques matérielles de l'acte. Un acte peut ainsi être qualifié de décision (matérielle), si, par son contenu, il en a le caractère, même s'il n'est pas intitulé comme tel et ne présente pas certains éléments formels typiques d'une décision, telle l'indication des voies de droit (arrêts 2C_282/2017 du 4 décembre 2017 consid. 2.1; 1C_532/2016 du 21 juin 2017 consid. 2.3.1; 2C_271/2012 du 14 août 2012 consid. 1.3, non publié aux <ref-ruling>).
3.1.3. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 4.3.1 p. 177 et les références citées). De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 18).
3.2. La cour cantonale a constaté que, par son courrier du 10 août 2018, l'OCLPF avait exposé l'historique ayant mené à la création de la servitude de restriction de bâtir sur les parcelles concernées. A cette occasion, l'office précité avait également expliqué le processus et les raisons pour lesquelles l'Etat de Genève, seul bénéficiaire de la servitude en question, avait considéré que la servitude était devenue obsolète et avait requis sa radiation à la suite de la demande des propriétaires de la parcelle n° 1404.
Dans ces circonstances, le courrier du 10 août 2018 devait être considéré comme une réponse à une demande de renseignements formulée par des personnes intéressées. Cette correspondance ne déployait pas d'effets juridiques à leur égard et ne revêtait dès lors pas les caractéristiques d'une décision au sens de l'art. 4 LPA susceptible de faire l'objet d'un recours auprès de la Chambre administrative, de sorte que le recours était irrecevable (cf. arrêt entrepris, consid. 3 p. 7).
3.3.
3.3.1. Il faut admettre avec les recourants que, dans ses considérants, la cour cantonale s'est attachée essentiellement aux caractéristiques du courrier du 10 août 2018, sans déterminer précisément si, en lui-même, l'acte de réquisition de radiation adressé le 1 er février 2017 par l'OCLPF au Registre foncier devait être considéré comme une décision au sens de l'art. 4 LPA.
3.3.2. Il n'est toutefois pas contesté que les restrictions du droit de bâtir inscrites au Registre foncier en faveur de l'Etat de Genève avaient pris la forme de servitudes personnelles (cf. arrêt entrepris, ch. 10 p. 4). L'<ref-law> permet en effet la constitution de servitudes de droit privé en faveur des collectivités publiques, sans rattachement à un fonds dominant, de telles servitudes pouvant notamment être utilisées à des fins d'intérêt public (cf. <ref-ruling> consid. 2.2 p. 344 et les arrêts cités; DENIS PIOTET, in Commentaire romand, Code civil, vol. II, 2016, n° 15 ad <ref-law>).
Pour autant, il ne ressort pas de l'arrêt entrepris que le canton de Genève aurait édicté en la matière une réglementation spécifique, relevant du droit public, qui imposerait à l'autorité de rendre une décision quant à son choix de renoncer au bénéfice des servitudes en question (cf. sur ce point: arrêt 1C_602/2018 du 3 juillet 2019 consid. 4.3 et 4.4). Ainsi, il n'apparaît pas que les conditions d'extinction des servitudes personnelles soient soumises à d'autres règles que celles du droit privé, en l'occurrence, compte tenu en particulier du renvoi de l'<ref-law> aux dispositions concernant les servitudes foncières, les art. 734 à 736 CC (cf. PIOTET, op. cit., n° 5 ad <ref-law>; ETIENNE PETITPIERRE, in Basler Kommentar, Zivilgesetzbuch, vol. II, 6 e éd., 2019, n° 6 ad <ref-law>).
3.3.3. Les recourants font certes valoir que le droit public cantonal est également susceptible de trouver application dans ce contexte, à savoir en l'occurrence le règlement cantonal du 28 novembre 2007 relatif à la signature des actes authentiques et autres actes concernant le domaine immobilier (RSAA; RS/GE B 3 20.03), qui précise les compétences respectives des différentes entités de l'Etat pour conclure des actes en matière immobilière.
Il apparaît néanmoins que, s'agissant d'opérations du registre foncier, le contrôle de la légitimation du requérant quant à son droit de disposer est soumis, en vertu des <ref-law> et 85 ORF, à l'examen de l'office du registre foncier, lequel est appelé dans ce cadre à vérifier notamment si le signataire de l'acte émanant d'une autorité est valablement habilité à présenter la réquisition. Aussi, si, au regard de la jurisprudence cantonale, l'admission par le registre foncier d'une réquisition d'inscription est susceptible de constituer une décision (cf. ATA/947/2014 du 2 décembre 2014 consid. 15, cité par GRODECKI/JORDAN, op. cit., n° 71 p. 20), il ne saurait en être de même de la réquisition en elle-même, faute d'impliquer un rapport juridique obligatoire et contraignant entre l'autorité et l'administré.
Au vu de ce qui précède, il n'apparaît pas que la réquisition du 1 er février 2017 pouvait être considérée comme une décision au sens de l'art. 4 LPA.
3.3.4. Par ailleurs, il ressort de l'arrêt attaqué qu'ensuite de la radiation litigieuse, les recourants ont également formé, devant le Tribunal civil de première instance, une requête en conciliation en vue d'une action en redressement du registre foncier (cf. <ref-law>; arrêt entrepris, ch. 12 p. 5). Il paraît alors que c'est dans ce cadre que la validité de l'acte contesté pourra être examinée.
Le grief tiré d'un déni de justice formel doit dès lors être rejeté.
3.4. Pour le surplus, les recourants ne contestent pas l'appréciation de la cour cantonale selon laquelle le courrier du 10 août 2018 comportait exclusivement des renseignements donnés à des administrés et ne pouvaient dès lors pas être considéré comme une décision au sens de l'art. 4 LPA.
4.
Il s'ensuit que le recours doit être rejeté. Les frais judiciaires sont mis à la charge des recourants, débiteurs solidaires (art. 66 al. 1 et 5 LTF). Ces derniers, solidairement entre eux, verseront en outre des dépens aux intimés, qui ont obtenu gain de cause avec l'assistance de leur mandataire commun (art. 68 al. 1 et 4 LTF). Le Département, qui a agi dans le cadre de ses attributions officielles, n'a en revanche pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Une indemnité de 3000 fr. est allouée aux intimés, à titre de dépens, à la charge solidaire des recourants.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Département du territoire de la République et canton de Genève et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 7 janvier 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Tinguely