Faits :
A.
D._ est propriétaire de la parcelle n° 172 sise au chemin [...] à Chêne-Bougeries, sur laquelle sont érigés une villa avec annexe, une piscine et un garage.
Le 29 novembre 2017, D._ a déposé auprès du Département de l'aménagement, du logement et de l'énergie (devenu le Département du territoire du canton de Genève) une demande de démolir la villa, la piscine et le garage sis sur la parcelle n° 172. Une requête en abattage de quatre érables était jointe. Le 12 décembre 2017, D._ a déposé auprès du Département du territoire une requête en autorisation de construire six appartements sur la parcelle n° 172.
Dans le cadre de l'instruction de la requête de démolition, le préavis favorable sous condition de la Direction générale de l'agriculture et de la nature du canton de Genève ainsi que le préavis favorable de la commune de Chêne-Bougeries (avec réserve impérative du maintien des arbres situés à la limite des parcelles n° 172 et n° 170) ont notamment été recueillis.
Par décision du 19 mars 2018, le Département du territoire a délivré l'autorisation de démolir précisant que les conditions figurant dans les préavis rendus faisaient partie intégrante de l'autorisation.
Par jugement du 10 octobre 2018, le Tribunal de première instance du canton de Genève (TAPI) a déclaré irrecevables les recours déposés contre l'autorisation de démolir du 19 mars 2018 par A.B._ et B.B._ et A._ (ci-après: A.B._ et consorts), voisins directs de la parcelle n° 172, ainsi que par l'Association C._, faute de qualité pour recourir.
Par arrêt du 3 septembre 2019, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice ou la cour cantonale) a rejeté le recours déposé par A.B._ et consorts ainsi que celui interjeté par l'Association C._ contre le jugement du 10 octobre 2018.
B.
Agissant par la voie du recours en matière de droit public, A.B._ et consorts ainsi que l'Association C._ demandent principalement au Tribunal fédéral d'annuler l'arrêt du 3 septembre 2019 ainsi que l'autorisation de démolir du 19 mars 2018. Ils concluent subsidiairement au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département du territoire et l'intimée D._ concluent au rejet du recours. Les recourants ont répliqué, par courrier du 17 janvier 2020.
Par ordonnance du 8 novembre 2019, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont participé à la procédure devant la cour cantonale (art. 89 al. 1 let. a LTF). Ils sont directement touchés par l'arrêt attaqué qui confirme le prononcé d'irrecevabilité de leur recours contre l'autorisation de démolir litigieuse et ont un intérêt digne de protection à en obtenir l'annulation. Ils ont dès lors qualité pour recourir au sens de l'art. 89 al. 1 LTF.
La Cour de justice ayant confirmé l'absence de qualité pour recourir des recourants, seule la question de la recevabilité du recours peut donc être portée devant le Tribunal fédéral qui n'a, à ce stade, pas à examiner le fond de la contestation. En cas d'admission du recours, la cause devrait être renvoyée à l'instance cantonale pour qu'elle entre en matière sur le recours et statue au fond. Le grief portant sur la violation du principe de coordination est donc irrecevable.
2.
Les recourants exposent que, par décision du 18 mars 2019, le Département du territoire a refusé l'autorisation de construire liée à l'autorisation de démolir litigieuse, au motif qu'un plan de site serait en cours d'étude. Ils affirment qu'il s'agit d'un fait nouveau qui résulte de la décision attaquée (art. 99 LTF) puisque l'instance précédente a retenu dans l'arrêt attaqué qu' "un tel plan d'affectation n'a pas été adopté" et n'a pas pris en compte le fait que ce plan de site était à l'étude et qu'une décision de refus conservatoire avait été rendue en lien avec l'autorisation de construire demandée pour la parcelle litigieuse. Ils demandent que l'état de fait soit complété dans ce sens.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 6.3 p. 375).
En l'occurrence, la mise à l'étude d'un plan de site est sans incidence sur la question de la qualité pour agir des recourants contre l'autorisation de démolir (voir infra consid. 3.3). Le grief doit être rejeté, faute d'avoir un impact sur l'issue du litige.
3.
Les recourants ne contestent pas que l'Association C._ ne peut pas bénéficier de la qualité pour recourir au sens de l'art. 145 al. 3 de la loi genevoise sur les constructions et les installations diverses du 14 avril 1988 (LCI; RS/GE L 5 05). Ils ne se plaignent que d'une application arbitraire de l'art. 60 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (LPA/GE; RS/GE E 5 10).
3.1. Aux termes de l'art. 89 LTF, la qualité pour recourir est reconnue à toute personne atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à son annulation ou à sa modification. L'art. 60 al. 1 let. b LPA/GE définit de la même manière la qualité pour agir.
Les voisins ont qualité pour recourir en lien avec un projet de construction s'il est certain ou très vraisemblable qu'ils seraient touchés par les immissions - bruit, poussières, vibrations, lumières ou autres - générées par l'installation litigieuse (<ref-ruling> consid. 2.3 p. 219 s. et la référence citée). Les voisins doivent retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'ils sont touchés dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire (<ref-ruling> consid. 2.2.3 et 2.3 p. 33-34; <ref-ruling> consid. 1.3.1 p. 252; AEMISEGGER/HAAG, Commentaire pratique de la protection juridique en matière d'aménagement du territoire, 2 ème éd., 2020, n. 179 ad art. 34 LAT, p. 545 s.).
En matière d'immissions matérielles, pour déterminer si le propriétaire voisin d'une installation litigieuse est particulièrement atteint, il convient d'examiner la nature et l'intensité du bruit provoqué par cette installation ainsi que le niveau des nuisances existantes. Lorsque l'établissement en cause est situé dans un environnement déjà relativement bruyant, il ne suffit pas d'invoquer un quelconque bruit supplémentaire pour avoir la qualité pour recourir (arrêt 1C_33/2011 du 12 juillet 2011 consid. 2.4). L'augmentation des nuisances doit être nettement perceptible (<ref-ruling> consid. 2.3.2 p. 285; <ref-ruling> consid. 1c p. 228).
Lorsque des immissions de nature purement idéale ou immatérielle sont invoquées, les conditions de la qualité pour recourir doivent être remplies de manière plus stricte que pour les immissions matérielles (<ref-ruling> consid. 3 p. 159; arrêts 1A.98/1994 du 28 mars 1995 consid. 2c in ZBl 96/1995 p. 527; cf. LAURENT PFEIFFER, La qualité pour recourir en droit de l'aménagement du territoire et de l'environnement - Etude de droit fédéral et vaudois, 2013, p. 127; PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 6ème éd. 2016, p. 565). Les immissions ou les risques justifiant l'intervention d'un cercle élargi de personnes doivent présenter un certain degré d'évidence, sous peine d'admettre l'action populaire que la loi a précisément voulu exclure (<ref-ruling> consid. 3a p. 180; arrêt 1C_343/2014 du 21 juillet 2014 consid. 2.5 in SJ 2015 I 65). Il incombe au recourant d'alléguer, sous peine d'irrecevabilité, les faits qu'il considère comme propres à fonder sa qualité pour recourir, lorsqu'ils ne ressortent pas de façon évidente de la décision attaquée ou du dossier (<ref-ruling> consid. 2.2 p. 504).
3.2. En l'occurrence, la Cour de justice s'est fondée sur différents éléments pour nier la qualité pour recourir des recourants. Elle a d'abord considéré que les recourants ne pouvaient fonder leur qualité pour recourir sur les nuisances du chantier, dans la mesure où les éventuelles nuisances en matière de bruit et de poussière seraient limitées dans le temps et ne sauraient à elles seules fonder un intérêt pratique à recourir. Elle a ajouté qu'il en allait de même de la nuisance avancée par les recourants liée à l'existence d'un "trou béant" puisque seule la destruction du bâtiment était prévue et non pas un "trou béant". Elle a encore relevé que les recourants ne faisaient pas valoir une valeur patrimoniale particulière du bâtiment concerné par la destruction, ni n'invoquaient de disposition légale tendant à le protéger: s'ils détaillaient la valeur patrimoniale des "villas Puthon", notamment le fait que, fabriquées en matériaux traditionnels, elles témoigneraient d'une période de transition entre architecture artisane et le mouvement moderne, les recourants ne contestaient pas que le bâtiment concerné par la destruction n'était pas une "villa Puthon". Après avoir relevé qu'une historienne de l'architecture plaidait en faveur d'un plan de site, l'instance précédente a exposé qu'un tel plan d'affectation n'avait toutefois pas été adopté. Elle a enfin considéré que l'autorisation de démolir n'était pas conditionnée à l'entrée en force de l'autorisation de construire, en se référant à l'arrêt 1C_27/2018 du 6 avril 2018.
3.3. Les recourants ne remettent pas réellement en question cette argumentation. Ils font uniquement valoir que "le contexte patrimonial [qu'ils ont décrit] avant même la mise à l'étude du plan de site par le Service des monuments et sites aurait dû pousser la Cour de justice à appliquer différemment l'art. 60 al. 1 let. b LPA/GE". Ils rappellent que, même si la villa litigieuse n'est pas "architecturalement intéressante", "elle fait partie d'un site et ne peut être démolie sans autre forme de procès, alors même que ce site forme un tout"; comme l'autorisation de construire a été refusée, la villa litigieuse sera "remplacée par un trou qui restera probablement un trou pour longtemps".
Ce faisant, les recourants se contentent de substituer leur propre appréciation à celle de l'instance précédente. Il n'est ainsi pas certain que leur argumentation satisfasse aux exigences de motivation (art. 42 al. 2 et 106 al. 2 LTF) et soit recevable. Peu importe cependant, le recours devant de toute manière être rejeté pour les motifs qui suivent. En effet, les recourants n'expliquent pas en quoi ils retireraient un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'ils sont touchés dans un intérêt personnel se distinguant nettement de l'intérêt général. On distingue mal quel avantage de fait ou de droit leur procurerait le maintien de la villa et de la piscine extérieure se trouvant sur la parcelle voisine de la leur. On peine à imaginer quel préjudice ils subiraient du fait de la disparition de ces constructions, les éventuelles nuisances liées au chantier - de petite ampleur - étant limitées dans le temps et ne pouvant à elles seules, dans les présentes circonstances, fonder un intérêt pratique à recourir (arrêt 1C_27/2018 du 6 avril 2018 consid. 1.2).
La question de l'établissement d'un plan de site n'y change rien. Le plan de site tend à déterminer les mesures propres à assurer la sauvegarde ou l'amélioration des lieux, telles que le maintien de bâtiments existants (art. 38 al. 2 let. a de la loi genevoise sur la protection des monuments, de la nature et des sites du 4 juin 1976 [LPMNS; RS/GE L 4 05]). Or, comme les recourants l'admettent eux-mêmes, la villa en question n'a pas de valeur patrimoniale particulière et le Département du territoire s'est déjà déterminé sur cette valeur dans l'autorisation de démolir.
Par ailleurs, le fait que l'autorisation de construire a été refusée n'est pas de nature à conférer un avantage pratique aux recourants. En effet, l'autorisation de construire est soumise à une procédure distincte de celle de l'autorisation de démolir et fait d'ailleurs l'objet d'un recours devant la juridiction compétente. La destruction des constructions existantes ne confère, en elle-même, aux propriétaires de la parcelle concernée aucun droit d'ériger une nouvelle construction (arrêt 1C_27/2018 du 6 avril 2018 consid. 1.2).
Enfin, les recourants n'invoquent aucun désagrément concret lié au prétendu "trou" dont ils se plaignent. En rapport avec des immissions de nature purement idéale, les recourants ne se plaignent pas, par exemple, de la présence prochaine d'un terrain vague à côté de leur parcelle, lequel serait susceptible de créer un sentiment d'insécurité. Ils ne font pas plus valoir d'autres désagréments de nature idéale, tels qu'une vue plongeante sur une fosse désormais laissée à l'abandon ou la suppression d'arbres.
Sur le vu de ce qui précède, les recourants ne parviennent pas à rendre vraisemblable l'existence d'une atteinte particulière susceptible de fonder leur qualité pour agir. C'est dès lors sans violer le droit fédéral que la Cour de justice a dénié aux recourants la qualité pour recourir.
4.
Le recours doit par conséquent être rejeté dans la mesure de sa recevabilité, aux frais des recourants qui succombent (art. 66 al. 1 LTF). Ceux-ci verseront en outre une indemnité de dépens à l'intimée, qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge des recourants.
3.
Les recourants verseront à l'intimée la somme de 4'000 francs à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties, au Département du territoire et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 5 mai 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller