Faits :
A.
L'Etat de Genève est propriétaire de la parcelle n° 6'062 du registre foncier de la commune de Collonge-Bellerive, d'une surface de 1'813 m 2 sur laquelle est érigée un bâtiment d'une surface au sol de 191 m 2, dénommé "maison Decroux", originellement destinée à l'habitation, ainsi que deux autres bâtiments de moins de 20 m 2. La maison Decroux abrite des bureaux administratifs ainsi qu'un centre de réinsertion. La parcelle, sise à l'adresse 1bis, chemin du Vieux-Vésenaz, est située pour 1'533 m 2, en "zone 4B protégée" et sur sa partie ouest, longeant la route de Thonon, en 5 ème zone de construction pour 280 m 2. Elle est bordée à l'ouest par la route de Vésenaz, au sud par le vallon du Nant de la Contamine, à l'est par une parcelle comprenant une ancienne dépendance bordant le chemin de la Haute-Belotte et au nord par des parcelles sises le long de la route de Thonon.
Par requêtes du 1 er décembre 2015, déposées auprès du Département de l'aménagement, du logement et de l'énergie du canton de Genève (devenu depuis lors le Département du territoire), B._ a demandé l'autorisation de démolir les bâtiments existants et l'autorisation de construire une habitation à neuf logements de deux étages sur rez-de-chaussée, plus attique, avec parking souterrain. Un échange de parcelles était envisagé entre B._ et l'Etat de Genève.
La valeur 4+ ayant été attribuée à la "maison Decroux" par le recensement architectural de 1983, B._ a mandaté C._, historienne de l'art, en décembre 2015, avant le dépôt de la demande de démolition, pour obtenir un historique et une analyse architecturale de la propriété. La maison avait été construite à la fin des années 1870, mais l'auteur des plans de construction n'avait pas été identifié. Deux modifications importantes avaient été faites par l'ajout d'un bow-window à l'ouest par l'architecte D._ en 1905, puis différents travaux réalisés depuis les années 1970 à l'intérieur, au détriment d'une partie du décor et de la partition des pièces. L'ancienne maison se trouvait désormais à la frontière de deux zones: celle du Vieux-Vésenaz et celle des nouveaux développements. Elle avait conservé son volume et une partie de ses éléments d'origine marquants (serliennes et véranda), elle ne pouvait cependant pas être mise sur le même plan que des villas de plus haut standing réalisées à la même époque par des architectes. C'était essentiellement sa place dans l'espace, son rapport avec son ancienne dépendance construite sur la parcelle qu'elle jouxtait et la proximité du Vieux-Vésenaz qui venait renforcer la valeur secondaire que l'on pouvait attribuer à cette maison et c'était son environnement, en partie démoli, qui en faisait un objet qui retenait l'attention.
Dans le cadre de l'instruction de la demande en autorisation de démolir et celle de la demande de construction, les préavis favorables ou favorables sous conditions de la Direction des autorisations de construire, de la Direction de la mensuration officielle, de la commune de Collonge-Bellerive, de la Direction générale de l'eau, de la Direction générale de l'agriculture et de la nature, du Service de l'air, du bruit et des rayonnements non ionisants, de la Direction générale du génie civil ont notamment été recueillis. La sous-commission architecture de la Commission des monuments, de la nature et des sites (ci-après: la CMNS) a quant à elle rendu un préavis défavorable à l'autorisation de démolir: l'intérêt patrimonial de la maison résidait à la fois dans les qualités substantielles et historiques caractéristiques et dans l'emplacement spécifique marquant fortement la limite de la zone de densification de Vésenaz au nord.
Le dossier contient encore une note de service de l'architecte cantonal, du 27 janvier 2017, auquel les requêtes en démolition et en construction ont été soumises. Après une visite sur place, il a estimé en substance que la valeur patrimoniale du bâtiment était mineure et limitée à son implantation et à son gabarit, lesquels pourraient être susceptibles de marquer une articulation entre deux morphologies urbaines distinctes. Il a précisé aussi que le projet de construction envisagé tenait compte de ces principes urbanistiques.
En réponse à l'architecte cantonal, la directrice générale de l'Office du patrimoine et des sites, conservatrice cantonale des monuments, a indiqué qu'à son avis les éléments significatifs dans le site constituaient un ensemble dont l'intérêt patrimonial résidait à la fois dans les qualités substantielles et historiques, et dans leur emplacement spécifique marquant fortement la limite de la zone de densification. Elle a recommandé de suivre le préavis de la CMNS.
Par décisions du 28 avril 2017, le Département du territoire a autorisé la démolition de la "maison Decroux" et ses dépendances et a octroyé l'autorisation de construire délivrée conjointement sur la base du projet n° 2 du 27 janvier 2017, précisant que les préavis précités faisaient partie intégrante de la décision et devraient être strictement respectés.
B.
A._, propriétaire d'une parcelle directement voisine du projet, a interjeté recours auprès du Tribunal administratif de première instance du canton de Genève (ci-après : TAPI) contre les décisions du 28 avril 2017. Le 22 novembre 2017, lors d'une audience de comparution des parties devant le TAPI, E._, architecte et membre de la sous-commission architecture de la CMNS, a indiqué que ce dossier avait posé un problème à la commission; l'état de la maison avait été dénaturé; elle donnait directement sur la route et avait été endommagée par des aménagements précédents; elle formait un ensemble avec une dépendance qui avait plus d'intérêt que la maison elle-même, mais qui se situait sur une autre parcelle et dont le sort était indépendant de celui de la "maison Decroux"; la maison n'était plus habitable car la route avait empiété sur 15 m de la terrasse qui la protégeait; aucune mesure de protection phonique n'était envisageable; elle ne pouvait être utilisée que pour des activités; une procédure d'inscription à l'inventaire paraissait mal aisée; aucune procédure n'avait été ouverte; l'application rigoureuse du droit de la protection des monuments commandait de maintenir le bâtiment, mais compte tenu des circonstances telles que la situation alentours et le retard pris dans le recensement au niveau cantonal, il était conscient de la faiblesse du préavis lié aussi au fait qu'aucune mesure de protection n'apparaissait envisageable; le bâtiment contenait des éléments intrinsèques dignes d'intérêt; l'adoption d'un plan de site n'entrait pas en ligne de compte en raison de l'état de la zone 4B à cet endroit et une mesure de classement n'était a fortiori pas envisageable; le préavis avait été adopté par consensus, sans vote.
Par jugement du 17 avril 2018, le TAPI a disjoint les procédures, rejeté le recours contre l'autorisation de démolir (procédure A/2376/2017) et s'agissant de la procédure d'autorisation de construire, il a constaté l'absence du préavis obligatoire de la CMNS; par économie de procédure, un délai a été fixé au Département du territoire pour produire ce préavis ainsi que celui de la Commission d'urbanisme (procédure xxx). Après que le Département du territoire a produit le préavis favorable de la Commission d'urbanisme ainsi qu'un préavis de la CMNS demandant un projet modifié, le TAPI a rejeté le recours relatif à l'autorisation de construire, par jugement du 2 novembre 2018.
A._ a interjeté recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) contre les jugements du 17 avril et 2 novembre 2018. Par arrêt du 9 avril 2019, celle-ci a joint les deux recours et les a rejetés.
C.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt attaqué et les décisions du 28 avril 2017. Il conclut subsidiairement au renvoi de la cause à la Cour de justice pour nouvelle décision au sens des considérants.
La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département du territoire et B._ concluent au rejet du recours.
D.
Par ordonnance du 19 juin 2019, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par le recourant.
Par ordonnance du 11 juillet 2019, le Président de la Ire Cour de droit public a rejeté la requête de suspension de la procédure jusqu'à droit connu sur la demande d'inscription à l'inventaire de la "maison Decroux", déposée par le recourant.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a participé à la procédure devant l'instance précédente. En tant que propriétaire d'une parcelle directement voisine du projet, il est particulièrement touché par l'arrêt attaqué confirmant l'octroi d'un permis de construire pour un projet de construction qu'il tient en particulier pour non conforme à l'art. 106 de la loi genevoise du 14 avril 1988 sur les constructions et les installations diverses (LCI; RS/GE L 5 05). Il peut ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Le recourant soutient, tant pour l'autorisation de démolir que pour l'autorisation de construire, qu'en écartant les préavis défavorables rendus par la CMNS, la cour cantonale aurait violé l'art. 17 LAT (consid. 2.1) et appliqué arbitrairement l'art. 106 al. 1 LCI (consid. 2.2).
2.1. Selon l'art. 17 al. 1 let. c LAT, les zones à protéger comprennent les localités typiques, les lieux historiques, les monuments naturels ou culturels.
La parcelle litigieuse est colloquée en "zone 4B protégée". Conformément à l'art. 19 al. 2 de la loi d'application de la loi fédérale sur l'aménagement du territoire du 4 juin 1987 (LaLAT; RSG L 1 30), la 4 ème zone est destinée principalement aux maisons d'habitation, comportant en principe plusieurs logements. Elle est divisée en zone urbaine (4A) et en zone rurale (4B), applicable aux villages et aux hameaux. Lorsque la zone est en outre protégée, l'aménagement et le caractère architectural du quartier ou de la localité considérés doivent être préservés (art. 12 al. 5 LaLAT).
Le recourant n'indique pas en quoi la démolition de la villa existante et la construction de logements en "zone 4B protégée", qui est spécifiquement une zone à bâtir, serait de nature à violer l'art. 17 LAT. C'est dès lors en vain que le recourant argue d'une violation de l'art. 17 LAT, lequel ne fait qu'offrir à l'autorité de planification la possibilité de prévoir des zones à protéger.
2.2. Selon le droit cantonal genevois, les demandes d'autorisation de construire sont soumises, à titre consultatif, au préavis des communes, des départements et des organismes intéressés. L'autorité de décision n'est pas liée par ces préavis (art. 3 al. 3 LCI).
Selon l'art. 28 LaLAT, les villages protégés font l'objet de dispositions particulières incluses dans la LCI. Cette loi prévoit en effet une réglementation spéciale aux art. 105 à 107. Cette dernière disposition précise que dans la mesure où il n'y est pas dérogé par l'article 106, les dispositions applicables à la 4 ème zone rurale sont applicables aux constructions édifiées dans la zone des villages protégés. Selon l'art. 106 al. 1 LCI, "dans les villages protégés, le département, sur préavis de la commune et de la commission des monuments, de la nature et des sites, fixe dans chaque cas particulier l'implantation, le gabarit, le volume et le style des constructions à édifier, de manière à sauvegarder le caractère architectural et l'échelle de ces agglomérations ainsi que le site environnant. Le département peut en conséquence, à titre exceptionnel, déroger aux dispositions régissant les distances entre bâtiments, les distances aux limites de propriétés et les vues droites".
Cette disposition confère un large pouvoir d'appréciation au département compétent. Celui-ci peut fixer lui-même les règles applicables aux constructions dans le but de sauvegarder le caractère d'un village et le site environnant, et déroger aux dispositions ordinaires. Ce large pouvoir d'appréciation et de décision implique la possibilité de refuser un projet qui, ne respectant pas ces prescriptions spéciales, porterait une atteinte excessive au caractère d'un village protégé, soit que les bâtiments existants méritent une protection particulière, soit que le projet en lui-même n'est pas satisfaisant du point de vue de l'intégration (arrêt 1C_579/2015 du 4 juillet 2016 consid. 3.2).
2.2.1. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle restreint de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 4.3.1 p. 177 et les références citées). De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 18).
Le grief de violation du droit cantonal est soumis à des exigences de motivation accrue (<ref-law>; cf. <ref-ruling> consid. 2.1 p. 372).
2.2.2. En l'espèce, la Cour de justice a d'abord précisé qu'elle observait une certaine retenue pour éviter de substituer sa propre appréciation à celle des commissions de préavis, pour autant que l'autorité inférieure suive l'avis de ces dernières. Si tel n'était pas le cas, elle se limitait à examiner si le Département ne s'était pas écarté sans motif prépondérant et dûment établi du préavis de l'autorité technique consultative, composée de spécialistes capables d'émettre un jugement dépourvu de subjectivisme et de considérations étrangères aux buts de protection fixés par la loi. De même, s'agissant des jugements rendus par le TAPI, elle a expliqué exercer son pouvoir d'examen avec retenue car celui-ci se compose pour partie de personnes possédant des compétences techniques spécifiques.
L'instance précédente a ensuite relevé que les préavis de la CMNS étaient les seuls défavorables. Elle a d'abord analysé en détail le préavis de la CMNS relatif à l' autorisation de démolir. Elle a constaté qu'il ne portait pas principalement sur les questions en lien avec la sauvegarde du caractère architectural et de l'échelle du village protégé, comme le prévoit pourtant l'art. 106 al. 1 LCI, mais qu'il portait presque uniquement sur les qualités intrinsèques de la maison (voire de l'ensemble qu'elle forme avec son annexe construite sur une parcelle adjacente) et le caractère réversible des interventions ayant altéré certains des éléments caractéristiques: même ses caractéristiques de propriété du bord du lac de son époque n'étaient pas rattachées au village de Vésenaz, ou n'étaient pas distinguées d'autres propriétés situées hors de la zone protégée. Or, la cour cantonale a rappelé à ce sujet que les zones protégées visaient à la conservation de l'harmonie et de l'identité d'un secteur défini, par le biais de règles notamment sur les alignements, les gabarits et les couleurs.
La Cour de justice a fait le même constat s'agissant de l'avis de la conservatrice cantonale des monuments, dans lequel elle indique que la singularité de la partie sud du périmètre protégé est caractérisée par l'existence du ruisseau de la Contamine avec son cordon boisé et la présence d'une seconde propriété datant du XIX ème construite sur l'autre versant du Nant et dans lequel elle retient le caractère dominant du bâtiment principal, implanté en surplomb de la rampe de Vésenaz, s'inscrivant comme un témoin remarquable dans le site. Pour le reste, son avis concernait l'état du bâtiment ainsi que le fait que la maison et sa dépendance formaient un ensemble caractéristique des propriétés du bord du lac de l'époque.
Les juges cantonaux ont ensuite pris en compte d'autres éléments du dossier, notamment le rapport de l'historienne de l'art, C._, duquel il ressort que le bâtiment litigieux s'inscrit dans la production courante de villas de campagne genevoises à la fin du XIX ème; même si elle s'insérait dans un tissu ancien, cette continuité était rompue par l'extension du nouveau Vésenaz, qui jouxtait désormais la maison au nord. Il fallait aussi retenir de ce rapport que ce qui faisait que cette maison était un objet qui retenait l'attention c'était son environnement, maintenant en partie démoli. La Cour de justice a aussi constaté que l'architecte cantonal avait estimé que le bâtiment se distinguait du point de vue urbanistique du tissu villageois plus ancien du Vieux-Vésenaz et qu'à ce titre la question de la pertinence à englober cette parcelle dans la zone 4B protégée aurait dû légitimement se poser. Elle a en outre pris en considération le préavis favorable de la commune, dont la consultation est, au même titre que celle de la CMNS, imposée par l'art. 106 al. 1 LCI.
Enfin, la cour cantonale a tenu compte de l'environnement de la parcelle: le village de Vésenaz ne comportait aucun bâtiment bénéficiant de la protection découlant de la mise à l'inventaire et un seul bâtiment bénéficiant d'une mesure de classement (la maison forte de Vésenaz, sise 42-44, chemin du Vieux-Vésenaz, loin de l'implantation prévue par le projet litigieux).
S'agissant de l' autorisation de construire, la cour cantonale a constaté que la parcelle concernée se situait dans un périmètre où avaient déjà été réalisées ou autorisées des constructions présentant des volumes et des caractéristiques résolument modernes, très éloignés des exigences fixées par la CMNS. Elle a notamment mis en évidence le fait que la parcelle directement voisine du projet le long de la route de Thonon supportait un bâtiment d'activités de 910 m 2 au sol, d'une hauteur de trois étages, avec des façades entièrement vitrées, construit à environ 15 m de la "maison Decroux" et que la parcelle n° 9'346, située à une centaine de mètres du bâtiment le long de la route de Thonon, supportait un bâtiment d'activités et de bureaux de 3'837 m 2et d'un maximum de trois niveaux hors sol.
Les juges cantonaux ont encore retenu que le représentant de la CMNS, entendu par le TAPI, avait déclaré que la situation avait déjà beaucoup évolué dans les alentours de la "maison Decroux" et qu'il était vraisemblablement trop tard pour envisager une mesure de conservation, compte tenu de l'importance des interventions réalisées dans cette zone.
Ils ont enfin relevé que les éléments paysagers que la CMNS voudrait voir préservés (tels que la qualité paysagère des abords, soit le ruisseau et son cordon boisé ainsi que les arbres majeurs présents sur le site) ne seront pas touchés par la construction projetée, précisant à cet égard que la Direction générale de l'eau et la Direction générale de la nature et du paysage, instances spécialisées dans les domaines de la préservation des cours d'eau et de la nature, avaient délivré des préavis favorables.
2.2.3. Face à ce raisonnement très détaillé, le recourant se borne à critiquer le fait d'avoir pris en compte les avis d'une historienne de l'art et de l'architecte cantonal - qui n'aurait pas à être consulté dans le cadre d'une autorisation de construire (et de démolir) - et d'avoir donné trop d'importance au témoignage de E._, architecte et membre de la sous-commission architecture de la CMNS. Il se contente ensuite d'affirmer que ne pas suivre les préavis de la CMNS serait constitutif d'arbitraire et ne répondrait à aucun intérêt public prépondérant.
Ce faisant, le recourant ne répond pas réellement à l'argumentation approfondie et circonstanciée de la cour cantonale qui explique pourquoi elle n'a pas suivi les préavis de la CMNS. Il semble oublier que la cour cantonale a fondé sa décision sur les autres préavis, unanimement positifs, dont celui obligatoire de la commune de Collonge-Bellerive. Il perd aussi de vue que l'art. 3 al. 3 LCI prévoit que les préavis n'ont qu'un caractère consultatif et ne lient pas les autorités. Ses griefs consistent en réalité en l'expression d'une appréciation subjective du projet, qui ne rend pas déraisonnable l'argumentation de l'instance précédente. Ainsi, il ne parvient pas à démontrer le caractère arbitraire de l'argumentation de la Cour de justice, telle qu'exposée ci-dessus au considérant 2.2.2. De surcroît, il faut rappeler que, confronté à une décision cantonale fondée sur le droit cantonal et raisonnablement motivée, le Tribunal de céans s'impose une certaine retenue dans l'appréciation de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui (cf. <ref-ruling> consid. 6.4 p. 89; <ref-ruling> consid. 5.4.1 p. 163; <ref-ruling> consid. 3c p. 79).
L'instance précédente était ainsi en droit d'admettre de manière soutenable que le poids des préavis de la CMNS pouvait être relativisé par le Département du territoire, dans la mesure où le projet ne requiert aucune dérogation aux dispositions de la LCI et où les buts de protection de la zone (sauvegarde du caractère architectural et échelle de l'agglomération et du site environnant) sont respectés. La Cour de justice pouvait donc considérer sans arbitraire que le Département du territoire n'avait pas outrepassé son large pouvoir d'appréciation en délivrant les autorisations de démolir et de construire litigieuses.
3.
Il s'ensuit que le recours est rejeté.
Conformément aux <ref-law>, les frais judiciaires sont mis à la charge du recourant qui succombe. Il versera aussi une indemnité de dépens à l'intimée, qui a procédé avec l'aide d'un mandataire professionnel (<ref-law>). Le Département du territoire n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3.
Une indemnité de dépens de 3'000 francs est allouée à l'intimée, à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant et de l'intimée, au Département du territoire et à la Chambre administrative de la Cour de justice du canton de Genève.
Lausanne, le 11 décembre 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller