Faits : A. L'Etat de Genève est propriétaire de la parcelle n° 6'062 du registre foncier de la commune de Collonge-Bellerive, d'une surface de 1'813 m 2 sur laquelle est érigée un bâtiment d'une surface au sol de 191 m 2, dénommé "maison Decroux", originellement destinée à l'habitation, ainsi que deux autres bâtiments de moins de 20 m 2. La maison Decroux abrite des bureaux administratifs ainsi qu'un centre de réinsertion. La parcelle, sise à l'adresse 1bis, chemin du Vieux-Vésenaz, est située pour 1'533 m 2, en "zone 4B protégée" et sur sa partie ouest, longeant la route de Thonon, en 5 ème zone de construction pour 280 m 2. Elle est bordée à l'ouest par la route de Vésenaz, au sud par le vallon du Nant de la Contamine, à l'est par une parcelle comprenant une ancienne dépendance bordant le chemin de la Haute-Belotte et au nord par des parcelles sises le long de la route de Thonon. Par requêtes du 1 er décembre 2015, déposées auprès du Département de l'aménagement, du logement et de l'énergie du canton de Genève (devenu depuis lors le Département du territoire), B._ a demandé l'autorisation de démolir les bâtiments existants et l'autorisation de construire une habitation à neuf logements de deux étages sur rez-de-chaussée, plus attique, avec parking souterrain. Un échange de parcelles était envisagé entre B._ et l'Etat de Genève. La valeur 4+ ayant été attribuée à la "maison Decroux" par le recensement architectural de 1983, B._ a mandaté C._, historienne de l'art, en décembre 2015, avant le dépôt de la demande de démolition, pour obtenir un historique et une analyse architecturale de la propriété. La maison avait été construite à la fin des années 1870, mais l'auteur des plans de construction n'avait pas été identifié. Deux modifications importantes avaient été faites par l'ajout d'un bow-window à l'ouest par l'architecte D._ en 1905, puis différents travaux réalisés depuis les années 1970 à l'intérieur, au détriment d'une partie du décor et de la partition des pièces. L'ancienne maison se trouvait désormais à la frontière de deux zones: celle du Vieux-Vésenaz et celle des nouveaux développements. Elle avait conservé son volume et une partie de ses éléments d'origine marquants (serliennes et véranda), elle ne pouvait cependant pas être mise sur le même plan que des villas de plus haut standing réalisées à la même époque par des architectes. C'était essentiellement sa place dans l'espace, son rapport avec son ancienne dépendance construite sur la parcelle qu'elle jouxtait et la proximité du Vieux-Vésenaz qui venait renforcer la valeur secondaire que l'on pouvait attribuer à cette maison et c'était son environnement, en partie démoli, qui en faisait un objet qui retenait l'attention. Dans le cadre de l'instruction de la demande en autorisation de démolir et celle de la demande de construction, les préavis favorables ou favorables sous conditions de la Direction des autorisations de construire, de la Direction de la mensuration officielle, de la commune de Collonge-Bellerive, de la Direction générale de l'eau, de la Direction générale de l'agriculture et de la nature, du Service de l'air, du bruit et des rayonnements non ionisants, de la Direction générale du génie civil ont notamment été recueillis. La sous-commission architecture de la Commission des monuments, de la nature et des sites (ci-après: la CMNS) a quant à elle rendu un préavis défavorable à l'autorisation de démolir: l'intérêt patrimonial de la maison résidait à la fois dans les qualités substantielles et historiques caractéristiques et dans l'emplacement spécifique marquant fortement la limite de la zone de densification de Vésenaz au nord. Le dossier contient encore une note de service de l'architecte cantonal, du 27 janvier 2017, auquel les requêtes en démolition et en construction ont été soumises. Après une visite sur place, il a estimé en substance que la valeur patrimoniale du bâtiment était mineure et limitée à son implantation et à son gabarit, lesquels pourraient être susceptibles de marquer une articulation entre deux morphologies urbaines distinctes. Il a précisé aussi que le projet de construction envisagé tenait compte de ces principes urbanistiques. En réponse à l'architecte cantonal, la directrice générale de l'Office du patrimoine et des sites, conservatrice cantonale des monuments, a indiqué qu'à son avis les éléments significatifs dans le site constituaient un ensemble dont l'intérêt patrimonial résidait à la fois dans les qualités substantielles et historiques, et dans leur emplacement spécifique marquant fortement la limite de la zone de densification. Elle a recommandé de suivre le préavis de la CMNS. Par décisions du 28 avril 2017, le Département du territoire a autorisé la démolition de la "maison Decroux" et ses dépendances et a octroyé l'autorisation de construire délivrée conjointement sur la base du projet n° 2 du 27 janvier 2017, précisant que les préavis précités faisaient partie intégrante de la décision et devraient être strictement respectés. B. A._, propriétaire d'une parcelle directement voisine du projet, a interjeté recours auprès du Tribunal administratif de première instance du canton de Genève (ci-après : TAPI) contre les décisions du 28 avril 2017. Le 22 novembre 2017, lors d'une audience de comparution des parties devant le TAPI, E._, architecte et membre de la sous-commission architecture de la CMNS, a indiqué que ce dossier avait posé un problème à la commission; l'état de la maison avait été dénaturé; elle donnait directement sur la route et avait été endommagée par des aménagements précédents; elle formait un ensemble avec une dépendance qui avait plus d'intérêt que la maison elle-même, mais qui se situait sur une autre parcelle et dont le sort était indépendant de celui de la "maison Decroux"; la maison n'était plus habitable car la route avait empiété sur 15 m de la terrasse qui la protégeait; aucune mesure de protection phonique n'était envisageable; elle ne pouvait être utilisée que pour des activités; une procédure d'inscription à l'inventaire paraissait mal aisée; aucune procédure n'avait été ouverte; l'application rigoureuse du droit de la protection des monuments commandait de maintenir le bâtiment, mais compte tenu des circonstances telles que la situation alentours et le retard pris dans le recensement au niveau cantonal, il était conscient de la faiblesse du préavis lié aussi au fait qu'aucune mesure de protection n'apparaissait envisageable; le bâtiment contenait des éléments intrinsèques dignes d'intérêt; l'adoption d'un plan de site n'entrait pas en ligne de compte en raison de l'état de la zone 4B à cet endroit et une mesure de classement n'était a fortiori pas envisageable; le préavis avait été adopté par consensus, sans vote. Par jugement du 17 avril 2018, le TAPI a disjoint les procédures, rejeté le recours contre l'autorisation de démolir (procédure A/2376/2017) et s'agissant de la procédure d'autorisation de construire, il a constaté l'absence du préavis obligatoire de la CMNS; par économie de procédure, un délai a été fixé au Département du territoire pour produire ce préavis ainsi que celui de la Commission d'urbanisme (procédure xxx). Après que le Département du territoire a produit le préavis favorable de la Commission d'urbanisme ainsi qu'un préavis de la CMNS demandant un projet modifié, le TAPI a rejeté le recours relatif à l'autorisation de construire, par jugement du 2 novembre 2018. A._ a interjeté recours auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice) contre les jugements du 17 avril et 2 novembre 2018. Par arrêt du 9 avril 2019, celle-ci a joint les deux recours et les a rejetés. C. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt attaqué et les décisions du 28 avril 2017. Il conclut subsidiairement au renvoi de la cause à la Cour de justice pour nouvelle décision au sens des considérants. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. Le Département du territoire et B._ concluent au rejet du recours. D. Par ordonnance du 19 juin 2019, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par le recourant. Par ordonnance du 11 juillet 2019, le Président de la Ire Cour de droit public a rejeté la requête de suspension de la procédure jusqu'à droit connu sur la demande d'inscription à l'inventaire de la "maison Decroux", déposée par le recourant.