Faits : A. B._ est propriétaire de la parcelle n° 1355 du registre foncier de la Commune de Pully: d'une surface totale de 4'465 m 2, elle supporte, dans sa partie supérieure (au nord), un bâtiment d'habitation dénommé la villa «X._». La parcelle est comprise dans le périmètre du plan de quartier «Y._» datant de 1975; ce plan de quartier prévoit la construction de deux bâtiments d'habitation sur la parcelle n° 1355, dont un à la place de la villa existante. Le 14 mars 2012, B._ a déposé, avec le promettant-acquéreur de sa parcelle, C._ SA, une demande de permis de construire deux bâtiments de dix et huit logements: le premier doit s'implanter à la place de la villa «X._», tandis que le second est prévu au sud de la parcelle, dans le jardin existant. Transmis aux services concernés, ce projet a fait l'objet d'une opposition du Service immeubles, patrimoine et logistique (ci-après: SIPAL) en raison de l'intérêt patrimonial de l'ensemble bâti et paysager. Par décision du 19 mars 2013, la Municipalité de Pully a délivré le permis de construire pour le bâtiment prévu au sud de la parcelle (bâtiment «B» du projet), mais a interdit la démolition de la villa «X._», refusant ainsi la construction du second bâtiment d'habitation (bâtiment «A» du projet). En temps utile, B._ et C._ SA ont recouru à la Cour de droit administratif et public du Tribunal cantonal contre la décision de la municipalité en tant qu'elle concernait le refus d'autoriser la construction du bâtiment «A». Cette procédure est suspendue depuis le 6 février 2014 vu la demande de classement de la villa «X._». Non contesté, l'octroi du permis de construire le bâtiment «B» est entré en force. B. Lors du recensement architectural de la Commune de Pully du 21 mars 2001, la villa «X._» a obtenu la note *3V*. La note *3* désigne un «objet intéressant au niveau local» qui «mérite d'être conservé». La lettre «V» atteste de la présence de vitraux. Le 10 octobre 2012, D._, historien des monuments et archéologue à Vevey, a rendu au SIPAL, qui l'avait mandaté à cette fin, un «rapport historique succinct» consacré à la villa «X._». Sur la base de ce document, le SIPAL a informé la municipalité, le 29 août 2013, que ses services envisageaient le classement de la villa et de ses abords immédiats comme monument historique, ce à quoi la commune a répondu que son préavis serait favorable. Le 20 janvier 2014, le SIPAL a communiqué à B._ son projet de décision de classement. Ce projet a été mis à l'enquête publique à Pully du 25 janvier au 23 février 2014; il a notamment fait l'objet de l'opposition de B._. Par acte du 28 mai 2014, la Cheffe du Département des infrastructures et des ressources humaines (ci-après: DIRH) a pris la décision de classement de la villa «X._» et de ses abords immédiats. Sous la rubrique «intérêt de l'objet», la décision indique que la villa a été construite vers 1873-1874 pour William Channing Osler et qu'elle n'a subi que peu de modifications, hormis la réalisation du portique portant terrasse orientale; par ailleurs, les aménagements intérieurs, d'une grande qualité, confirment le soin remarquable apporté tant aux décors intérieurs qu'aux volumes et décors architecturaux extérieurs. Le même jour, le Chef du Département des finances et des relations extérieures (ci-après: DFIRE) a adressé à B._ une décision de levée de son opposition au classement. Cette décision se réfère notamment à l'intervention circonstanciée et motivée du SIPAL ainsi qu'au rapport de l'été 2012 de l'historien spécialiste des monuments D._. C. Saisie d'un recours de B._, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a, par arrêt du 16 avril 2015, annulé la décision de classement du DIRH et celle sur opposition du DFIRE. En substance, les juges cantonaux ont estimé qu'il incombait au département cantonal compétent, vu l'absence d'inscription préalable à l'inventaire, d'établir de manière plus complète et plus documentée la valeur spéciale de monument au moment du classement; ils ont aussi dénoncé l'absence d'une expertise scientifique ou architecturale complète telle qu'aurait dû l'ordonner - à leur sens - le département compétent; dès lors que l'intérêt public de la mesure de protection n'avait pas été établi à satisfaction dans la procédure d'adoption de la décision de classement, ce dernier était contraire à la garantie de la propriété et devait être annulé. Agissant par la voie du recours en matière de droit public, A._, propriétaire de la parcelle voisine n° 1384, demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que les recours formé par B._ contre la décision de classement de la villa «X._» et de ses abords et contre la décision de rejet de son opposition est rejeté; en conséquence, lesdites décisions de classement et de rejet de l'opposition de B._ sont confirmées. A titre subsidiaire, elle conclut au renvoi de la cause à l'instance inférieure pour rendre une nouvelle décision après avoir notamment entendu l'expert D._ et procédé à de plus amples mesures d'instruction sur la valeur architecturale et historique de la villa «X._» et de ses abords immédiats. B._ conclut à l'irrecevabilité du recours, subsidiairement à son rejet. Le Tribunal cantonal renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. Pour leur part, la Commune de Pully, le DFIRE, le SIPAL, le DIRH, Patrimoine suisse, section vaudoise, l'Association Sauvons le patrimoine de Pully, qui ont tous participé à la procédure devant le Tribunal cantonal, soutiennent l'argumentation développée dans le recours; seul les départements cantonaux et le SIPAL concluent formellement à son admission.