Citation: 1C_503/2019 E. F

Agissant par la voie du recours en matière de droit public, B.________ demande principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que les décisions du Département des finances et des relations extérieures et du Département des infrastructures et des ressources humaines du 28 mai 2014 sont annulées, le classement de la villa "X.________" n'est pas ordonné. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il requiert également l'octroi de l'effet suspensif. Le Tribunal cantonal renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. Le DFIRE et le DIRH, la Municipalité de Pully, A.________, ainsi que Patrimoine suisse, par sa section vaudoise, concluent au rejet du recours. Aux termes d'un échange subséquent d'écritures, les parties persistent dans leurs conclusions respectives. La municipalité s'est encore brièvement exprimée par acte du 10 novembre 2020. Par ordonnance du 14 octobre 2019, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.