Citation: 1C_503/2019 E. 6

Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais du recourant, qui succombe (art. 66 al. 1 LTF). Celui-ci versera en outre des dépens à A.________ ainsi qu'à Patrimoine Suisse, par sa section vaudoise, qui obtiennent gain de cause avec l'assistance de mandataires professionnels (art. 68 al.1 LTF). L'association Sauvons le patrimoine de Pully, qui n'a pas procédé à ce stade, n'y a en revanche pas droit (cf. art. 68 al. 2 LTF). N'ont pas non plus droit à des dépens, le Département des finances et des relations extérieures, le Département des infrastructures et des ressources humaines, ainsi que de la municipalité, qui agissent dans l'exercice de leurs attributions officielles (art. 68 al. 3 LTF). Par ces motifs, le Tribunal fédéral prononce :