Bundesgericht
Tribunal fédéral
Tribunale federale
Tribunal federal

1C 503/2019

Arrêt du 7 avril 2021

Ire Cour de droit public

Composition
MM. et Mme les Juges fédéraux Kneubühler, Président,
Chaix et Jametti.
Greffier : M. Alvarez.

Participants à la procédure
B.________,
représenté par Me Pierre-Alexandre Schlaeppi, avocat,
recourant,

contre

Municipalité de Pully,
avenue du Prieuré 2, case postale 63, 1009 Pully, représentée par Me Laurent Schuler, avocat,
Département des finances et des relations
extérieures du canton de Vaud, rue de la Paix 6, 1014 Lausanne Adm cant VD,
Département des infrastructures et des ressources humaines du canton de Vaud, place de la Riponne 10, 1014 Lausanne Adm cant VD,
tous les deux représentés par Me Benoît Bovay, avocat,

A.________,
représentée par Me Daniel Guignard, avocat,
Patrimoine Suisse,
villa Patumbah, Zollikerstrasse 128, 8008 Zurich,
agissant par Patrimoine suisse, section vaudoise, chemin des Bulesses 154, 1814 La Tour-de-Peilz, représenté par Me Jean-Claude Perroud, avocat,
Association Sauvons le patrimoine de Pully, p.a Zdenek V. Kucera, boulevard de la Forêt 33, 1009 Pully.

Objet
protection du patrimoine, classement d'une villa,

recours contre l'arrêt de la Cour de droit administratif
et public du Tribunal cantonal du canton de Vaud
du 7 août 2019 (AC.2016.0246).

Faits :

A.
B.________ est propriétaire de la parcelle no 1355 du registre foncier de la Commune de Pully. Ce bien-fonds présente actuellement une surface totale de 2'496 m². Il supporte, dans sa partie supérieure (au nord), un ancien bâtiment d'habitation dénommé la villa "X.________". Jusqu'au 26 janvier 2016, cette parcelle comportait également la partie inférieure du parc de la villa; cette portion du terrain constitue la nouvelle parcelle no 7440, d'une surface de 1'701 m², appartenant à la communauté de copropriétaires PPE Z.________.
La parcelle n o 1355 est comprise dans le périmètre du plan de quartier "Y.________" adopté par le Conseil communal de Pully le 28 mai 1975 et approuvé par le Conseil d'Etat du canton de Vaud le 7 novembre 1975. Elle fait partie du secteur B de ce plan, réservé à la construction de bâtiments d'habitation (art. 4 du règlement du plan de quartier [RPQ]). Le plan de quartier délimite des périmètres d'implantation des constructions: il permet la construction d'un bâtiment sur ce bien-fonds, à la place de la villa existante; un second périmètre d'implantation est prévu dans la partie inférieure du parc, sur l'actuelle parcelle n° 7440.
Lors du recensement architectural de la Commune de Pully du 21 mars 2001, la villa "X.________" a obtenu la note *3V*. La note *3* désigne un "objet intéressant au niveau local" qui "mérite d'être conservé". La lettre "V" atteste de la présence de vitraux.

B.
Le 14 mars 2012, B.________ a déposé, avec le promettant-acquéreur de sa parcelle, la société C.________ SA, une demande de permis de construire deux bâtiments de dix et huit logements: le premier devait s'implanter à la place de la villa "X.________", tandis que le second était prévu au sud de la parcelle, dans le jardin existant. Mis à l'enquête publique du 21 avril au 20 mai 2012, le projet a suscité 83 oppositions.
Transmis aux services concernés, ce projet a également fait l'objet d'une opposition du Service cantonal immeubles, patrimoine et logistique (ci-après: SIPAL) en raison de l'intérêt patrimonial de l'ensemble bâti et paysager. Par décision du 19 mars 2013, la Municipalité de Pully a délivré le permis de construire pour le bâtiment prévu au sud de la parcelle (sur l'actuelle parcelle no 7440), mais a interdit la démolition de la villa "X.________", refusant ainsi la construction du second bâtiment d'habitation.
Le 1er mai 2013, B.________ et C.________ SA ont recouru à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud contre la décision de la municipalité en tant qu'elle concernait le refus d'autoriser la construction du second bâtiment.
Cette procédure est suspendue depuis le 6 février 2014, dans la mesure où elle concerne le bâtiment prévu au nord, en raison de la procédure de classement de la villa "X.________" initiée par le SIPAL (cf. let. C ci-après). En revanche, non contesté, le permis de construire le bâtiment au sud est entré en force; le bâtiment a depuis lors été érigé.

C.
Le 20 janvier 2014, le SIPAL a communiqué à B.________ son projet de décision de classement, qui précise que celui-ci s'étend à la villa "X.________" et ses abords immédiats, à l'exclusion de la partie sud de la parcelle, qui pouvait être bâtie conformément au permis de construire délivré le 19 mars 2013. Ce projet de décision a été mis à l'enquête publique du 25 janvier au 23 février 2014. B.________ s'y est opposé par courrier à la municipalité du 21 février 2014.
Par acte du 28 mai 2014, la Cheffe du Département des infrastructures et des ressources humaines (ci-après: DIRH) a pris la décision de classement de la villa "X.________" et de ses abords immédiats. Le même jour, le Chef du Département des finances et des relations extérieures (ci-après: DFIRE) a adressé à B.________ une décision de levée de son opposition au classement. Cette décision se réfère notamment à l'intervention circonstanciée et motivée du SIPAL ainsi qu'au rapport de l'été 2012 rédigé par D.________, l'historien spécialiste des monuments, mandaté par ledit service.

D.
Saisie d'un recours de B.________, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a, par arrêt du 16 avril 2015, annulé la décision de classement du DIRH et celle sur opposition du DFIRE. Le Tribunal cantonal a alors en substance estimé que l'intérêt public de la mesure de protection n'était pas établi à satisfaction; le classement apparaissait partant contraire à la garantie de la propriété et devait être annulé.
Sur recours de A.________, propriétaire de la parcelle voisine n o 1384, le Tribunal fédéral a, par arrêt du 20 juin 2016 (cause 1C 266/2015), annulé l'arrêt cantonal entrepris. Il appartenait en résumé à la cour cantonale, dans la mesure où elle estimait que l'intérêt scientifique, historique et architectural de la villa n'était pas suffisamment étayé par l'administration cantonale, d'ordonner des mesures d'instruction complémentaires; ces dernières ayant été dûment requises par A.________, leur refus violait son droit d'être entendue.

E.
Après la reprise de l'instruction, le juge instructeur a demandé au DFIRE de charger l'expert D.________ de fournir un rapport complémentaire au sujet de l'intérêt patrimonial de la villa "X.________". Il a également invité l'historienne des monuments E.________ (auteure de la fiche de recensement) à déposer un rapport au sujet de l'attribution de la note *3* à ce bâtiment. Le département cantonal a produit le 3 juillet 2017 un rapport de l'historienne prénommée intitulé "Pully, Villa X.________ [...] Contexte - Typologie - Comparaisons - Essai d'attribution" (janvier 2017/compléments juin 2017), auquel était annexé un texte de D.________, de janvier 2017, intitulé "Typologie, style de la villa, description et décors". L'historienne E.________ confirme l'intérêt patrimonial de l'édifice, précisant que "si le recensement architectural de Pully venait à être révisé aujourd'hui, une note 2 serait proposée à la villa X.________. Ceci d'autant que l'intérieur [était] désormais connu, avec de nombreux éléments préservés (escalier, vitraux, sols, parquets, cheminées, typologie, etc.) ".
Le Tribunal cantonal a par ailleurs requis la Commission fédérale des monuments historiques (ci-après: CFMH) d'établir une expertise spéciale au sens de l'art. 17a
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 17a - Il Consiglio federale fissa i casi nei quali la commissione competente può effettuare una perizia di propria iniziativa o a richiesta di terzi, previo consenso dell'autorità cantonale competente.
de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451). Dite commission a rendu son rapport le 1er mars 2018; en conclusion, elle "confirme que le classement comme monument historique est absolument justifié. Par ailleurs elle estime que la villa mérite d'être réévaluée en note *2V* au recensement architectural. En tant que témoin rare d'une époque architecturale très peu représentée et protégée, elle compte au sein du patrimoine cantonal. Son état de conservation fait montre d'une authenticité remarquable, alors même que les interventions plus récentes sont bien intégrées. Enfin, le parc qui entoure la villa, demeure une partie constitutive essentielle en dépit des atteintes qui lui ont été portées récemment".
En réponse, B.________ a notamment déposé un document du 10 juin 2018 établi, à sa requête, par l'architecte F.________. Au terme de son analyse et à titre de conclusion, ce dernier "constate que consécutivement aux rapports et expertises établi [sic] dont les commanditaires sont les pouvoirs publics, les historiens d'art par définition censés être indépendants, abondent dans leur sens, et qui par manque de courage civique - sous pressions diverses - préfèrent au titre de spécialistes tout conserver. Sans égard aux dépenses considérables pour des objets anciens de faible valeur architecturale et patrimoniale en état de conservation critique. Notamment la mise en conformité avec les prescriptions en matière énergétique. Sans parler de l'affectation pour la revitalisation des locaux difficilement utilisables, vu leur structure et organisation spatiale désuètes et inadaptées. Pour le surplus, la conservation de la villa va à l'encontre de la volonté actuelle de densification et de l'économie d'énergie".
A l'issue de cette instruction complémentaire, par arrêt du 7 août 2019, le Tribunal cantonal a rejeté le recours. Il a en substance considéré que l'intérêt public à la conservation de la villa "X.________" l'emportait sur les intérêts privés du recourant, spécialement s'agissant des conséquences financières du classement.

F.
Agissant par la voie du recours en matière de droit public, B.________ demande principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que les décisions du Département des finances et des relations extérieures et du Département des infrastructures et des ressources humaines du 28 mai 2014 sont annulées, le classement de la villa "X.________" n'est pas ordonné. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il requiert également l'octroi de l'effet suspensif.
Le Tribunal cantonal renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. Le DFIRE et le DIRH, la Municipalité de Pully, A.________, ainsi que Patrimoine suisse, par sa section vaudoise, concluent au rejet du recours. Aux termes d'un échange subséquent d'écritures, les parties persistent dans leurs conclusions respectives. La municipalité s'est encore brièvement exprimée par acte du 10 novembre 2020.
Par ordonnance du 14 octobre 2019, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.

Considérant en droit :

1.
Le Tribunal fédéral examine d'office la recevabilité des recours qui lui sont soumis (ATF 141 II 113 consid. 1 p. 116; arrêt 1C 61/2021 du 18 février 2021 consid. 1).

1.1. Le recours est dirigé contre une décision prise en dernière instance cantonale dans une cause de droit public au sens de l'art. 82 let. a
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 82 Principio - Il Tribunale federale giudica i ricorsi:
a  contro le decisioni pronunciate in cause di diritto pubblico;
b  contro gli atti normativi cantonali;
c  concernenti il diritto di voto dei cittadini nonché le elezioni e votazioni popolari.
LTF, sans qu'aucune des exceptions prévues à l'art. 83
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 83 Eccezioni - Il ricorso è inammissibile contro:
a  le decisioni in materia di sicurezza interna o esterna del Paese, neutralità, protezione diplomatica e altri affari esteri, in quanto il diritto internazionale non conferisca un diritto al giudizio da parte di un tribunale;
b  le decisioni in materia di naturalizzazione ordinaria;
c  le decisioni in materia di diritto degli stranieri concernenti:
c1  l'entrata in Svizzera,
c2  i permessi o autorizzazioni al cui ottenimento né il diritto federale né il diritto internazionale conferiscono un diritto,
c3  l'ammissione provvisoria,
c4  l'espulsione fondata sull'articolo 121 capoverso 2 della Costituzione federale e l'allontanamento,
c5  le deroghe alle condizioni d'ammissione,
c6  la proroga del permesso per frontalieri, il cambiamento di Cantone, il cambiamento d'impiego del titolare di un permesso per frontalieri, nonché il rilascio di documenti di viaggio a stranieri privi di documenti;
d  le decisioni in materia d'asilo pronunciate:
d1  dal Tribunale amministrativo federale, salvo quelle che concernono persone contro le quali è pendente una domanda d'estradizione presentata dallo Stato che hanno abbandonato in cerca di protezione,
d2  da un'autorità cantonale inferiore e concernenti un permesso o un'autorizzazione al cui ottenimento né il diritto federale né il diritto internazionale conferiscono un diritto;
e  le decisioni concernenti il rifiuto dell'autorizzazione a procedere penalmente contro membri di autorità o contro agenti della Confederazione;
f  le decisioni in materia di appalti pubblici se:
fbis  le decisioni del Tribunale amministrativo federale concernenti decisioni secondo l'articolo 32i della legge del 20 marzo 200963 sul trasporto di viaggiatori;
f1  non si pone alcuna questione di diritto d'importanza fondamentale; sono fatti salvi i ricorsi contro gli appalti del Tribunale amministrativo federale, del Tribunale penale federale, del Tribunale federale dei brevetti, del Ministero pubblico della Confederazione e delle autorità giudiziarie cantonali superiori, o
f2  il valore stimato della commessa non raggiunge il valore soglia determinante secondo l'articolo 52 capoverso 1 in combinato disposto con l'allegato 4 numero 2 della legge federale del 21 giugno 201961 sugli appalti pubblici;
g  le decisioni in materia di rapporti di lavoro di diritto pubblico, in quanto concernano una controversia non patrimoniale, ma non la parità dei sessi;
h  le decisioni concernenti l'assistenza amministrativa internazionale, eccettuata l'assistenza amministrativa in materia fiscale;
i  le decisioni in materia di servizio militare, civile o di protezione civile;
j  le decisioni in materia di approvvigionamento economico del Paese adottate in situazioni di grave penuria;
k  le decisioni concernenti i sussidi al cui ottenimento la legislazione non conferisce un diritto;
l  le decisioni concernenti l'imposizione di dazi operata in base alla classificazione tariffaria o al peso delle merci;
m  le decisioni concernenti il condono o la dilazione del pagamento di tributi; in deroga alla presente disposizione, il ricorso è ammissibile contro le decisioni concernenti il condono dell'imposta federale diretta o dell'imposta cantonale o comunale sul reddito e sull'utile se concerne una questione di diritto di importanza fondamentale o se si tratta per altri motivi di un caso particolarmente importante;
n  le decisioni in materia di energia nucleare concernenti:
n1  l'esigenza di un nulla osta o la modifica di un'autorizzazione o di una decisione,
n2  l'approvazione di un piano d'accantonamenti per le spese di smaltimento antecedenti lo spegnimento di un impianto nucleare,
n3  i nulla osta;
o  le decisioni in materia di circolazione stradale concernenti l'omologazione del tipo di veicoli;
p  le decisioni del Tribunale amministrativo federale in materia di traffico delle telecomunicazioni, radiotelevisione e poste concernenti:68
p1  concessioni oggetto di una pubblica gara,
p2  controversie secondo l'articolo 11a della legge del 30 aprile 199769 sulle telecomunicazioni;
p3  controversie secondo l'articolo 8 della legge del 17 dicembre 201071 sulle poste;
q  le decisioni in materia di medicina dei trapianti concernenti:
q1  l'iscrizione nella lista d'attesa,
q2  l'attribuzione di organi;
r  le decisioni in materia di assicurazione malattie pronunciate dal Tribunale amministrativo federale in virtù dell'articolo 3472 della legge del 17 giugno 200573 sul Tribunale amministrativo federale (LTAF);
s  le decisioni in materia di agricoltura concernenti:
s1  ...
s2  la delimitazione delle zone nell'ambito del catasto della produzione;
t  le decisioni concernenti l'esito di esami e di altre valutazioni della capacità, segnatamente nei settori della scuola, della formazione continua e dell'esercizio della professione;
u  le decisioni in materia di offerte pubbliche di acquisto (art. 125-141 della L del 19 giu. 201577 sull'infrastruttura finanziaria);
v  le decisioni del Tribunale amministrativo federale concernenti divergenze d'opinione tra autorità in materia di assistenza amministrativa o giudiziaria a livello nazionale;
w  le decisioni in materia di diritto dell'elettricità concernenti l'approvazione dei piani di impianti elettrici a corrente forte e di impianti elettrici a corrente debole e l'espropriazione dei diritti necessari per la costruzione o l'esercizio di siffatti impianti, se non si pone alcuna questione di diritto d'importanza fondamentale;
x  le decisioni concernenti la concessione di contributi di solidarietà ai sensi della legge federale del 30 settembre 201681 sulle misure coercitive a scopo assistenziale e i collocamenti extrafamiliari prima del 1981, tranne se si pone una questione di diritto di importanza fondamentale o si tratta di un caso particolarmente importante per altri motivi;
y  le decisioni pronunciate dal Tribunale amministrativo federale nelle procedure amichevoli per evitare un'imposizione non conforme alla convenzione internazionale applicabile in ambito fiscale;
z  le decisioni concernenti le autorizzazioni edilizie di impianti eolici d'interesse nazionale secondo l'articolo 71c capoverso 1 lettera b della legge federale del 30 settembre 201684 sull'energia e le autorizzazioni di competenza cantonale a esse necessariamente connesse, se non si pone alcuna questione di diritto d'importanza fondamentale.
LTF ne soit réalisée; la voie du recours en matière de droit public selon les art. 82 ss
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 82 Principio - Il Tribunale federale giudica i ricorsi:
a  contro le decisioni pronunciate in cause di diritto pubblico;
b  contro gli atti normativi cantonali;
c  concernenti il diritto di voto dei cittadini nonché le elezioni e votazioni popolari.
LTF est partant ouverte.
Le recourant a pris part à la procédure devant l'instance précédente. En tant que propriétaire du bâtiment dont le classement est en cause, il est particulièrement touché par l'arrêt attaqué et peut se prévaloir d'un intérêt digne de protection à son annulation. Il bénéficie partant de la qualité pour recourir au sens de l'art. 89 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 89 Diritto di ricorso - 1 Ha diritto di interporre ricorso in materia di diritto pubblico chi:
1    Ha diritto di interporre ricorso in materia di diritto pubblico chi:
a  ha partecipato al procedimento dinanzi all'autorità inferiore o è stato privato della possibilità di farlo;
b  è particolarmente toccato dalla decisione o dall'atto normativo impugnati; e
c  ha un interesse degno di protezione all'annullamento o alla modifica degli stessi.
2    Hanno inoltre diritto di ricorrere:
a  la Cancelleria federale, i dipartimenti federali o, in quanto lo preveda il diritto federale, i servizi loro subordinati, se l'atto impugnato può violare la legislazione federale nella sfera dei loro compiti;
b  in materia di rapporti di lavoro del personale federale, l'organo competente dell'Assemblea federale;
c  i Comuni e gli altri enti di diritto pubblico, se fanno valere la violazione di garanzie loro conferite dalla costituzione cantonale o dalla Costituzione federale;
d  le persone, le organizzazioni e le autorità legittimate al ricorso in virtù di un'altra legge federale.
3    In materia di diritti politici (art. 82 lett. c), il diritto di ricorrere spetta inoltre a chiunque abbia diritto di voto nell'affare in causa.
LTF. Il convient par conséquent d'entrer en matière sur le recours, sous les réserves qui suivent.

1.2. Dans une première partie de son mémoire, le recourant présente son propre état de fait. Une telle manière de procéder, dans la mesure où les faits exposés s'écartent des constatations de l'instance précédente ou les complètent, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires (cf. art. 97
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 97 Accertamento inesatto dei fatti - 1 Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
1    Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
2    Se il ricorso è diretto contro una decisione d'assegnazione o rifiuto di prestazioni pecuniarie dell'assicurazione militare o dell'assicurazione contro gli infortuni, può essere censurato qualsiasi accertamento inesatto o incompleto dei fatti giuridicamente rilevanti.87
et 105
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 105 Fatti determinanti - 1 Il Tribunale federale fonda la sua sentenza sui fatti accertati dall'autorità inferiore.
1    Il Tribunale federale fonda la sua sentenza sui fatti accertati dall'autorità inferiore.
2    Può rettificare o completare d'ufficio l'accertamento dei fatti dell'autorità inferiore se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95.
3    Se il ricorso è diretto contro una decisione d'assegnazione o rifiuto di prestazioni pecuniarie dell'assicurazione militare o dell'assicurazione contro gli infortuni, il Tribunale federale non è vincolato dall'accertamento dei fatti operato dall'autorità inferiore.96
LTF), est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (cf. ATF 140 III 115 consid. 2 p. 116 s.; 139 II 404 consid. 10.1 p. 445).

1.3. Selon la jurisprudence, le droit de réplique déduit des art. 6 CEDH et 29 al. 2 Cst. n'a pas vocation à permettre au recourant de présenter, dans le cadre d'un échange d'écritures subséquent, des arguments nouveaux ou des griefs qui auraient déjà pu figurer dans l'acte de recours (cf. ATF 143 II 283 consid. 1.2.3 p. 286; arrêt 1C 70/2020 du 8 décembre 2020 consid. 2); le recourant ne saurait, par ce biais, remédier à une motivation défaillante ou encore compléter les motifs de son recours. Admettre le contraire aurait pour conséquence de prolonger le délai légal de recours, ce que prohibe expressément l'art. 47 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 47 Proroga - 1 I termini stabiliti dalla legge non possono essere prorogati.
1    I termini stabiliti dalla legge non possono essere prorogati.
2    I termini stabiliti dal giudice possono essere prorogati per motivi sufficienti se ne è fatta domanda prima della scadenza.
LTF, et de créer des inégalités de traitement.
En l'espèce, au stade de la réplique, le recourant se prévaut à réitérées reprises d'une constatation inexacte des faits, invoquant à cet égard l'art. 97 al. 2
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 97 Accertamento inesatto dei fatti - 1 Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
1    Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
2    Se il ricorso è diretto contro una decisione d'assegnazione o rifiuto di prestazioni pecuniarie dell'assicurazione militare o dell'assicurazione contro gli infortuni, può essere censurato qualsiasi accertamento inesatto o incompleto dei fatti giuridicamente rilevanti.87
LTF [ recte : art. 97 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 97 Accertamento inesatto dei fatti - 1 Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
1    Il ricorrente può censurare l'accertamento dei fatti soltanto se è stato svolto in modo manifestamente inesatto o in violazione del diritto ai sensi dell'articolo 95 e l'eliminazione del vizio può essere determinante per l'esito del procedimento.
2    Se il ricorso è diretto contro una decisione d'assegnazione o rifiuto di prestazioni pecuniarie dell'assicurazione militare o dell'assicurazione contro gli infortuni, può essere censurato qualsiasi accertamento inesatto o incompleto dei fatti giuridicamente rilevanti.87
LTF]. Ces critiques n'interviennent toutefois pas en réponse aux déterminations des autres parties à la procédure, mais constituent des griefs nouveaux, qu'il eût appartenu au recourant d'articuler d'emblée, au stade du recours (cf. consid. 1.2 ci-dessus); tardifs, ils sont irrecevables.

1.4. Selon l'art. 99 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 99 - 1 Possono essere addotti nuovi fatti e nuovi mezzi di prova soltanto se ne dà motivo la decisione dell'autorità inferiore.
1    Possono essere addotti nuovi fatti e nuovi mezzi di prova soltanto se ne dà motivo la decisione dell'autorità inferiore.
2    Non sono ammissibili nuove conclusioni.
LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
A l'appui de son pourvoi, le recourant produit une "Estimation sommaire du coût de rénovation de la villa «X.________»", du 15 avril 2013, établie par G.________ SA (pièce 3 du bordereau du 17 septembre 2019). Il indique que ce document a été déposé dans le cadre de la procédure d'autorisation de construire actuellement suspendue devant le Tribunal cantonal (cf. Faits, let. B). Cette pièce ne ressortant en revanche pas du dossier de la présente cause et le recourant n'expliquant pas que l'exception prévue à l'art. 99 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 99 - 1 Possono essere addotti nuovi fatti e nuovi mezzi di prova soltanto se ne dà motivo la decisione dell'autorità inferiore.
1    Possono essere addotti nuovi fatti e nuovi mezzi di prova soltanto se ne dà motivo la decisione dell'autorità inferiore.
2    Non sono ammissibili nuove conclusioni.
in fine LTF serait réalisée, elle est irrecevable (cf. ATF 133 III 393 consid. 3 p.).

2.
A titre de mesure d'instruction, le recourant requiert la production, en mains du Tribunal cantonal, du dossier de la cause cantonale AC.2013.0220 relative à la délivrance d'un permis de construire, actuellement suspendue (cf. Faits, let. B). Outre que le recourant ne fournit aucune explication sérieuse quant à la pertinence de cette mesure, le Tribunal fédéral s'estime suffisamment renseigné pour statuer en l'état du dossier. Il n'y a par conséquent pas lieu de faire droit à cette requête (cf. art. 37
SR 273 Legge del 4 dicembre 1947 di procedura civile federale
PC Art. 37 - Il giudice non è vincolato dai mezzi di prova offerti dalle parti; egli prende in considerazione soltanto quelli necessari. Il giudice può valersi di mezzi di prova che le parti non hanno offerto.
PCF [RS 273], par renvoi de l'art. 55
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 55 Principio - 1 La procedura probatoria è retta dagli articoli 36, 37 e 39-65 della legge del 4 dicembre 194720 di procedura civile federale (PC).
1    La procedura probatoria è retta dagli articoli 36, 37 e 39-65 della legge del 4 dicembre 194720 di procedura civile federale (PC).
2    Il giudice dell'istruzione può prendere lui stesso le misure probatorie necessarie o demandarne l'adozione alle autorità federali o cantonali competenti.
3    Procede all'audizione di testimoni, alle ispezioni oculari e all'interrogatorio delle parti insieme con un secondo giudice.
LTF).

3.
Dans un premier grief intitulé "De l'autorité de l'arrêt de renvoi et non-respect des instructions contenues dans ses considérants", le recourant reproche en substance à l'instance précédente de n'avoir pas respecté l'arrêt de renvoi du Tribunal fédéral du 20 juin 2016 (1C 266/2015); selon lui, la cour cantonale n'était pas autorisée à demander la mise en oeuvre d'une expertise auprès de la CFMH. Cette commission ne serait, en tout état de cause, compétente que pour l'examen d'objets d'importance fédérale et non d'objets d'importance locale ou régionale; l'expertise aurait ainsi été requise en violation du droit fédéral. Dans la suite de son exposé ("De l'autorité de chose jugée liée à la décision du 16 avril 2015"), le recourant soutient encore que le Tribunal cantonal serait à tort revenu sur la question de son intérêt privé à pouvoir démolir "X.________"; à comprendre l'argumentation développée à ce stade, ce point aurait été tranché définitivement par le premier jugement cantonal du 16 avril 2015.

3.1. Selon l'art. 107 al. 2
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 107 Sentenza - 1 Il Tribunale federale non può andare oltre le conclusioni delle parti.
1    Il Tribunale federale non può andare oltre le conclusioni delle parti.
2    Se accoglie il ricorso, giudica esso stesso nel merito o rinvia la causa all'autorità inferiore affinché pronunci una nuova decisione. Può anche rinviare la causa all'autorità che ha deciso in prima istanza.
3    Se ritiene inammissibile un ricorso interposto nel campo dell'assistenza giudiziaria internazionale in materia penale o dell'assistenza amministrativa internazionale in materia fiscale, il Tribunale federale prende la decisione di non entrare nel merito entro 15 giorni dalla chiusura di un eventuale scambio di scritti. Nel campo dell'assistenza giudiziaria internazionale non è tenuto a rispettare tale termine se la procedura d'estradizione concerne una persona sulla cui domanda d'asilo non è ancora stata pronunciata una decisione finale passata in giudicato.97
4    Sui ricorsi interposti contro le decisioni del Tribunale federale dei brevetti in materia di rilascio di una licenza secondo l'articolo 40d della legge del 25 giugno 195419 sui brevetti, il Tribunale federale decide entro un mese dalla presentazione del ricorso.98
1 ère phrase LTF, si le Tribunal fédéral admet le recours, il statue lui-même sur le fond ou renvoie l'affaire à l'autorité précédente pour qu'elle prenne une nouvelle décision. Le principe de l'autorité de l'arrêt de renvoi découle du droit fédéral non écrit (ATF 143 IV 214 consid. 5.3.3 p. 222). Conformément à ce principe, l'autorité cantonale à laquelle la cause est renvoyée par le Tribunal fédéral est tenue de fonder sa nouvelle décision sur les considérants de droit de l'arrêt du Tribunal fédéral. Elle est ainsi liée par ce qui a déjà été définitivement tranché par le Tribunal fédéral et par les constatations de fait qui n'ont pas été attaquées devant lui ou l'ont été sans succès (ATF 143 IV 214 consid. 5.2.1 p. 220; 131 III 91 consid. 5.2 p. 94; arrêt 6B 170/2020 du 15 décembre 2020 consid. 1.2). La motivation de l'arrêt de renvoi détermine dans quelle mesure la cour cantonale est liée à la première décision, prononcé de renvoi qui fixe aussi bien le cadre du nouvel état de fait que celui de la nouvelle motivation juridique; les faits nouveaux ne peuvent être pris en considération que sur les points ayant fait l'objet du renvoi, lesquels ne peuvent être ni étendus, ni fondés sur une base juridique
nouvelle (ATF 135 III 334 consid. 2 p. 335; arrêt 1B 302/2020 du 15 février 2021).

3.2. Il ressort de l'arrêt de renvoi du 20 juin 2016 que le Tribunal fédéral a retourné la cause au Tribunal cantonal en l'invitant à statuer à nouveau en procédant à une pesée complète des intérêts, non sans avoir préalablement complété l'instruction s'agissant de la valeur historique, scientifique et architecturale de la villa "X.________" (cf. arrêt 1C 266/2015 consid. 3.3). Or, le Tribunal cantonal s'est précisément livré à un tel complément d'instruction: le dossier de la cause a ainsi été enrichi d'un rapport de l'historienne des monuments E.________ de janvier 2017, complété en juin de la même année; celui-ci comprend en outre un texte de janvier 2017 rédigé par l'expert D.________. Que ce dernier n'ait finalement pas été auditionné ne viole au demeurant pas le droit d'être entendu du recourant : en premier lieu, l'arrêt de renvoi n'imposait pas à l'instance précédente de mettre impérativement en oeuvre cette mesure d'instruction (cf. arrêt 1C 266/2015 consid. 3.2.3); le recourant ne prétend ensuite pas l'avoir formellement requise ni que son refus résulterait d'une appréciation anticipée des preuves entachée d'arbitraire. Par ailleurs et contrairement à ce que soutient encore le recourant, l'arrêt du Tribunal fédéral
n'interdisait pas non plus à la cour cantonale de mettre en oeuvre d'autres et plus amples mesures d'instructions (cf. en particulier arrêt 1C 266/2015 consid. 3.3 et l'emploi de l'adverbe "notamment"). Il était par conséquent loisible au Juge instructeur, sans que cela ne heurte l'autorité de l'arrêt de renvoi, de requérir une expertise complémentaire auprès de la CFMH.

3.2.1. S'agissant plus particulièrement de cette dernière mesure, et quoi qu'en dise le recourant, celle-ci n'apparaît pas contraire au droit fédéral. Il est vrai qu'en application de l'art. 7 al. 2
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 7
1    Se l'adempimento di un compito della Confederazione è di competenza della Confederazione, l'Ufficio federale dell'ambiente (UFAM), l'Ufficio federale della cultura oppure l'Ufficio federale delle strade, secondo competenza, decide se occorre la perizia di una commissione di cui all'articolo 25 capoverso 1. Se è competente il Cantone, decide il servizio cantonale di cui all'articolo 25 capoverso 2.23
2    Se nell'adempimento di un compito della Confederazione un oggetto iscritto in un inventario federale ai sensi dell'articolo 5 può subire un danno rilevante oppure se sorgono questioni d'importanza fondamentale al riguardo, la commissione redige una perizia a destinazione dell'autorità cui spetta la decisione. La perizia indica se l'oggetto deve essere conservato intatto oppure la maniera per salvaguardarlo.
3    La perizia costituisce uno degli elementi su cui l'autorità decisionale si basa per la ponderazione di tutti gli interessi.24
de la loi fédérale sur la protection de la nature et du paysage du 1er juillet 1966 (LPN; RS 451), l'établissement d'une expertise par une commission fédérale au sens de l'art. 25 al. 1
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 25
1    Il Consiglio federale designa una o più commissioni consultive per la protezione della natura, la protezione del paesaggio e la conservazione dei monumenti storici.
2    I Cantoni designano i servizi incaricati della protezione della natura e del paesaggio e della conservazione dei monumenti storici.
LPN ne s'impose que lorsque l'accomplissement d'une tâche fédérale peut altérer sensiblement un objet inscrit dans un inventaire fédéral en vertu de l'art. 5
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 5
1    Il Consiglio federale, sentiti i Cantoni, compila gli inventari degli oggetti d'importanza nazionale; può fare capo a quelli d'istituzioni pubbliche e d'associazioni che si occupano della protezione della natura e del paesaggio o della conservazione dei monumenti storici.20 Gl'inventari indicheranno i principi applicati nella scelta degli oggetti. Devono inoltre contenere:
a  la descrizione esatta degli oggetti;
b  la ragione della loro importanza nazionale;
c  i pericoli possibili;
d  i provvedimenti di protezione già presi;
e  la protezione cui devesi provvedere;
f  le proposte di miglioramento.
2    Gl'inventari non sono definitivi. Essi devono essere esaminati e aggiornati regolarmente; circa l'iscrizione, la modificazione o la cancellazione d'oggetti risolve il Consiglio federale dopo aver sentito i Cantoni. Questi possono proporre di moto proprio un riesame.
LPN (IFP, ISOS, IVS; cf. JÖRG LEIMBACHER, in Commentaire LPN, 2e éd. 2019, n. 3 ad art. 7
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 7
1    Se l'adempimento di un compito della Confederazione è di competenza della Confederazione, l'Ufficio federale dell'ambiente (UFAM), l'Ufficio federale della cultura oppure l'Ufficio federale delle strade, secondo competenza, decide se occorre la perizia di una commissione di cui all'articolo 25 capoverso 1. Se è competente il Cantone, decide il servizio cantonale di cui all'articolo 25 capoverso 2.23
2    Se nell'adempimento di un compito della Confederazione un oggetto iscritto in un inventario federale ai sensi dell'articolo 5 può subire un danno rilevante oppure se sorgono questioni d'importanza fondamentale al riguardo, la commissione redige una perizia a destinazione dell'autorità cui spetta la decisione. La perizia indica se l'oggetto deve essere conservato intatto oppure la maniera per salvaguardarlo.
3    La perizia costituisce uno degli elementi su cui l'autorità decisionale si basa per la ponderazione di tutti gli interessi.24
LPN) ou soulève des questions de fond. Toutefois, aux termes de l'art. 17a
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 17a - Il Consiglio federale fissa i casi nei quali la commissione competente può effettuare una perizia di propria iniziativa o a richiesta di terzi, previo consenso dell'autorità cantonale competente.
LPN, le Conseil fédéral définit les cas dans lesquels une commission peut, avec l'accord du canton, procéder à une expertise de son propre chef ou à la demande de tiers; et l'art. 25 al. 1 let. e
SR 451.1 Ordinanza del 16 gennaio 1991 sulla protezione della natura e del paesaggio (OPN)
OPN Art. 25
1    La CFNP e la CFMS hanno segnatamente i seguenti compiti:
a  consigliano i Dipartimenti nelle questioni fondamentali riguardanti la protezione della natura, la protezione del paesaggio e la conservazione dei monumenti storici;
b  collaborano consultivamente all'applicazione della LPN;
c  collaborano all'elaborazione e all'aggiornamento degli inventari di oggetti d'importanza nazionale;
d  elaborano perizie su questioni di protezione della natura, di protezione del paesaggio e di conservazione dei monumenti storici ad uso delle autorità federali e cantonali incaricate di adempiere i compiti della Confederazione secondo l'articolo 2 LPN (art. 7 e 8 LPN);
e  elaborano perizie speciali (art. 17a LPN) allorché un progetto che non costituisce un compito della Confederazione giusta l'articolo 2 LPN potrebbe danneggiare un oggetto figurante in un inventario della Confederazione giusta l'articolo 5 LPN o che riveste altrimenti un'importanza particolare.
2    La CFMS ha inoltre i seguenti compiti:
a  su richiesta dell'UFC, dà il proprio parere in merito a domande di aiuto finanziario relative alla conservazione dei monumenti storici;
b  cura la collaborazione e gli scambi scientifici con tutte le cerchie interessate e promuove l'attività pratica e teorica di base.68
3    L'UFC può incaricare membri della CFMS, consulenti e altre persone qualificate di fornire perizie tecniche e sostegno ai Cantoni nell'attuazione di provvedimenti.69
de l'ordonnance sur la protection de la nature et du paysage du 19 janvier 1991 (OPN; RS 451.1) de préciser que la CFMH établit des expertises spéciales lorsqu'un projet qui ne constitue pas une tâche fédérale au sens de l'art. 2
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 2
1    Per adempimento di un compito della Confederazione ai sensi dell'articolo 24sexies capoverso 2 della Costituzione federale12 s'intendono in particolare:13
a  l'elaborazione di progetti, la costruzione e la modificazione d'opere e d'impianti da parte della Confederazione, degli stabilimenti e delle aziende federali, come gli edifici e gli impianti dell'Amministrazione federale, le strade nazionali, gli edifici e gli impianti delle Ferrovie federali svizzere;
b  il conferimento di concessioni e di permessi, ad esempio per la costruzione e l'esercizio d'impianti di trasporto e di comunicazione (compresa l'approvazione dei piani), di opere e impianti per il trasporto d'energie, liquidi, gas o per la trasmissione di notizie, come anche la concessione di permessi di dissodamento;
c  l'assegnazione di sussidi a piani di sistemazione, opere e impianti, come bonifiche fondiarie, risanamenti d'edifici agricoli, correzioni di corsi d'acqua, impianti idraulici di protezione e impianti di comunicazione.
2    Le decisioni delle autorità cantonali riguardo a progetti verosimilmente realizzabili solo con contributi di cui al capoverso 1 lettera c sono equiparate all'adempimento di compiti della Confederazione.15
LPN pourrait porter préjudice à un objet figurant dans un inventaire de la Confédération au sens de l'art. 5
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 5
1    Il Consiglio federale, sentiti i Cantoni, compila gli inventari degli oggetti d'importanza nazionale; può fare capo a quelli d'istituzioni pubbliche e d'associazioni che si occupano della protezione della natura e del paesaggio o della conservazione dei monumenti storici.20 Gl'inventari indicheranno i principi applicati nella scelta degli oggetti. Devono inoltre contenere:
a  la descrizione esatta degli oggetti;
b  la ragione della loro importanza nazionale;
c  i pericoli possibili;
d  i provvedimenti di protezione già presi;
e  la protezione cui devesi provvedere;
f  le proposte di miglioramento.
2    Gl'inventari non sono definitivi. Essi devono essere esaminati e aggiornati regolarmente; circa l'iscrizione, la modificazione o la cancellazione d'oggetti risolve il Consiglio federale dopo aver sentito i Cantoni. Questi possono proporre di moto proprio un riesame.
LPN ou
ayant une importance particulière sur un autre plan. C'est le cas de figure ici, dès lors qu'au regard du premier recensement, la villa "X.________" présentait à tout le moins un intérêt local, dont la valeur patrimoniale nécessitait cependant une clarification (note *3V*; cf. art. 49 ss et 52 ss de la loi cantonale du 10 décembre 1969 sur la protection de la nature, des monuments et des sites [LPNMS; RS/VD 450.11]; rapport CFMH du 1er mars 2018 p. 8 s.; JÖRG LEIMBACHER, in Commentaire LPN, 2e éd. 2019, n. 6 s. ad art. 17a
SR 451 Legge federale del 1o luglio 1966 sulla protezione della natura e del paesaggio (LPN)
LPN Art. 17a - Il Consiglio federale fissa i casi nei quali la commissione competente può effettuare una perizia di propria iniziativa o a richiesta di terzi, previo consenso dell'autorità cantonale competente.
LPN). La cour cantonale pouvait dès lors, sans que cela ne soit critiquable, mettre en oeuvre la CFMH pour l'établissement d'une expertise complémentaire.

3.2.2. Pour terminer, il n'y a guère de sens à affirmer que la cour cantonale aurait outrepassé l'autorité de chose jugée de son premier arrêt du 16 avril 2015 en réexaminant la question de l'intérêt privé du recourant, spécialement s'agissant des conséquences financières liées au classement, respectivement à l'interdiction de démolir. En effet, par arrêt de renvoi du 20 juin 2016 (1C 266/2015), le Tribunal fédéral a, pour un motif formel, annulé ce premier arrêt cantonal. Renvoyant la cause à la cour cantonale, le Tribunal fédéral ne l'a pas uniquement invitée à compléter l'instruction s'agissant de la valeur patrimoniale de la villa, mais également à procéder ensuite à une nouvelle pesée complète des intérêts. Une telle directive sous-entend sans conteste une confrontation des intérêts publics à la conservation de l'objet aux intérêts privés du recourant à sa démolition. Le reproche du recourant apparaît dès lors sans pertinence. Autre est en revanche la question de savoir si cette nouvelle pesée a été réalisée en conformité avec le droit fédéral, respectivement avec la garantie de la propriété. Cet aspect sera examiné ultérieurement en lien avec la violation de l'art. 26
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 26 Garanzia della proprietà - 1 La proprietà è garantita.
1    La proprietà è garantita.
2    In caso d'espropriazione o di restrizione equivalente della proprietà è dovuta piena indennità.
Cst. (cf. consid. 5).

3.3. En définitive, les griefs formulés s'agissant de l'autorité de l'arrêt de renvoi du 20 juin 2016, de la force de chose jugée de l'arrêt cantonal du 16 avril 2015, de même que les critiques en lien avec la compétence de la CFMH, apparaissent mal fondés et doivent être rejetés.

4.
Le recourant rappelle ensuite avoir fait valoir, à l'appui de son recours cantonal, des irrégularités formelles liées à la compétence du DFIRE et du DIRH. Selon lui, la cour cantonale aurait alors laissé cette question indécise, de sorte qu'il lui appartenait de statuer sur cette problématique dans le cadre du renvoi de la cause, sauf à violer son droit d'être entendu (art. 29 al. 2
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 29 Garanzie procedurali generali - 1 In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
1    In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
2    Le parti hanno diritto d'essere sentite.
3    Chi non dispone dei mezzi necessari ha diritto alla gratuità della procedura se la sua causa non sembra priva di probabilità di successo. Ha inoltre diritto al patrocinio gratuito qualora la presenza di un legale sia necessaria per tutelare i suoi diritti.
Cst.).

4.1. Dans son premier arrêt, le Tribunal cantonal a retenu que la décision de classement du 28 mai 2014 avait été prise par le département compétent, à savoir le DIRH. Ce dernier n'avait en revanche pas statué sur les oppositions, en particulier celle émanant du recourant: les décisions sur oppositions avaient été prises par le DFIRE, auquel était alors rattaché le SIPAL. Toutefois, les deux départements avaient veillé à la coordination des décisions et à ce que matériellement les oppositions soient traitées; la violation des règles de compétence n'apparaissait pas grave au point d'entraîner la nullité absolue de la décision de classement invoquée par le recourant.
C'est dès lors à tort que le recourant assène que le Tribunal cantonal n'aurait pas formellement statué sur son grief, dans le cadre de son premier jugement. Cette problématique ne faisant pas l'objet de l'arrêt de renvoi du 20 juin 2016 (1C 266/2015), il n'incombait pas à la cour cantonale de se pencher une nouvelle fois sur cet aspect du litige, dans le cadre de la reprise de cause (cf. consid. 3.1 ci-dessus). On ne saurait ainsi voir dans son refus de réexaminer cette question une violation du droit d'être entendu ni une violation de l'autorité du jugement de renvoi; on ne saurait pas non plus reprocher à la cour cantonale un défaut de motivation de son second arrêt, celle-ci ayant dûment rappelé les principes définis par la jurisprudence en matière d'autorité de l'arrêt de renvoi (cf. arrêt attaqué consid. 1).

4.2. Il apparaît quoi qu'il en soit qu'une éventuelle violation du droit d'être entendu commise dans le cadre de la procédure d'opposition, matérialisée, selon le recourant, par le fait que le département compétent n'a pas statué sur son opposition, a été réparée au cours de la procédure cantonale de recours. Le recourant a en effet pu faire valoir l'entier de ses griefs contre le classement devant la cour cantonale, qui bénéficie d'une pleine cognition en fait et en droit (cf. ATF 145 I 167 consid. 4.4 p. 174; 142 II 218 consid. 2.8.1 p. 226 s.); celle-ci a statué sur chacun d'entre eux, le recourant ne se prévalant du reste à cet égard pas d'un déni de justice formel; il a en outre également pu se déterminer s'agissant de la pertinence du classement lors de la reprise de l'instruction par le Tribunal cantonal.

4.3. Le grief apparaît par conséquent mal fondé et doit être rejeté.

5.
Le recourant fait valoir une violation de la garantie de la propriété (art. 26
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 26 Garanzia della proprietà - 1 La proprietà è garantita.
1    La proprietà è garantita.
2    In caso d'espropriazione o di restrizione equivalente della proprietà è dovuta piena indennità.
Cst.). En lien avec ce grief, il remet en cause l'intérêt public à la conservation de la villa "X.________" et affirme que la mesure de classement serait disproportionnée. Il ne conteste en revanche pas l'existence d'une base légale suffisante.

5.1. La garantie de la propriété est ancrée à l'art. 26 al. 1
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 26 Garanzia della proprietà - 1 La proprietà è garantita.
1    La proprietà è garantita.
2    In caso d'espropriazione o di restrizione equivalente della proprietà è dovuta piena indennità.
Cst. Elle n'est toutefois pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 36 Limiti dei diritti fondamentali - 1 Le restrizioni dei diritti fondamentali devono avere una base legale. Se gravi, devono essere previste dalla legge medesima. Sono eccettuate le restrizioni ordinate in caso di pericolo grave, immediato e non altrimenti evitabile.
1    Le restrizioni dei diritti fondamentali devono avere una base legale. Se gravi, devono essere previste dalla legge medesima. Sono eccettuate le restrizioni ordinate in caso di pericolo grave, immediato e non altrimenti evitabile.
2    Le restrizioni dei diritti fondamentali devono essere giustificate da un interesse pubblico o dalla protezione di diritti fondamentali altrui.
3    Esse devono essere proporzionate allo scopo.
4    I diritti fondamentali sono intangibili nella loro essenza.
Cst. La restriction doit ainsi reposer sur une base légale (al. 1), être justifiée par un intérêt public (al. 2) et respecter le principe de la proportionnalité (al. 3). Ce principe exige qu'une mesure restrictive soit apte à produire les résultats escomptés - règle de l'aptitude -, que ceux-ci ne puissent être atteints par une mesure moins incisive - règle de la nécessité -, et qu'il existe un rapport raisonnable entre le but visé et les intérêts publics ou privés compromis - règle de la proportionnalité au sens étroit - (cf. ATF 140 I 168 consid. 4.2.1 p. 173; 135 I 233 consid. 3.1 p. 246).
Les griefs de violation des droits fondamentaux sont soumis à des exigences de motivation accrues (art. 106 al. 2
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 106 Applicazione del diritto - 1 Il Tribunale federale applica d'ufficio il diritto.
1    Il Tribunale federale applica d'ufficio il diritto.
2    Esamina la violazione di diritti fondamentali e di disposizioni di diritto cantonale e intercantonale soltanto se il ricorrente ha sollevato e motivato tale censura.
LTF). La partie recourante doit alors mentionner les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ceux-ci auraient été violés (ATF 141 IV 369 consid. 6.3 p. 375; 136 II 489 consid. 2.8 p. 494; arrêt 1C 104/2019 du 21 avril 2020 consid. 3.1.1).
Sous cette réserve, le Tribunal fédéral examine en principe librement si une restriction de la propriété répond à un intérêt public et respecte le principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il s'agit de tenir compte de circonstances locales dont les autorités cantonales ont une meilleure connaissance que lui, ou de trancher de pures questions d'appréciation (cf. ATF 140 I 168 consid. 4.2.1 p. 173; 135 I 176 consid. 6.1 p. 181; 132 II 408 consid. 4.3 p. 415). Le Tribunal fédéral doit alors examiner, dans le cadre des griefs soulevés (art. 106 al. 2
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 106 Applicazione del diritto - 1 Il Tribunale federale applica d'ufficio il diritto.
1    Il Tribunale federale applica d'ufficio il diritto.
2    Esamina la violazione di diritti fondamentali e di disposizioni di diritto cantonale e intercantonale soltanto se il ricorrente ha sollevato e motivato tale censura.
LTF), si la décision attaquée se prononce de façon complète sur les motifs d'intérêt public invoqués pour justifier l'atteinte au droit de propriété et si, dans la pesée des intérêts, les intérêts privés ont été pris en considération de manière adéquate (cf. ATF 118 Ia 394 consid. 2b p. 397; arrêts 1C 447/2009 du 11 mars 2010 consid. 4.1; 1A.265/2006 du 14 juin 2007 consid. 4.4.5).

5.2. Le recourant reproche à nouveau à l'instance précédente d'être revenue sur la question de son intérêt privé, en particulier financier, à la démolition de la villa. Il lui reproche de s'être arbitrairement écartée de son premier arrêt, en particulier s'agissant de l'importance revêtue par la restriction à son droit de la propriété. Cette approche est toutefois erronée pour les motifs déjà exposés (cf. consid. 3.2.2), l'arrêt de renvoi ordonnant non seulement un complément d'instruction, mais également une pesée complète des intérêts en présence. En confrontant l'intérêt public à la conservation de la villa, mis en particulier en évidence par le rapport de la CFMH, aux intérêts privés du recourant, la cour cantonale n'est pas revenue sur son appréciation, mais s'est conformée aux instructions de l'instance supérieure.
Quant à la longue argumentation déployée ensuite par le recourant en lien avec l'expropriation matérielle, elle ne saurait pas non plus prospérer. Ce n'est en effet pas dans le cadre de la procédure de classement qu'il s'agit de déterminer si l'atteinte entraînée par la mesure de protection est grave au point de justifier une indemnisation, mais par le biais d'une procédure spécifique (cf. art. 116 ss de la loi cantonale sur l'expropriation du 25 novembre 1974 [LE; RS/VD 710.01]; AURÉLIEN WIEDLER, La protection du patrimoine bâti, thèse 2019, p. 104), dont on peut d'ailleurs douter qu'elle relève de la compétence de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (cf. art. 116 LE). L'instance précédente se devait uniquement de déterminer si la mesure envisagée en vue de protéger la villa "X.________" respectait le principe de proportionnalité par rapport aux intérêts du propriétaire, ce qu'il convient à ce stade d'examiner.

5.3. En l'espèce, la cour cantonale a fait siennes les conclusions du rapport CFMH, lesquelles n'entraient pas en contradiction, voire complétaient les éléments décrits par les deux spécialistes du département cantonal, E.________ et D.________. Cette mesure de protection s'imposait en raison de la rareté de l'objet. La villa et le parc demeuraient des témoins précieux de leur temps. La mesure de classement s'imposait également au vu des qualités architecturales propres de la villa. L'intérêt à la conservation de la villa et de ses abords immédiats devait l'emporter sur les intérêts privés - essentiellement financiers - du recourant. A l'intérieur, l'appartement n'était ni en ruine ni inutilisable; son affectation pouvait être conservée. Le classement ne concernait que la villa et ses abords immédiats, à l'exclusion de la partie sud. Dans ces conditions, compte tenu de l'intérêt public à la conservation de la villa, son classement apparaissait justifié et proportionné.

5.3.1. Le recourant remet tout d'abord en cause l'intérêt patrimonial à la conservation de la villa "X.________". Il soutient que, dans le cadre de son premier jugement, la cour cantonale aurait "admis, selon sa propre conviction, que «X.________» ne présentait pas les caractéristiques que l'on voulait bien lui prêter". En faisant par la suite siennes, dans son deuxième arrêt, les conclusions de la CFMH, le Tribunal cantonal aurait pris un parti diamétralement opposé alors que la situation n'avait dans l'intervalle pourtant pas changé, celle-ci s'étant même aggravée en raison de la construction du bâtiment sur la partie sud. Sans toutefois se prévaloir de l'art. 29 al. 2
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 29 Garanzie procedurali generali - 1 In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
1    In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
2    Le parti hanno diritto d'essere sentite.
3    Chi non dispone dei mezzi necessari ha diritto alla gratuità della procedura se la sua causa non sembra priva di probabilità di successo. Ha inoltre diritto al patrocinio gratuito qualora la presenza di un legale sia necessaria per tutelare i suoi diritti.
Cst., il reproche encore à la cour cantonale de n'avoir pas expliqué en quoi le rapport de la commission fédérale était de nature à modifier sa première appréciation, ni les motifs pour lesquels elle s'était écartée des conclusions de l'architecte F.________, mandaté par ses soins.

5.3.2. Par son arrêt de renvoi du 20 juin 2016 (1C 266/2015), le Tribunal fédéral a annulé le premier arrêt et a ordonné au Tribunal cantonal de compléter son instruction s'agissant de la valeur patrimoniale de la villa. Comme déjà évoqué précédemment, le Tribunal cantonal s'est conformé à ces directives en requérant notamment une expertise complémentaire auprès de la CFMH. Le Tribunal cantonal n'a pas "diamétralement" changé son appréciation, mais s'est livré à l'analyse de l'intérêt à la conservation de la villa à la lumière des éléments nouveaux révélés par le complément d'instruction. Il s'est rallié aux conclusions de la CFMH, non sans avoir souligné que ce rapport comportait une synthèse des informations pertinentes à propos de la valeur de la villa; elle n'était pas en contradiction avec ce qui avait été constaté précédemment, de façon plus sommaire dans la décision de classement. Cette expertise mettait clairement en évidence les caractéristiques du quartier. La description du bâtiment et du jardin était suffisamment précise et cohérente, compte tenu de ce qui avait aussi pu être observé lors de l'inspection locale. Les explications de la CFMH étaient convaincantes. La cour cantonale a en outre rappelé qu'en matière de
protection des monuments historiques, cette commission disposait de compétences spécialisées particulières, de sorte qu'il convenait d'en respecter l'avis lorsque celui-ci était exprimé de manière claire et sans réserve.

5.3.3. Outre que ces explications apparaissent suffisantes sous l'angle des exigences de motivation déduites de l'art. 29 al. 2
SR 101 Costituzione federale della Confederazione Svizzera del 18 aprile 1999
Cost. Art. 29 Garanzie procedurali generali - 1 In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
1    In procedimenti dinanzi ad autorità giudiziarie o amministrative, ognuno ha diritto alla parità ed equità di trattamento, nonché ad essere giudicato entro un termine ragionevole.
2    Le parti hanno diritto d'essere sentite.
3    Chi non dispone dei mezzi necessari ha diritto alla gratuità della procedura se la sua causa non sembra priva di probabilità di successo. Ha inoltre diritto al patrocinio gratuito qualora la presenza di un legale sia necessaria per tutelare i suoi diritti.
Cst. (cf. ATF 143 III 65 consid. 5.2 p. 70 s.; 142 II 154 consid. 4.2 p. 157) - permettant en particulier au recourant de comprendre les motifs pour lesquels l'avis de l'expert privé n'a pas été suivi -, il n'y a, sur le fond, pas de raison de les mettre en doute. Selon la jurisprudence constante, le juge ne peut en effet s'écarter de l'avis d'un expert en matière technique sans motif valable; il doit exister des objections sérieuses à la force probante du rapport d'expertise (cf. ATF 145 II 70 consid. 5.5 p. 78 et consid. 6.4 p. 79 s.; voir également ATF 146 IV 114 consid. 2.1 p. 118; arrêt 1C 528/2018 du 17 octobre 2019 consid. 4.5, publié in DEP 2020 p. 190). Or, le recourant ne démontre pas que la méthode d'expertise employée par la CFMH serait erronée ou encore que son rapport renfermerait des contradictions commandant de s'en détacher au profit du rapport F.________. Le recourant se contente de critiques appellatoires. Il affirme que le rapport CFMH retiendrait à tort la rareté de la villa; ce faisant, il se contente d'opposer sa propre appréciation à celle de la cour cantonale, respectivement de la
CFMH: le rapport énumère en effet les quelques bâtiments présentant des caractéristiques architecturales analogues existant encore dans la région lausannoise (cf. rapport CFMH p. 6); il expose ensuite les éléments caractérisant la rareté de l'objet, décrivant celui-ci comme étant l'une des plus intéressantes villas connues de la littérature scientifique et de l'iconographie pour cette époque dans la région lausannoise (cf. rapport CFMH p. 7). De même et contrairement à ce que soutient le recourant, le rapport CFMH tient compte de la densification du quartier de Chamblandes et inscrit son analyse dans ce contexte (cf. rapport CFMH p. 3 s.). On ne perçoit pas non plus en quoi les autorités précédentes auraient adopté une position paradoxale en autorisant une nouvelle construction dans la partie sud de l'ancienne parcelle no 1355; c'est en particulier perdre de vue que la limitation de la mesure de protection à la seule villa et ses abords immédiats répond à des exigences liées à la proportionnalité, comme cela sera encore discuté ci-après. A cet égard, il convient d'ailleurs de préciser que la CFMH a explicitement indiqué les raisons pour lesquelles, en dépit de cette altération de la partie sud, l'intérêt à la conservation de la
villa et de ses abords demeurait (cf. rapport CFMH p. 7). La critique du recourant tombe partant à faux.

5.3.4. C'est enfin de manière tardive (cf. consid. 1.3) que le recourant se prévaut d'une constatation manifestement inexacte des faits s'agissant de la prétendue absence d'intérêt de la population pour la préservation de la villa "X.________". Il ressort quoi qu'il en soit de l'arrêt attaqué que l'intérêt à la conservation de l'objet ne découle pas uniquement de sa valeur typologique, mais également - aspects reconnaissables du grand public - de ses caractéristiques architecturales propres, ainsi que de la beauté du jardin. Il ne ressort en tout état de cause pas du dossier que le grand public témoignerait d'une hostilité à l'endroit de cette bâtisse, ou encore que sa préservation serait jugée illégitime. On déduit au contraire de la participation à la procédure de deux associations de défense du patrimoine, dont l'une est constituée d'habitants de la commune, l'existence d'une préoccupation de la société civile à la protection de cet objet.

5.3.5. Dans ces circonstances, on ne saurait reprocher à la cour cantonale de s'être ralliée aux conclusions de la CFMH, en tant qu'organe spécialisé (cf. ATF 139 II 185 consid. 9.3 p. 199; voir également ATF 146 IV 114 consid. 2.1 p. 118; arrêt 1C 72/2017 du 14 septembre 2017 consid. 3.2; THIERRY TANQUEREL, Manuel de droit administratif, 2e éd. 2018, n. 508 p. 176), au détriment du rapport de l'architecte mandaté par le recourant, qui ne constitue au demeurant qu'un allégué de partie (cf. ATF 142 II 355 consid. 6 p. 359; 141 IV 369 consid. 6.2 p. 373; cf. également arrêt de renvoi 1C 266/2015 du 20 juin 2016 consid. 3.2.3). Cela est d'autant plus vrai que les conclusions de la CFMH confirment les résultats initiaux des autorités cantonales compétentes, pour l'examen desquels le Tribunal fédéral s'impose une certaine retenue s'agissant de l'appréciation de circonstances locales (cf. ATF 140 I 168 consid. 4.2.1 p. 173; arrêts 1C 72/2017 du 14 septembre 2017 consid. 5.3; 1C 32/2012 du 7 septembre 2012 consid. 6.1). Il n'est ainsi pas critiquable d'avoir en définitive retenu que la villa était le rare témoin encore existant d'une manière de construire; qu'en dépit des atteintes, la villa et le parc demeuraient des témoins précieux de
leur temps et que, malgré des modifications sensibles du quartier, très densifié, l'ensemble subsistait (cf. apport CFMH p. 7); et enfin, qu'en tant que témoin rare d'une époque architecturale très peu représentée et protégée, elle comptait au sein du patrimoine cantonal (cf. rapport CFMH p. 9).

5.4. Sur le plan de l'intérêt privé du recourant, en particulier financier, la cour cantonale a reconnu que le classement de la villa empêchait la construction d'un immeuble d'habitation moderne. Cela impliquait également l'obligation d'entretenir le monument historique. L'usage de logement de la villa pouvait cependant être maintenu de sorte que la mesure de classement ne privait pas le recourant de tout avantage financier. Il n'était ainsi pas nécessaire de compléter l'instruction au sujet des investissements qu'il y aurait lieu d'engager pour réparer certains éléments extérieurs ou intérieurs de la villa.

5.4.1. S'il est vrai que le recourant conteste la solution de l'instance précédente, il ne fait cependant pas valoir dans son recours qu'elle découlerait d'une appréciation arbitraire des preuves au dossier. Ce n'est du reste qu'au stade de ses écritures ultérieures qu'il soulève un tel grief, invoquant à cet égard une "expertise du bureau W.________" ainsi que l'estimation établie par G.________ SA (pièce 3 du bordereau du 17 septembre 2019). Pour les motifs déjà invoqués ci-dessus une telle manière de procéder n'est pas admissible et ces critiques doivent être déclarées irrecevables (cf. consid. 1.3 et 1.4).

5.4.2. Il n'est quoi qu'il en soit pas critiquable de ne pas avoir instruit de manière plus approfondie la question des coûts de remise en état invoqués par le recourant. La cour cantonale a reconnu que la mesure de classement empêchait la démolition de la villa et la construction, après la vente de la parcelle, d'un immeuble d'habitation moderne. Il est également vrai que cela implique l'obligation d'entretenir le monument historique, le recourant ayant depuis quelques années renoncé à certaines travaux d'entretien compte tenu, selon l'arrêt attaqué, du projet de démolition. Toutefois, sans que cela ne soit valablement contesté, il apparaît - en particulier sur la base des constatations lors de l'inspection locale - que la villa, qui a toujours servi de maison d'habitation pour une famille, peut conserver cette affectation. Le logement peut également être maintenu pour l'usage du recourant ou encore celui de ses proches. Il lui reste également possible de mettre la villa en location. Force est ainsi constater, avec la cour cantonale, que la mesure de classement ne prive pas le recourant de tout avantage financier. Cela suffit, spécialement au regard de l'intérêt patrimonial présenté par la villa, à faire prévaloir l'intérêt
public à sa conservation sur les intérêts privés, en particulier financiers, du recourant, la jurisprudence ne garantissant pas une utilisation financière optimale du bâtiment (cf. ATF 126 I 219 consid. 2c p. 221; arrêts 1C 128/2019 du 25 août 2020 consid. 10.4, destiné à publication; 1C 72/2017 du 14 septembre 2017 consid. 7.3.2). A ces perspectives s'ajoute en outre le fait que la portion classée de la parcelle se limite à la villa et à ses abords immédiats: la partie sud de l'ancienne parcelle no 1355 n'y ayant pas été englobée, celle-ci a pu faire l'objet d'une opération financière ayant conduit à sa vente en tant que terrain constructible et la réalisation d'un immeuble d'habitation de huit logements.

5.4.3. Enfin, qu'en raison d'un défaut d'entretien - que le recourant justifie par la perspective d'une démolition -, il faille potentiellement entreprendre des travaux d'entretien n'est pas pertinent: l'obligation pour le propriétaire d'entretenir un monument historique classé découle de l'art. 55 al. 1 LPNMS, même si l'entretien se révèle en définitive coûteux; cela ne saurait ainsi constituer un argument pour s'opposer au classement, lorsqu'il est, comme en l'espèce, justifié par des motifs liés à l'intérêt patrimonial de l'objet et sa rareté, la nécessité d'entreprendre le remplacement de certaines installations à l'issue de leur durée d'utilisation étant dans la nature des choses (cf. arrêt 1C 128/2019 du 25 août 2020 consid. 10.3, destiné à publication). Cela étant et comme le rappelle le Tribunal cantonal, cette rigueur est atténuée par la loi - au nom du principe de la proportionnalité -, spécialement par l'art. 56 LPNMS, qui prévoit que l'Etat peut participer financièrement aux fouilles ainsi qu'à l'entretien et à la restauration des monuments historiques et antiquités classés. Il appartiendra au recourant, dans le cadre d'une procédure distincte, de déposer auprès de l'autorité compétente une demande d'intervention
financière de l'Etat, s'il le juge opportun (cf. art. 36 du règlement d'application de la LPNMS du 22 mars 1989 [RLPNMS; RS/D 450.11.1]).

5.5. En définitive, compte tenu spécialement de la valeur patrimoniale du bâtiment protégé, de la possibilité (réalisée) de vendre et de construire sur la partie sud du terrain (actuelle parcelle no 7440), ainsi que de l'expectative d'obtenir un certain rendement du logement existant, le Tribunal cantonal pouvait apprécier les circonstances en ce sens que l'intérêt au maintien de la villa "X.________" et de ses abords immédiats devait prévaloir. Aussi, même si la mesure litigieuse est de nature à diminuer les expectatives de rendement du propriétaire, celle-ci répond à intérêt public important et ne porte pas atteinte au principe de la proportionnalité.
Mal fondé, le grief est rejeté.

6.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais du recourant, qui succombe (art. 66 al. 1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 66 Onere e ripartizione delle spese giudiziarie - 1 Di regola, le spese giudiziarie sono addossate alla parte soccombente. Se le circostanze lo giustificano, il Tribunale federale può ripartirle in modo diverso o rinunciare ad addossarle alle parti.
1    Di regola, le spese giudiziarie sono addossate alla parte soccombente. Se le circostanze lo giustificano, il Tribunale federale può ripartirle in modo diverso o rinunciare ad addossarle alle parti.
2    In caso di desistenza o di transazione, il Tribunale federale può rinunciare in tutto o in parte a riscuotere le spese giudiziarie.
3    Le spese inutili sono pagate da chi le causa.
4    Alla Confederazione, ai Cantoni, ai Comuni e alle organizzazioni incaricate di compiti di diritto pubblico non possono di regola essere addossate spese giudiziarie se, senza avere alcun interesse pecuniario, si rivolgono al Tribunale federale nell'esercizio delle loro attribuzioni ufficiali o se le loro decisioni in siffatte controversie sono impugnate mediante ricorso.
5    Salvo diversa disposizione, le spese giudiziarie addossate congiuntamente a più persone sono da queste sostenute in parti eguali e con responsabilità solidale.
LTF). Celui-ci versera en outre des dépens à A.________ ainsi qu'à Patrimoine Suisse, par sa section vaudoise, qui obtiennent gain de cause avec l'assistance de mandataires professionnels (art. 68 al.1
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 68 Spese ripetibili - 1 Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
1    Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
2    La parte soccombente è di regola tenuta a risarcire alla parte vincente, secondo la tariffa del Tribunale federale, tutte le spese necessarie causate dalla controversia.
3    Alla Confederazione, ai Cantoni, ai Comuni e alle organizzazioni incaricate di compiti di diritto pubblico non sono di regola accordate spese ripetibili se vincono una causa nell'esercizio delle loro attribuzioni ufficiali.
4    Si applica per analogia l'articolo 66 capoversi 3 e 5.
5    Il Tribunale federale conferma, annulla o modifica, a seconda dell'esito del procedimento, la decisione sulle spese ripetibili pronunciata dall'autorità inferiore. Può stabilire esso stesso l'importo di tali spese secondo la tariffa federale o cantonale applicabile o incaricarne l'autorità inferiore.
LTF). L'association Sauvons le patrimoine de Pully, qui n'a pas procédé à ce stade, n'y a en revanche pas droit (cf. art. 68 al. 2
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 68 Spese ripetibili - 1 Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
1    Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
2    La parte soccombente è di regola tenuta a risarcire alla parte vincente, secondo la tariffa del Tribunale federale, tutte le spese necessarie causate dalla controversia.
3    Alla Confederazione, ai Cantoni, ai Comuni e alle organizzazioni incaricate di compiti di diritto pubblico non sono di regola accordate spese ripetibili se vincono una causa nell'esercizio delle loro attribuzioni ufficiali.
4    Si applica per analogia l'articolo 66 capoversi 3 e 5.
5    Il Tribunale federale conferma, annulla o modifica, a seconda dell'esito del procedimento, la decisione sulle spese ripetibili pronunciata dall'autorità inferiore. Può stabilire esso stesso l'importo di tali spese secondo la tariffa federale o cantonale applicabile o incaricarne l'autorità inferiore.
LTF). N'ont pas non plus droit à des dépens, le Département des finances et des relations extérieures, le Département des infrastructures et des ressources humaines, ainsi que de la municipalité, qui agissent dans l'exercice de leurs attributions officielles (art. 68 al. 3
SR 173.110 Legge del 17 giugno 2005 sul Tribunale federale (LTF) - Organizzazione giudiziaria
LTF Art. 68 Spese ripetibili - 1 Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
1    Nella sentenza il Tribunale federale determina se e in che misura le spese della parte vincente debbano essere sostenute da quella soccombente.
2    La parte soccombente è di regola tenuta a risarcire alla parte vincente, secondo la tariffa del Tribunale federale, tutte le spese necessarie causate dalla controversia.
3    Alla Confederazione, ai Cantoni, ai Comuni e alle organizzazioni incaricate di compiti di diritto pubblico non sono di regola accordate spese ripetibili se vincono una causa nell'esercizio delle loro attribuzioni ufficiali.
4    Si applica per analogia l'articolo 66 capoversi 3 e 5.
5    Il Tribunale federale conferma, annulla o modifica, a seconda dell'esito del procedimento, la decisione sulle spese ripetibili pronunciata dall'autorità inferiore. Può stabilire esso stesso l'importo di tali spese secondo la tariffa federale o cantonale applicabile o incaricarne l'autorità inferiore.
LTF).

Par ces motifs, le Tribunal fédéral prononce :

1.
Le recours est rejeté dans la mesure où il est recevable.

2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge du recourant.

3.
Une indemnité de 3'000 fr. est allouée à A.________, à titre de dépens, à la charge du recourant.

4.
Une indemnité de 3'000 fr. est allouée à Patrimoine Suisse, par sa section vaudoise, à titre de dépens, à la charge du recourant.

5.
Le présent arrêt est communiqué aux mandataires du recourant, de la Municipalité de Pully, du Département des finances et des relations extérieures du canton de Vaud, du Département des infrastructures et des ressources humaines du canton de Vaud, ainsi qu'aux mandataires de A.________ et de Patrimoine suisse, section vaudoise, à l'Association Sauvons le patrimoine de Pully, ainsi qu'à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.

Lausanne, le 7 avril 2021

Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse

Le Président : Kneubühler

Le Greffier : Alvarez