Faits :
A.
La commune de Saint-Livres est propriétaire des parcelles n os 132 et 133 de son cadastre, situées au centre du village, côté sud de la Grand'Rue. La première parcelle, d'une surface de 1'897 m2, comprend le long de la rue un bâtiment d'habitation avec affectation mixte de 337 m2 (ECA n° 205) ainsi que trois autres bâtiments situés en retrait (habitation - ECA n° 201 -, bâtiment scolaire - ECA n° 202 - autre bâtiment - ECA n° 203). La seconde parcelle, enclavée dans la première, comprend un bâtiment d'habitation avec rural (ECA n° 199). L'ensemble se trouve dans la " zone de bâtiments à conserver " selon les art. 6 à 11 du Règlement d'application du plan partiel d'affectation de Saint-Livres - Village (RPPA) de 2001.
Le 4 décembre 2018, la commune de Saint-Livres a déposé une demande de permis de construire tendant à la démolition des bâtiments ECA n°s 199, 201 et 202, à la démolition partielle du bâtiment ECA n° 203 et à la construction d'un bâtiment de l'administration communale, d'une salle du Conseil, de 4 logements et d'un parking souterrain. Le projet, qui nécessitait une dérogation s'agissant des bâtiments à conserver, a suscité l'opposition de A._, propriétaire de la parcelle n° 134 jouxtant au sud-est le n° 132.
La synthèse du 13 mars 2019 de la Centrale des autorisations CAMAC faisait notamment état d'un préavis négatif de la Direction générale des immeubles et du patrimoine, Section monuments et sites (DGIP-MS) : le bâtiment scolaire (ECA n° 202) était protégé au sens de la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS; RS/VD 450.11); les trois immeubles dont la démolition était prévue étaient protégés en tant que bâtiments à conserver selon le RPPA, et Saint-Livres était identifié comme un village d'intérêt national dans l'Inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ISOS). La DGIP-MS se réservait le droit de recourir contre la délivrance du permis de construire ou de prendre les mesures conservatoires prévues par les articles 47 et 48 LPNMS.
B.
Par décision du 4 juin 2019, la Municipalité de Saint-Livres a levé l'opposition et délivré le permis de construire, considérant en substance que l'octroi d'une dérogation se justifiait: le projet respectait les gabarits actuels et s'intégrait dans le bâti existant, la démolition-reconstruction permettait une optimisation de la surface à bâtir; les constructions existantes étaient vétustes et hétéroclites et seule l'implantation du bâtiment ECA n° 202 (bâtiment scolaire), reprise par le projet, justifiait la mention à l'ISOS.
C.
Par arrêt du 3 juillet 2020, la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP) a admis le recours formé par A._ et a annulé la décision municipale du 4 juin 2019. Les parcelles concernées figuraient à l'ISOS avec un objectif de sauvegarde de la substance des immeubles. Selon le recensement architectural du canton de Vaud, le bâtiment scolaire ECA n° 202 avait reçu la note 3 (protection générale sans mise à l'inventaire ni mesures conservatoires); les bâtiments ECA n° s 199 et 201 avaient reçu la note 4 (objets bien intégrés). Selon l'art. 7 RPPA, les bâtiments situés dans la "zone de bâtiments à conserver" devaient être entretenus et maintenus en tant que tels. Une dérogation supposait des motifs d'intérêt public et des circonstances objectives. Au contraire de l'immeuble ECA n° 199 (en état de délabrement), rien ne permettait de penser qu'une rénovation du bâtiment scolaire et de l'habitation ne soit pas rentable. Les besoins de la commune en locaux administratifs étaient incontestables, mais des solutions alternatives (comme le maintien de l'occupation actuelle du bâtiment ECA n° 204 et une utilisation des bâtiments ECA n° s 202 et/ou 201 après rénovation, voire l'utilisation d'autres bâtiments dont la commune disposait à proximité) n'avaient pas été examinées. La dérogation ne reposait donc pas sur des motifs suffisants.
D.
Agissant par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, la commune de Saint-Livres demande au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que le recours de A._ est rejeté, la décision du 4 juin 2019 étant confirmée.
La cour cantonale se réfère à son arrêt. La DGIP se réfère à ses écritures produites en instance cantonale. A._ conclut au rejet du recours en matière de droit public dans la mesure où il est recevable, et à l'irrecevabilité du recours constitutionnel subsidiaire. Invité à se déterminer, l'Office fédéral de la culture (OFC) se prononce dans le sens de l'arrêt attaqué. La commune recourante et A._ ont ensuite persisté dans leurs conclusions.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. La commune recourante, qui fait valoir une violation de l'autonomie dont elle bénéficie en matière d'aménagement du territoire et en droit des constructions, a qualité pour agir en vertu de l'art. 89 al. 2 let. c LTF. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
La recevabilité du recours en matière de droit public entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
2.
La commune recourante invoque d'une part son autonomie et, d'autre part, la garantie de la propriété. Elle estime que la "zone de bâtiments à protéger" au sens de l'art. 6 RPPA tendrait à la conservation non pas des bâtiments eux-mêmes, mais de leurs caractéristiques qui contribuent à la valeur patrimoniale du bourg, soit la structure du bâti et les gabarits. La faible valeur intrinsèque des bâtiments serait confirmée par la mention à l'ISOS et par le recensement cantonal, l'intérêt du site résidant dans la structure du village. Les intérêts privés de la constructrice auraient été largement sous-estimés: La configuration des immeubles et leur état de vétusté rendraient très difficile un réaménagement rationnel; seule une refonte totale permettrait d'augmenter la surface brute de plancher de 498 m2 à 848 m2 et la surface de logements de 270 à 464 m2, conformément aux objectifs de densification du centre. Le projet correspondrait à un intérêt public important (création de locaux pour l'administration et de logements) et on ne saurait imposer à la commune d'envisager des alternatives dès lors que le projet est en soi admissible. L'octroi de la dérogation serait ainsi justifié. La cour cantonale aurait substitué son appréciation à celle de la commune, sans respecter la marge de manoeuvre dont celle-ci bénéficie en matière d'esthétique et de circonstances locales.
2.1. Lorsque, statuant sur une demande d'autorisation de construire, l'autorité communale interprète son règlement en matière de constructions et apprécie les circonstances locales, elle bénéficie d'une liberté d'appréciation particulière, que l'instance cantonale de recours contrôle avec retenue (cf. art. 3 al. 2 LAT; arrêts 1C_104/2020 du 23 septembre 2020 consid. 2.2; 1C_279/2019 du 9 avril 2020 consid. 2.1.3). Une autorité de recours ne peut ainsi pas choisir entre plusieurs solutions disponibles et appropriées ou remplacer une appréciation adéquate de la commune par sa propre appréciation (AEMISEGGER/HAAG, in Commentaire pratique LAT: Autorisations de construire, protection juridique et procédure, 2020, n° 84 ad art. 33 LAT). Elle ne doit cependant pas seulement intervenir lorsque l'appréciation de l'instance précédente est insoutenable, auquel cas l'étendue de son pouvoir d'examen s'apparenterait à un contrôle limité à l'arbitraire, ce qui serait contraire à l'art. 33 al. 3 let. b LAT (<ref-ruling> consid. 3.6 p. 58). Conformément aux art. 46 et 49 Cst., l'autorité de recours doit en particulier sanctionner l'appréciation communale lorsque celle-ci contrevient au droit supérieur, viole les principes constitutionnels d'égalité de traitement et de proportionnalité ou encore apparaît objectivement insoutenable - et partant arbitraire (<ref-ruling> consid. 3.6; <ref-ruling> consid. 1.4.3; arrêts 1C_279/2019 du 9 avril 2020 consid. 2.1; 1C_450/2018 du 11 décembre 2019 consid. 3.1.3). Sur des éléments susceptibles de heurter le droit supérieur, il appartient à la commune de motiver soigneusement sa décision (arrêts 1C_540/2016 du 25 août 2017 consid. 2.2, in JdT 2017 I p. 303; 1C_450/2018 du 11 décembre 2019 consid. 3.1.3; 1C_641/2018 du 23 septembre 2019 consid. 3.1.3). Le contrôle de l'opportunité s'exerce donc avec retenue sur des points concernant principalement des intérêts locaux, tandis que, au contraire, la prise en considération adéquate d'intérêts d'ordre supérieur, dont la sauvegarde incombe au canton, doit être imposée par un contrôle strict. L'autorité intervient ainsi non seulement lorsque la mesure d'aménagement retenue par la commune est insoutenable, mais aussi lorsqu'elle paraît inappropriée à des intérêts qui dépassent la sphère communale (<ref-ruling> consid. 3.6 p. 58 s.; AEMISEGGER/HAAG, loc. cit.).
Le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal (<ref-law>). Il examine en revanche sous l'angle restreint de l'arbitraire l'interprétation et l'application des autres règles du droit cantonal ou communal (<ref-ruling> consid. 5.4). Il contrôle librement si l'autorité judiciaire a respecté la latitude de jugement découlant de l'autonomie communale (<ref-ruling> consid. 3.1).
2.2. Le plan partiel d'affectation de Saint-Livres - Village et son RPPA de 2001 distinguent les zones de bâtiments classés, de bâtiments à conserver, de bâtiments de valeur en ordre compact et en ordre dispersé, de bâtiments pouvant être remplacés et de bâtiments disparates ainsi que de bâtiments nouveaux. Les bâtiments à conserver sont, selon l'art. 7 RPPA, entretenus et maintenus dans leur volume. Une légère modification de volume peut être admise par la Municipalité si elle s'intègre dans le contexte architectural. Les ajouts gênants peuvent être supprimés. L'art. 8 RPPA prévoit que, outre les transformations intérieures, certaines transformations concernant les façades et les toitures peuvent être autorisées. En cas de destruction accidentelle, les bâtiments peuvent être reconstruits dans leurs gabarits actuels. A défaut de reconstruction dans ces gabarits, la reconstruction est soumise à l'adoption préalable d'un plan de quartier, d'un plan partiel d'affectation ou d'un plan directeur localisé (art. 9 RPPA).
2.3. La fiche ISOS consacrée à Saint-Livres décrit le centre du village comme une structure villageoise très dense développée dès 1453-57, avec des fermes concentrées de deux à trois niveaux datant des 18èmeet 19ème siècles. Un objectif de sauvegarde A lui est attribué, impliquant la sauvegarde de la substance et préconisant l'interdiction de démolitions et de constructions nouvelles. Dans ce secteur est notamment mentionnée l'école primaire, "modeste bâtiment de deux niveaux avec bandeau, couvert d'un toit à bâtière", datant de 1843. Le même bâtiment a reçu, dans le recensement architectural du canton de Vaud, la note de 3 (objet d'intérêt local méritant d'être conservé), alors que les deux autres bâtiments ont reçu la note de 4. Selon la jurisprudence cantonale, la note 4 a un caractère purement indicatif et informatif. Elle ne constitue pas une mesure de protection mais est en revanche un élément d'appréciation important pour les autorités chargées de l'aménagement du territoire, notamment dans la procédure de permis de construire, lorsque ces autorités appliquent les règles concernant l'intégration et l'esthétique des constructions (cf. arrêt 1C_104/2020 du 23 septembre 2020 consid. 2.6).
2.4. La portée de l'ISOS, respectivement du recensement architectural cantonal, a été rappelée dans l'arrêt attaqué, et n'est pas contestée par la recourante. Elle n'est au demeurant pas déterminante en l'occurrence: le droit communal prévoit en effet clairement que, dans la zone de bâtiments à conserver, les bâtiments sont entretenus et maintenus dans leur volume (art. 7 RPPA). Les transformations ne sont admises que de façon restrictive (art. 8 RPPA) et une reconstruction n'est envisagée qu'en cas de destruction accidentelle (art. 9 RPPA). Il en résulte clairement qu'une démolition-reconstruction n'est par principe pas admissible dans le secteur en question et que les bâtiments, quel que soit leur intérêt historique, esthétique ou architectural, doivent être prioritairement entretenus. La position défendue par la commune recourante (possibilité de reconstruire en respectant les gabarits actuels) se heurte ainsi à la dénomination de la zone elle-même ("zone de bâtiments à conserver"), au texte de l'art. 7 RPPA et à la systématique du règlement qui énumère les différentes zones dans un ordre décroissant de protection: la zone en question fait immédiatement suite à la zone de bâtiments classés (protégés par la LPNMS), et précède les zones de bâtiments de valeur dans lesquelles les bâtiments sont en principe maintenus. En réalité, c'est le régime de cette dernière zone (qui permet exceptionnellement des démolitions-reconstructions pour autant que l'intégration et le maintien des gabarits soit assurés - art. 15 RPPA) que la commune recourante voudrait voir, à tort, appliquer à ses parcelles. L'interprétation de la cour cantonale sur ce point est donc non seulement dépourvue d'arbitraire, mais aussi conforme à la réglementation applicable, au contraire de celle de la recourante. Il n'y a dès lors aucune violation de l'autonomie communale.
3.
La cour cantonale a ensuite considéré que même si le texte du règlement ne le prévoyait pas, une dérogation pouvait être accordée sur la base des art. 84 al. 1 du Règlement communal sur le plan général d'affectation et la police des constructions de Saint-Livres (RPGA) et 85 al. 1 de la loi vaudoise du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS VD 700.11), pour autant que des motifs d'intérêt public ou des circonstances objectives le justifient. La recourante fait à cet égard valoir ses intérêts privés ainsi que l'intérêt public à pouvoir mettre en valeur ses fonds. Elle estime que le Tribunal cantonal n'aurait pas tenu compte de la vétusté des bâtiments, qui empêchait des solutions alternatives impliquant leur rénovation.
3.1. Selon la jurisprudence, les dispositions dérogatoires ne doivent pas nécessairement être interprétées de manière restrictive, mais selon les méthodes d'interprétation ordinaires. Une dérogation importante peut ainsi se révéler indispensable pour éviter les effets rigoureux de la réglementation ordinaire. En tous les cas, la dérogation doit servir la loi ou, à tout le moins, les objectifs recherchés par celle-ci: l'autorisation exceptionnelle doit permettre d'adopter une solution reflétant l'intention présumée du législateur s'il avait été confronté au cas particulier. L'octroi d'une dérogation suppose une situation exceptionnelle et ne saurait devenir la règle, à défaut de quoi l'autorité compétente pour délivrer des permis de construire se substituerait au législateur cantonal ou communal par le biais de sa pratique dérogatoire. Il implique une pesée entre les intérêts publics et privés de tiers au respect des dispositions dont il s'agirait de s'écarter et les intérêts du propriétaire privé à l'octroi d'une dérogation. Des raisons purement économiques ou l'intention d'obtenir une utilisation optimale du terrain ne suffisent pas à elles seules pour justifier une dérogation (cf. arrêts 1C_104/2020 du 23 septembre 2020 consid. 3.2; 1C_603/2018 du 13 janvier 2020 consid. 4.3; 1C_279/2018 du 17 décembre 2018 consid. 4.1.3 et les références).
3.2. L'intérêt de la commune recourante à pouvoir développer son projet visant à créer des locaux suffisants pour l'administration ainsi que des logements au centre du village, apparaît certes indéniable et a d'ailleurs été reconnu par la cour cantonale. Toutefois, la protection voulue par la réglementation communale est en l'espèce particulièrement stricte: au contraire d'autres dispositions du règlement qui prévoient des exceptions pour les démolitions-reconstructions (art. 11 al. 2 RPPA concernant les constructions dans les surfaces de prolongement de la même zone, art. 15 et 23 RPPA concernant les zones de bâtiments de valeur), l'art. 7 RPPA n'en prévoit aucune. La recourante ne saurait dans ces circonstances se prévaloir de la garantie de la propriété pour affirmer qu'elle disposerait d'un droit à déterminer librement le sort de ses parcelles. La cour cantonale n'a d'ailleurs pas exclu toute réalisation par le biais d'une rénovation des bâtiments ECA n°s 201 et 202, tout en conservant une partie des locaux de l'administration dans le bâtiment actuel ECA n° 204. Elle a également évoqué l'utilisation d'autres bâtiments propriétés de la commune, notamment ECA n° 331 situé à une vingtaine de mètres du projet et affecté en "zone de bâtiments disparates", soit une une zone où les constructions sont susceptibles d'être transformées voire agrandies. Force est d'admettre que ces possibilités n'ont pas été examinées par la commune et que celle-ci ne prétend pas que ces alternatives seraient irréalisables. Dans ces conditions, le refus d'accorder une dérogation n'apparaît pas non plus critiquable et ne constitue pas une atteinte disproportionnée à la garantie de la propriété.
4.
Sur le vu de ce qui précède, le recours constitutionnel subsidiaire est irrecevable et le recours en matière de droit public est rejeté. La commune de Saint-Livres agit certes comme propriétaire des parcelles, mais son projet - la construction de bâtiments destinés notamment à l'administration communale - tend en tout cas en partie à l'accomplissement d'une tâche d'intérêt public. Dès lors, conformément à l'<ref-law> il n'est pas perçu de frais judiciaires. L'intimé A._, qui agit par l'entremise d'un mandataire professionnel, a droit à des dépens, à la charge de la commune (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Une indemnité de dépens de 3'000 fr. est allouée à l'intimé A._, à la charge de la recourante.
4.
Il n'est pas perçu de frais judiciaires.
5.
Le présent arrêt est communiqué aux mandataires des parties, à la Direction générale des immeubles et du patrimoine du canton de Vaud, Direction de l'archéologie et du patrimoine, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral de la culture.
Lausanne, le 5 juillet 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Kurz