Faits :
A.
L._ est propriétaire des parcelles nos 129 et 394 du cadastre de la commune de Lignerolle, colloquées en zone de village au sens de l'art. 2 du règlement communal sur le plan d'affectation et la police des constructions adopté par le Conseil communal le 22 novembre 1994 et approuvé par le Conseil d'Etat le 5 décembre 1995 (RPAPC).
Le 9 décembre 2016, L._ a déposé une demande de permis de construire pour la création de deux immeubles locatifs de six appartements avec 17 places de parc extérieures sur ces deux parcelles. Le projet nécessite la démolition des deux bâtiments existants sur chacune des parcelles et l'octroi d'une dérogation à l'art. 74 RPAPC (relatif à la limite des constructions) pour les places de parc. Plusieurs propriétaires de parcelles voisines ou proches, dont A.A._ et B.A._, B._, C._ et D._, E._, F._, G._, H._, I._ et J._, ainsi que K._ ont formé opposition au projet. A teneur de la synthèse de la Centrale vaudoise des autorisations en matière de constructions (CAMAC), les services cantonaux consultés ont délivré les autorisations spéciales requises assorties de conditions impératives à l'exception du Service immeuble, patrimoine et logistique (SIPAL), Section monuments et sites, qui a formé opposition au projet.
Le 6 novembre 2017, L._ a déposé une demande de mise à l'enquête complémentaire portant sur diverses modifications des aménagements extérieurs. Plusieurs propriétaires de parcelles voisines ou proches, dont la plupart des susnommés ont formé opposition au projet. A teneur de la synthèse CAMAC, les services cantonaux consultés ont délivré les autorisations spéciales requises assorties de conditions impératives et le SIPAL a émis un préavis négatif.
B.
B.a. Par décision du 17 novembre 2017, la Municipalité de Lignerolle a délivré le permis de construire sollicité le 9 décembre 2016, sous certaines conditions. Le permis précise être "dépendant du résultat de l'enquête complémentaire".
Par décisions séparées du 17 novembre également, la municipalité a levé les oppositions.
Les propriétaires voisins ayant formé opposition ont recouru à la Cour de droit administratif et public (CDAP) du Tribunal cantonal.
B.b. Par décision du 5 février 2018, la Municipalité de Lignerolle a délivré le permis de construire sollicité le 6 novembre 2017 sous certaines conditions.
Par décisions séparées du 6 février 2018, la municipalité a levé les oppositions.
Les propriétaires voisins ayant formé opposition ont recouru à la CDAP qui a joint les deux causes.
B.c. Statuant par arrêt du 9 janvier 2019 après avoir notamment tenu une audience avec inspection locale, la CDAP a très partiellement admis les recours, modifiant les permis de construire en ce sens que "les terrasses (ou couverts à voitures) sont réduites à la dimension des balcons des étages supérieurs qui les surplombent, sans appui au sol". Elle a confirmé les décisions attaquées pour le surplus.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._, B._, C._ et D._, E._, F._, G._, H._, I._ et J._, ainsi que K._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que les autorisations de construire sont annulées. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué.
La cour cantonale renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. La Municipalité de Lignerolle dépose des observations et conclut au rejet du recours. La Direction générale des immeubles et du patrimoine se réfère aux écritures que le SIPAL a adressées à la cour cantonale. L'intimé ne se manifeste pas.
Consulté, l'Office fédéral de la culture (OFC) se détermine, considérant en substance que la décision attaquée apparaît arbitraire, dès lors qu'elle se baserait sur une identification et une appréciation incomplète des intérêts en jeu.
Les recourants et la commune s'expriment dans un second échange d'écritures et confirment leurs conclusions. La commune se détermine une dernière fois sans que cela n'appelle de nouvelles observations des recourants.
Par ordonnance du 5 mars 2019, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif déposée par les recourants.

Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Les recourants, propriétaires de parcelles voisines ou sises en vis-à-vis du projet litigieux, sont particulièrement touchés par l'arrêt attaqué qui confirme l'octroi de l'autorisation de construire; ils ont un intérêt digne de protection à l'annulation ou la modification de l'arrêt cantonal.
Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants se plaignent d'un établissement incomplet des faits, dès lors que l'arrêt attaqué ne mentionnerait pas divers éléments du dossier essentiels à la résolution du litige, à savoir: la teneur de l'opposition au projet principal et du préavis négatif au projet complémentaire émis par le SIPAL, les constatations faites lors de l'inspection locale judiciaire par le Conservateur cantonal des monuments historiques s'agissant de l'ancienne cave à fromage vouée à démolition selon le projet, ainsi que la teneur du recensement de l'inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ISOS) concernant le village de Lignerolle.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire (<ref-ruling> consid. 1.3 p. 30; <ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 10.1 p. 445).
2.2. Vu le sort du recours, les éléments de fait ayant trait au traitement architectural du projet litigieux n'ont pas à être examinés dans le détail. Quant à la teneur du recensement ISOS, elle sera reprise dans la mesure utile ci-dessous.
3.
Les recourants font valoir une violation de l'art. 21 al. 2 LAT (RS 700) au motif que la cour cantonale aurait renoncé à faire un contrôle incident de la planification communale.
3.1.
3.1.1. Selon la jurisprudence, le contrôle incident ou préjudiciel d'un plan d'affectation dans le cadre d'une procédure relative à un acte d'application est en principe exclu. Un tel contrôle est néanmoins admis, à titre exceptionnel, lorsque les conditions d'un réexamen des plans au sens notamment de l'art. 21 al. 2 LAT sont réunies (cf. <ref-ruling> consid. 12c p. 346). Aux termes de l'art. 21 al. 2 LAT, lorsque les circonstances se sont sensiblement modifiées, les plans d'affectation feront l'objet des adaptations nécessaires; une modification sensible des circonstances au sens de l'art. 21 al. 2 LAT peut être purement factuelle, mais également d'ordre juridique, comme une modification législative (cf. <ref-ruling> consid. 5.1 p. 44 s. et les références citées; <ref-ruling> consid. 6b p. 105).
L'art. 21 al. 2 LAT prévoit un examen en deux étapes: la première déterminera si les circonstances se sont sensiblement modifiées au point de justifier un réexamen du plan: si le besoin s'en fait réellement sentir, il sera adapté, dans une deuxième étape (cf. <ref-ruling> consid. 5.1 p. 44 s.; <ref-ruling> consid. 3 p. 29; arrêts 1C_40/2016 du 5 octobre 2016 consid. 3.1; 1C_307/2014 du 7 avril 2015 consid. 3.1).
3.1.2. Conformément à l'art. 5 al. 1 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451) qui donne mandat au Conseil fédéral en ce sens, l'ordonnance du 9 septembre 1981 concernant l'Inventaire fédéral des sites construits à protéger en Suisse (OISOS; RS 451.12) recense les sites construits d'importance nationale. Lignerolle y est référencé sous objet VD 4623 en tant que village. Les inventaires fédéraux sont assimilés matériellement à des conceptions et à des plans sectoriels au sens de l'art. 13 al. 1 LAT. Dans le cadre de leur obligation générale de planifier de l'art. 2 LAT, les cantons doivent tenir compte, dans leur planification directrice, de ces inventaires en tant que forme spéciale des conceptions et plans sectoriels de la Confédération (art. 6 al. 4 LAT). En raison de la force obligatoire des plans directeurs pour les autorités (art. 9 LAT), les conditions de protection figurant dans les inventaires fédéraux se retrouvent dans les plans d'affectation (art. 14 ss LAT). En principe, l'inventaire ISOS doit ainsi être transcrit dans les plans directeurs cantonaux, puis dans la planification locale au moyen des instruments prévus à l'art. 17 LAT. Ces mesures lient ainsi non seulement les autorités dans l'exécution de leurs tâches, mais également les particuliers (<ref-ruling> consid. 2.1 p. 213; arrêts 1C_276/2015 du 29 avril 2016 consid. 3.1; 1C_545/2014 du 22 mai 2015 consid. 5.3; 1C_130/2014 du 6 janvier 2015 consid. 3.2).
Selon l'<ref-law>, l'inscription d'un objet d'importance nationale dans un inventaire fédéral indique que l'objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible, y compris au moyen de mesures de reconstitution ou de remplacement adéquates. L'inventaire ISOS doit être pris en considération dans la pesée des intérêts de chaque cas d'espèce - y compris lors de l'accomplissement de tâches purement cantonales et communales -, en tant que manifestation d'un intérêt fédéral (THIERRY LARGEY, La protection du patrimoine in RDAF 2012 p. 295). Une atteinte demeure possible lorsqu'elle n'altère pas l'identité de l'objet protégé ni le but assigné à sa protection; celui-ci découle du contenu de la protection mentionné dans l'inventaire et les fiches qui l'accompagnent (arrêt 1C_276/2015 du 29 avril 2016 consid. 3.1; LARGEY, op. cit., p. 292; LEIMBACHER, Commentaire LPN ad <ref-law> n° 5 ss).
3.2. La cour cantonale a considéré qu'il n'y avait pas cumul de circonstances de nature à imposer un contrôle incident du plan: le secteur litigieux n'était pas situé dans une zone à bâtir "incongrue" et le plan n'était pas si ancien. La CDAP a certes constaté que le village de Lignerolle avait été inscrit à l'ISOS postérieurement à la planification communale, mais sans retenir cette circonstance.
La cour cantonale s'est pour l'essentiel fondée sur une comparaison avec l'arrêt 1C_308/2017 du 4 juillet 2018 (Concise/VD). Dans cet arrêt, un contrôle incident du plan a été jugé nécessaire pour une parcelle en nature de vigne dans une zone constructible isolée, mais déjà partiellement bâtie, affectée à de l'activité industrielle. Le plan datait de 1980 et le village de Concise avait dans l'intervalle été inscrit à l'ISOS.
Il est vrai que dans le cas présent, le plan n'est pas aussi ancien. Il n'en demeure pas moins qu'il a 25 ans (déjà plus de 20 ans au moment de la demande de permis de construire en 2016), ce qui dépasse largement l'horizon habituel de planification de quinze ans. Les deux parcelles concernées sont certes situées au centre du village, mais leur caractère non construit est précisément la composante du site mise en avant par l'ISOS. Celui-ci définit en effet l'intérêt du site comme suit: "Emprise du tissu de l'agglomération agricole, bâti dense et faiblement organisé s'échelonnant, 18e -20e s., articulé par un espace vert intérieur agrémenté de vergers". La présence de cet espace vert est donc une caractéristique essentielle du site. Un objectif de sauvegarde maximum est attribué (lettre A: "Sauvegarde de la substance") et tant la qualité spatiale, que la qualité historico-architecturale et la signification du site sont considérées comme prépondérantes à teneur de la fiche ISOS. Aussi, toute délivrance d'autorisation de construire altérera inévitablement les caractéristiques du site. La cour cantonale l'a du reste constaté dans le cadre de l'appréciation de l'esthétique du projet, relevant que "le projet litigieux ne conserv[ait] pas intégralement la poche verte centrale servant d'articulation, constituée notamment des parcelles en cause". A cela s'ajoute que la zone à bâtir de Lignerolle est surdimensionnée et doit être réduite, ce que la commune confirme, quand bien même cet aspect n'est peut-être pas décisif (cf. ci-dessous).
Ces différents éléments justifient un examen incident du plan d'affectation au sens de l'art. 21 al. 2 LAT. L'argumentation de la commune intimée, qui met en avant l'intérêt du propriétaire à construire en conformité avec la réglementation en vigueur, met en lumière le problème de l'absence de contrôle incident du plan adopté avant l'ISOS. Il en va de même de l'argument de cette autorité quant à la portée limitée de l'ISOS dans la procédure d'autorisation de construire à l'inverse de la procédure de planification.
La conséquence de cet examen incident, soit la seconde étape (cf. consid. 3.1.1 ci-dessus), ne saurait toutefois être définie par le Tribunal fédéral. Il appartient en l'état en effet aux premiers juges de déterminer, cas échéant de concert avec le SIPAL, voire l'OFC (ni l'un ni l'autre n'ayant pris position sur l'impact concret que devrait avoir l'ISOS sur le projet selon eux), s'il doit en découler une constructibilité réduite, voire une inconstructibilité, ou si plus simplement les règles d'urbanisme doivent être adaptées aux objectifs de protection de l'ISOS. Dans ce contexte, devront être pris en considération tous les facteurs de nature à définir l'utilisation mesurée du sol, comme notamment le principe de densification, mais également le caractère apparemment surdimensionné de la zone constructible de la commune de Lignerolle.
En définitive, dans les circonstances exposées ci-dessus, le permis de construire ne peut être délivré sans un examen préalable incident de la planification en vigueur, de sorte que l'arrêt attaqué doit être annulé pour ce motif.
4.
Sur le plan procédural, les recourants font valoir que la Commission fédérale des monuments historiques devrait être saisie conformément à l'<ref-law>. Selon cette disposition, si l'accomplissement d'une tâche fédérale peut altérer sensiblement un objet inventorié ou soulève des questions de fond, la commission consultative fédérale spécialisée établit une expertise à l'intention de l'autorité de décision; cette expertise indique si l'objet doit être conservé intact ou de quelle manière il doit être ménagé.
En l'espèce, conformément à ce qui a été dit ci-dessus, la procédure d'examen préjudiciel du plan peut conduire à revoir les règles d'urbanisme ou les possibilités de construire des parcelles en cause. A supposer que, dans cette seconde hypothèse, les parcelles doivent être rendues non-constructibles - ce qui équivaudrait à un déclassement - il n'y aura aucune altération de l'objet inscrit à l'inventaire au sens de l'<ref-law>, les caractéristiques relevées par l'ISOS étant conservées intactes. Cette disposition ne sera ainsi pas applicable. A l'inverse, si l'examen préjudiciel du plan doit conduire au maintien des terrains en cause en zone à bâtir, la procédure est un cas ordinaire de construction en zone à bâtir dont il est constant qu'il ne s'agit pas d'une tâche fédérale au sens de la LPN. En dépit d'une éventuelle atteinte à l'objet ISOS qui découlerait du projet de construction, aucune base légale n'imposerait le recours à une expertise de la commission fédérale spécialisée.
Le grief doit par conséquent être rejeté.
5.
Dans un grief que les recourants font valoir à titre subsidiaire, ceux-ci dénoncent une violation de dispositions de la LAT ainsi qu'une application arbitraire du droit cantonal et communal, en raison de l'appréciation portée sur l'intégration du projet au site. Vu le renvoi de la cause pour examen préjudiciel de la planification communale en vigueur, il n'y a pas lieu de se pencher sur ces questions.
6.
Il résulte de ce qui précède que le recours est admis, aux frais de l'intimé, qui succombe (<ref-law>). Celui-ci versera en outre des dépens aux recourants, qui obtiennent gain de cause avec l'aide d'un avocat. La cause est renvoyée à la cour cantonale pour nouvel examen de la situation dans le sens des considérants.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé. La cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud pour nouvelle décision dans le sens des considérants.
2.
Les frais de justice, arrêtés à 4'000 fr., sont mis à la charge de l'intimé.
3.
Une indemnité de dépens de 3'000 fr. est accordée aux recourants à la charge de l'intimé.
4.
Le présent arrêt est communiqué aux parties, à la Municipalité de Lignerolle, à la Direction générale des immeubles et du patrimoine et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral de la culture.
Lausanne, le 11 juin 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Sidi-Ali