Faits :
A.
A.a. Situé entre l'ancienne ville de Nyon et le bord du lac Léman, le lieu dit "Bourg de Rive" est constitué de grandes plages de verdure disposées en majeure partie en pente, sur lesquelles sont situés quelques bâtiments anciens. Le plan général d'affectation (PGA) de la commune de Nyon, entré en vigueur en 1984, classe ce secteur en partie en "zone urbaine de l'ancienne ville", en partie en "zone de construction d'utilité publique", et pour le reste en "zone de verdure", caractérisée par l'interdiction de bâtir. Le secteur de Bourg de Rive a par la suite fait l'objet d'un plan partiel d'affectation, intitulé "plan partiel d'affectation Bourg de Rive" (ci-après: PPA Bourg de Rive), qui a été adopté par le Conseil communal le 29 janvier 1996 et est entré en vigueur le 4 mars 1997 après son approbation par le Département compétent.
Régie par ce PPA, les parcelles nos 414, 419 et 563 sont propriété de la commune de Nyon. D'une surface de 15'143 m2, la parcelle n° 414, est située à l'extrémité sud-ouest du périmètre du PPA; elle est occupée dans sa quasi totalité par le parc public Bourg de Rive, affecté en zone de verdure, excepté dans sa partie nord-est, où est sis le Musée du Léman, affecté en zone d'extension de la zone de verdure; le Musée du Léman est constitué d'un bâtiment principal de 790 m2, qui est un ancien hôpital érigé en 1756, et de trois petits bâtiments (un ancien local de désinfection, une ancienne maison d'habitation et un ancien pavillon d'isolement). D'une surface de 3'348 m2, la parcelle n° 563, située au nord-est de la parcelle n° 414, supporte un autre parc public; elle est colloquée en zone d'extension de la zone de verdure par le PPA Bourg de Rive. Elle supporte deux très petits bâtiments: l'un aménagé en toilettes publiques et l'autre en petite dépendance. Située au nord-est de cette parcelle, la parcelle n° 419 est occupée par le parking souterrain de la Duche, qui est recouvert d'un parc public; elle est colloquée en zone d'extension de la zone de verdure par le PPA Bourg de Rive.
D'une surface de 1'375 m2 et supportant une maison, la parcelle n° 418, située entre la parcelle n° 563 et la parcelle n° 419 et également régie par le PPA Bourg de Rive qui l'affecte en zone d'extension de la zone de verdure, est propriété de A.A._ et B.A._.
A.b. En 2014, un concours d'architecture a été organisé par la municipalité de Nyon en vue de l'agrandissement du Musée du Léman et du réaménagement des espaces existants. Le lauréat en a été le projet "Noviodunum" du bureau d'architectes C._ SA. Le projet consiste en un vaste bâtiment, qui prend place dans la partie nord-est de la parcelle n° 414 et sur la parcelle n° 563, autour de l'actuel bâtiment principal du musée (dont la partie est doit être démolie). La toiture (plate) du projet, végétalisée, est accessible au public. Outre la destruction de la partie est du bâtiment principal, le projet implique la destruction complète des trois bâtiments annexes. Est également prévue la création d'un jardin aquatique. Le total des nouvelles surfaces construites s'élève à 5'468 m2 (3'646 m2 pour le nouveau bâtiment, 1'464 m2 de constructions souterraines et 358 m2 de jardin aquatique).
Le projet étant incompatible avec le périmètre de nouvelles constructions prévu par le PPA Bourg de Rive - limité à une surface rectangulaire de 1'634 m2 sur la parcelle n° 414 -, la municipalité a élaboré un plan de quartier intitulé "Plan de quartier Musée du Léman" afin de modifier l'affectation du secteur. Le périmètre du plan de quartier, qui comprend uniquement la partie nord-est de la parcelle no 414 et l'entier de la parcelle n° 563, est délimité au nord par la muraille de la vieille ville, au sud par la route cantonale qui longe le bord du lac, à l'ouest par la limite est de l'îlot central du parc public Bourg de Rive, et à l'est par la limite parcellaire avec le bien-fonds n° 418 marquée par une haie d'arbres et d'arbustes. Le plan de quartier affecte toute la surface concernée (soit un total de 11'071 m2, actuellement colloquées en zone d'extension de la zone de verdure par le RPPA Bourg de Rive) en zones d'installations (para-) publiques.
Soumis à enquête publique, le projet a fait l'objet d'une opposition formée par A.A._ et B.A._.
B.
Lors de sa séance du 4 septembre 2017, le Conseil communal de Nyon a levé l'opposition et adopté le plan de quartier.
Par décision du 7 décembre 2017, le Département vaudois du territoire et de l'environnement (DTE) a approuvé préalablement, sous réserve des droits des tiers, le plan de quartier Musée du Léman.
Saisie d'un recours des opposants, la Cour de droit administratif et public du Tribunal cantonal (CDAP), après avoir notamment procédé à une visite des lieux, a confirmé cette décision par arrêt du 8 mars 2019.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que le plan de quartier est refusé. Subsidiairement, ils concluent à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision après complément d'instruction dans le sens des considérants, notamment l'examen de la reprise des exigences de l'ISOS dans la réglementation du plan de quartier ainsi que la soumission de celui-ci à une expertise d'une des commissions fédérales prévues à l'art. 7 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451).
La cour cantonale renonce à se déterminer sur le recours et se réfère aux considérants de son arrêt. La Commune de Nyon et le Service cantonal du développement territorial (SDT) se déterminent et concluent au rejet du recours. Consultés, l'Office fédéral du développement territorial (ARE) renonce à se déterminer et l'Office fédéral de la culture (OFC) considère que l'ISOS a été ignoré au point que la décision attaquée se base sur une identification incomplète des intérêts en jeu. Les parties, autorités intimées et concernées se déterminent dans de nouveaux échanges d'écritures et persistent dans leurs conclusions.
Par ordonnance du 9 mai 2019, le Président de la Ire Cour de droit public a rejeté la demande d'effet suspensif déposée par les recourants.
Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause relevant de l'aménagement du territoire (art. 82 let. a LTF et 34 al. 1 LAT), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants sont propriétaires d'une parcelle directement adjacente au plan de quartier par deux de ses côtés, de sorte qu'ils sont particulièrement touchés par l'arrêt attaqué qui confirme l'approbation de ce plan; ils ont un intérêt digne de protection à l'annulation ou la modification de l'arrêt cantonal.
Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants requièrent que le Tribunal fédéral procède à une inspection locale et que des gabarits soient posés à cette occasion. Ils exposent qu'il sera ainsi possible de constater sur place l'impact du futur projet et son étendue dans ce site situé en contrebas des murailles et de la ville historique de Nyon. La commune s'est jointe à cette requête.
Le dossier contient de nombreux photomontages du projet. La fiche ISOS comporte en outre plusieurs photographies des lieux. Il est donc ainsi possible de se faire une idée générale de la géographie du projet. Le grief de constatation inexacte des faits (cf. consid. ci-après) que font valoir les recourants est au demeurant sans rapport avec la nature des lieux elle-même.
Vu, au demeurant, le sort réservé à la cause, une inspection des lieux par le Tribunal fédéral, autorité de contrôle du droit et non du fait, ne s'impose pas.
3.
Les recourants se plaignent d'un établissement inexact des faits au motif que l'arrêt attaqué ne mentionnerait pas les exigences formulées par le SDT à deux reprises dans le cadre de l'élaboration du projet, à savoir l'obligation de déclasser de la zone à bâtir une surface équivalente au plan de quartier dès lors que celle-ci deviendrait nouvellement constructible. Ceci découlerait également du rapport fondé sur l'art. 47 OAT, fait qui serait lui aussi omis dans l'arrêt attaqué.
3.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 al. 1 LTF, la partie recourante ne peut critiquer la constatation de faits que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte - en particulier en violation de l'interdiction constitutionnelle de l'arbitraire - et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause.
3.2. Les recourants entendent se fonder sur l'opinion du SDT et des auteurs du rapport 47 OAT pour démontrer que le secteur litigieux n'était jusqu'alors pas constitutif d'une zone à bâtir. Or les opinions exprimées par ces intervenants ne sont pas décisives, le Tribunal fédéral examinant librement cette question qui relève du droit fédéral. S'agissant d'un avis donné à un certain stade de la procédure par l'autorité cantonale compétente en matière d'aménagement du territoire, les recourants ne font en outre pas valoir qu'ils se seraient, en vertu du principe de la bonne foi, fondés sur certaines assurances données pour prendre des dispositions auxquelles ils ne sauraient renoncer sans subir un préjudice significatif. Les éléments dont les recourants déplorent l'omission dans l'arrêt attaqué sont donc sans incidence sur l'issue de la cause, de sorte qu'il n'y a pas lieu de compléter l'état de fait de l'arrêt attaqué en ce sens.
4.
Les recourants font valoir une violation de l'art. 15 al. 4 LAT au motif que la diminution de la zone de verdure au profit d'un terrain constructible ne respecterait pas les conditions légales de création de nouvelles zones à bâtir.
4.1. L'art. 15 al. 4 LAT fixe les conditions auxquelles des terrains peuvent nouvellement être classés en zone à bâtir. Cette disposition est ainsi applicable lorsque les terrains en cause n'appartiennent pas à la zone à bâtir et que la nouvelle affectation relève de la zone constructible au sens de l'art. 15 LAT.
Le droit fédéral ne définit pas en détail ce qu'est une zone à bâtir. De manière générale, le législateur a considéré lors de l'adoption de la LAT que, si l'affectation principale d'une zone permet qu'on y érige régulièrement des constructions qui n'ont rien à voir avec l'exploitation du sol (avant tout avec l'agriculture), ou dont la destination ne nécessite pas qu'elles soient installées en un lieu déterminé, alors on est en présence d'une zone à bâtir (DFJP/OFAT, Etude relative à la loi fédérale sur l'aménagement du territoire,1981, n° 5 ad art. 15 LAT; AEMISEGGER/KISSLING, in Commentaire pratique LAT: Planifier l'affectation, 2016, n° 11 ad art. 15 LAT).
Selon les modèles de géodonnées minimaux pour les plans d'affectation qu'édicte l'ARE en vertu de l'art. 9 de l'ordonnance 21 mai 2008 sur la géoinformation (OGéo; RS 510.620), font partie des zones à bâtir, les zones d'habitation, les zones d'activités économiques, les zones mixtes, les zones affectées à des besoins publics, les zones à bâtir à constructibilité restreinte, les zones touristiques et de loisirs, les zones de transport à l'intérieur des zones à bâtir ainsi que d'autres zones à bâtir (ARE, Modèles de géodonnées minimaux - Domaine des plans d'affectation - Documentation sur les modèles, 2011/2017 p. 21). L'office fédéral classe expressément les zones vertes parmi les zones à bâtir à constructibilité restreinte; il définit en effet celles-ci comme des "zones comprenant des surfaces situées à l'intérieur des zones à bâtir qui doivent rester libres de constructions, à l'exception des bâtiments et installations nécessaires à l'entretien de la zone ou à la réalisation de son but (par exemple "zones vertes" à l'intérieur des zones à bâtir" (ARE, Statistique suisse des zones à bâtir 2017, p. 11). Ces zones concrétisent les buts et principes de l'aménagement du territoire en maintenant une qualité du milieu bâti et des territoires servant au délassement, conformément aux art. 1 al. 2 let. a bis et 3 al. 2 let. d, al. 3 let. b et e LAT. Les zones à constructibilité restreinte peuvent ainsi notamment tendre à protéger les points de vue et l'aspect caractéristique des localités et des monuments (JEANNERAT/MOOR, in Commentaire pratique LAT: Planifier l'affectation, 2016, n° 59 ad art. 14 LAT).
Ces mêmes auteurs soulignent toutefois qu'il n'est pas toujours facile de déterminer si les zones à laisser libre de construction ou à constructibilité restreinte représentent des catégories de zone à bâtir ou des zones de non bâtir (JEANNERAT/MOOR, op. cit., n° 61 ad art. 14 LAT). Pour juger si la zone à laisser libre de construction ou à constructibilité restreinte doit être considérée comme faisant partie de la zone à bâtir, il s'agit de déterminer sa fonction, d'examiner la réglementation et son emplacement par rapport à la zone à bâtir. Les zones à laisser libre de construction ou à constructibilité restreinte sont en tout cas des zones à bâtir si elles sont englobées dans une zone bâtie et servent à ménager des aires de verdure en son sein (JEANNERAT/MOOR, op. cit., n° 61 ad art. 14 LAT).
4.2.
4.2.1. S'agissant de la situation des terrains en cause, le périmètre du PPA actuel est bordé par deux côtés au moins (nord-est et nord-ouest) de zone à bâtir. En sa partie sud-est, il est bordé d'une zone de verdure, qui est en réalité une bande étroite longeant le lac, où se trouve le port de Nyon. La partie sud-ouest est bordée d'une petite zone constructible, elle-même entourée d'une grande zone de verdure et d'une zone de forêt. Des zones constructibles leur succèdent ensuite. En bref, dans cette direction, il n'y a pas de continuité dans les éventuelles zones à bâtir, mais il n'y a pas non plus de limite clairement définie de fin de l'agglomération. Il n'y a ainsi pas lieu de s'écarter de l'appréciation de la cour cantonale - qui s'est rendue sur place -, selon laquelle le plan de quartier litigieux est situé à l'intérieur du périmètre du territoire urbanisé. Les recourants, lorsqu'ils affirment que le secteur est bien indépendant des zones à bâtir, ne font qu'opposer de façon appellatoire leur propre appréciation de la situation à celle de la cour cantonale. Ils exposent se référer en particulier à la vieille ville, en contre-bas et en dehors de laquelle le secteur se situe historiquement. Or il est évident que, ceinte des murailles historiques, la vieille ville se détache de toute autre partie de l'agglomération, de sorte que la séparation entre cette composante urbanistique et les parcelles litigieuses n'est pas décisive pour apprécier leur caractère urbain. Si, comme les recourants l'affirment, ce secteur a pu autrefois faire partie d'un ensemble de vastes plateaux de verdure et agricoles qui ceinturent l'ancienne ville et se prolongent en direction de l'ouest, il n'est pas manifeste, à la lecture des plans et au vu des photos aériennes, que le paysage présente toujours de telles caractéristiques. En effet, ainsi qu'on l'a relevé ci-dessus, les affectations et le paysage à l'ouest du secteur litigieux sont morcelés et ne présentent aucune véritable homogénéité, et il se trouve précisément une zone constructible directement à l'ouest du secteur litigieux.
Sous l'angle de la nature des terrains concernés, la fiche du plan directeur cantonal à laquelle se réfèrent les recourants ne saurait être décisive. Celle-ci définit les critères, en termes de nombre de constructions minimum et d'espace entre les bâtiments, pour qualifier un secteur de territoire largement bâti au sens du droit fédéral. Or il est question ici du cas particulier d'une zone de verdure qui peut être comprise dans la catégorie des "espaces vides" d'un territoire largement bâti, ce que le chiffre 4 de la fiche en cause recommande d'analyser à l'aune de la taille de l'entité urbanisée, de sa situation et de sa relation avec le bâti environnant. Autrement dit, les critères mentionnés par les recourants ne s'appliquent précisément pas en l'espèce. La directive contenue dans cette même fiche, que le SDT met en lumière dans ses déterminations, de considérer un jardin comme du territoire urbanisé semble plus adéquate en l'espèce.
4.2.2. En ce qui concerne la réglementation applicable, selon le PPA en vigueur, la parcelle n° 563 et la majeure partie de la parcelle n° 414 comprise dans le plan de quartier litigieux sont actuellement affectées en zone d'extension de la zone de verdure. Le RPPA ne traite pas expressément de la "zone d'extension de la zone de verdure" dont on ignore ainsi quelle est la définition et le régime. Cela étant, le PPA expose les objectifs qu'il poursuit, dont notamment la mise en oeuvre de la zone réservée instaurée par le canton en vue d'assurer la protection du site caractéristique de l'ancienne ville et de ses dégagements sur l'ancienne muraille de la ville jusqu'à la rue de Rive (il s'agit de la rue sise en aval du périmètre du PPA, parallèle aux murailles et aux quais longeant le lac et marquant le début d'un secteur plus construit) (ch. 1.1 RPPA). Le plan développe la zone de verdure sur l'ensemble du périmètre et n'admet que de faibles possibilités de bâtir (ch. 1.2 RPPA). Le règlement précise que tous les éléments construits qui ont fait l'objet d'arrêtés de classement en monuments historiques ou qui sont portés à l'inventaire ainsi que leurs abords doivent être traités avec le plus grand soin (ch. 2 RPPA). Le périmètre comprend ainsi une douzaine de bâtiments aux tailles, fonctions et répartitions variées, la plupart situés dans la zone d'extension de la zone de verdure. Certains, à l'instar des bâtiments sis à la rue de Rive, dans le prolongement des parcelles litigieuses, sont érigées en ordre contigu.
La zone de verdure elle-même est destinée à sauvegarder les sites, créer des îlots de verdure et aménager des places de jeux; elle est caractérisée par l'interdiction de bâtir, interdiction assortie d'exceptions pour des constructions publiques ou d'utilité publique de minime importance (ch. 3.1 RPPA) et des constructions privées de minimes importance de 10 m2 au sol au maximum (ch. 3.2 RPPA).
S'agissant des nouvelles constructions, le règlement actuel, outre les exceptions mentionnées aux ch. 3.1 et 3.2 RPPA, en prévoit expressément - et vraisemblablement exhaustivement - deux au ch. 5 RPPA. Le plan délimite ainsi une aire d'extension du musée, sise essentiellement sur la zone d'extension de la zone de verdure, mais également en petite partie sur la zone de verdure. Le règlement précise à cet égard que l'extension du musée nécessite le plus grand soin (ch. 5 RPPA).
Le plan prévoit enfin la construction d'un parking souterrain de quatre étages respectant le niveau du terrain naturel dans un secteur sis en zone d'extension de la zone de verdure.
S'il est vrai que la réglementation communale actuelle - qui ne traite pas dans le règlement de la distinction de zones opérée dans le plan - est ambiguë, il n'en demeure pas moins qu'en vertu de la systématique adoptée dans la législation fédérale, il s'agit d'une zone à bâtir. Les possibilités de construire sont certes particulièrement restreintes, mais elles existent et ne sont notamment pas conditionnées à des exigences comparables aux exigences légales applicables aux constructions hors de la zone à bâtir.
La jurisprudence que les recourants évoquent, distinguant la brèche dans le milieu bâti, généralement assimilée à l'espace largement bâti au sens de la LAT, de la surface bâtie plus étendue, généralement considérée comme du terrain n'appartenant pas à la zone à bâtir, n'est pas décisive en l'espèce (cf. ATF 132 II 218 consid. 4.2.1-4.2.3 p. 223 s.; arrêts 1C_231/2019 du 30 octobre 2020 consid. 2.3; 1A.72/2003 du 4 novembre 2003 consid. 4.1.1-4.1.2 publié in ZBl 2005 p. 6614). Ces critères sont en effet destinés à définir ce qu'il doit advenir de terrains qui n'ont jamais fait l'objet d'une planification conforme à la LAT. La jurisprudence développée dans ce contexte vise ainsi bien plus des surfaces non construites, quelles qu'elles soient, que des espaces aménagés où le planificateur a délibérément restreint les possibilités de construire pour des motifs de préservation du patrimoine ou de la qualité du milieu urbain (à l'instar d'un parc public).
Pour ces mêmes raisons, c'est en vain que les recourants insistent sur la taille du projet (18'000 m2) pour affirmer qu'il ne s'agit pas d'une brèche dans la zone à bâtir. Il n'est, comme on vient de l'exposer, pas question ici de qualifier les terrains en cause de brèche non construite dans la zone à bâtir mais bien de constater la nature constructible d'un secteur entièrement aménagé qui, pour des raisons de protection du patrimoine, fait l'objet de restrictions quant aux possibilité de bâtir.
En outre, il n'est pas déterminant que l'ISOS désigne le parc bordant le musée litigieux de "ceinture verte", respectivement exprime l'objectif de sauvegarde par une lettre minuscule, applicable à un périmètre environnant ou une échappée dans l'environnement, par opposition à un périmètre ou ensemble construit, caractérisé dans l'inventaire par une lettre majuscule. L'inventaire fédéral ne saurait préjuger de l'affectation en zone à bâtir ou non, cette appréciation relevant de critères d'aménagement du sol et non de critères de protection du patrimoine. Tout au plus la description ISOS illustre-t-elle le caractère incertain de la présente situation, relevé ci-dessus. Cela étant, du point de vue de la réglementation applicable en l'espèce, la typologie de l'ARE incluant ce type d'aménagements dans la zone à bâtir n'apparaît pas incongrue et doit au contraire être confirmée.
Si, avec les recourants et au contraire de ce qu'a retenu la cour cantonale, on peut constater que le degré de sensibilité au bruit - valable non seulement pour une zone d'habitation et artisanale, mais également à celui de la zone agricole - n'est d'aucune aide ici, il y a lieu de s'arrêter sur le raisonnement de la cour cantonale qui s'est appuyée sur l'art. 64 al. 1 RPE pour considérer que la zone de verdure est considérée par le législateur communal comme appartenant à la zone à bâtir. Selon cette disposition, le calcul des droits à bâtir prend en considération la surface totale de la parcelle même si une partie de celle-ci est affectée en zone de verdure. Que cette disposition, à l'inverse des deux articles la précédant dans le RPGA, n'ait pas été reprise dans le RPPA ne saurait nécessairement signifier qu'elle n'est a contrario pas applicable. A tout le moins, la cour cantonale peut-elle assurément être suivie lorsqu'elle déduit de ce qui précède que le PGA de 1984 traitait effectivement la zone de verdure de la commune de Nyon comme de la zone à bâtir.
En bref, conformément à ce qui précède, la réglementation applicable au secteur litigieux présente les caractéristiques d'une zone constructible.
4.2.3. Quant à la fonction de la zone en question, l'appréciation de la cour cantonale, selon laquelle la zone de verdure a bien un caractère urbain dès lors qu'elle est destinée à sauvegarder des sites, créer des îlots de verdure et aménager des places de jeux peut être suivie. Elle s'inscrit dans la systématique de l'ARE exposée ci-dessus. Et les recourants ne font valoir à cet égard aucun argument contraire.
En outre, comme on l'a déjà évoqué ci-dessus (consid. 2.2), que le rapport 47 OAT et le SDT aient dans un premiers temps considéré que le plan de quartier classait nouvellement le terrain concerné en zone à bâtir ne saurait jouer un rôle dans l'appréciation de la situation.
4.2.4. Enfin, dans leur ultime écriture, les recourants affirment nouvellement que, même supposé déjà colloqué en zone à bâtir, le secteur ne pourrait pas être maintenu sans autre en cette affectation, aucun droit acquis ne garantissant que tel soit le cas. Il s'imposerait ainsi selon eux de procéder en tout état à l'examen du respect des conditions de l'art. 15 al. 4 LAT. Or, la nature constructible étant précisément fondée sur l'état existant du secteur en cause (fonction et destination, aménagement, situation), il serait dénué de sens d'examiner si celui-ci doit être maintenu en cette affectation. Au demeurant, il n'apparaît pas que des circonstances nouvelles au sens de l'art. 21 al. 2 LAT - autres que celles ayant donné lieu à la présente procédure (savoir l'extension du musée) - justifieraient un tel examen. Les recourants n'en font quant à eux valoir aucune, de sorte que ce grief peut être écarté.
4.3. En résumé, vu ce qui précède, le secteur litigieux peut être reconnu comme une zone constructible, de sorte que les terrains ne sont pas nouvellement affectés à la zone à bâtir. Leur maintien en cette affectation peut être confirmé. Il s'ensuit que le grief de violation de l'art. 15 al. 4 LAT est mal fondé.
5.
Dans un second moyen de fond, les recourants se plaignent d'une violation des art. 6 et 7 LPN.
5.1. Conformément à l'art. 5 al. 1 LPN qui donne mandat au Conseil fédéral en ce sens, l'ordonnance du 13 novembre 2019 concernant l'Inventaire fédéral des sites construits à protéger en Suisse (OISOS; RS 451.12) - qui a remplacé l'OISOS de 1981 - recense les sites construits d'importance nationale. Nyon y est référencée sous objet VD 4607 en tant que ville. Les inventaires fédéraux sont assimilés matériellement à des conceptions et à des plans sectoriels au sens de l'art. 13 al. 1 LAT. Selon l'art. 6 al. 1 LPN, l'inscription d'un objet d'importance nationale dans un inventaire fédéral indique que l'objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible, y compris au moyen de mesures de reconstitution ou de remplacement adéquates. A teneur de l'art. 6 al. 2 LPN, lorsqu'il s'agit de l'accomplissement d'une tâche de la Confédération, la règle suivant laquelle un objet doit être conservé intact dans les conditions fixées par l'inventaire ne souffre d'exception que si des intérêts équivalents ou supérieurs, d'importance nationale également, s'opposent à cette conservation. Dans un tel cas, si l'objet risque d'être altéré sensiblement, la Commission fédérale des monuments historiques établit à l'intention de l'autorité de décision une expertise indiquant si l'objet doit être conservé intact ou de quelle manière il doit être ménagé (art. 7 al. 2 et 25 al. 1 LPN).
L'inventaire ISOS doit en outre être pris en considération dans la pesée des intérêts de chaque cas d'espèce - y compris lors de l'accomplissement de tâches purement cantonales et communales -, en tant que manifestation d'un intérêt fédéral (THIERRY LARGEY, La protection du patrimoine, in RDAF 2012 p. 295). Dans le cadre de leur obligation générale de planifier de l'art. 2 LAT, les cantons doivent tenir compte, dans leur planification directrice, de ces inventaires en tant que forme spéciale des conceptions et plans sectoriels de la Confédération (art. 6 al. 4 LAT). En raison de la force obligatoire des plans directeurs pour les autorités (art. 9 LAT), les conditions de protection figurant dans les inventaires fédéraux se retrouvent dans les plans d'affectation (art. 14 ss LAT). En principe, l'inventaire des sites construits à protéger en Suisse (ISOS) doit ainsi être transcrit dans les plans directeurs cantonaux, puis dans la planification locale au moyen des instruments prévus à l'art. 17 LAT. Ces mesures lient ainsi non seulement les autorités dans l'exécution de leurs tâches, mais également les particuliers (ATF 135 II 209 consid. 2.1 p. 213; arrêts 1C_250/2019 du 8 mai 2020 consid. 4.2; 1C_276/2015 du 29 avril 2016 consid. 3.1).
Une atteinte demeure possible lorsqu'elle n'altère pas l'identité de l'objet protégé ni le but assigné à sa protection; celui-ci découle du contenu de la protection mentionné dans l'inventaire et les fiches qui l'accompagnent (arrêts 1C_87/2019 du 11 juin 2020 consid. 3.1; 1C_276/2015 du 29 avril 2016 consid. 3.1; LARGEY, op. cit., p. 292; LEIMBACHER, Commentaire LPN ad art. 6 LPN n° 5 ss).
5.2.
5.2.1. L'adoption d'une nouvelle planification n'est pas en soi considérée comme une tâche fédérale (ATF 142 II 509 consid. 2.3 p. 512 s.). Comme on l'a retenu au considérant précédent, le secteur couvert par le plan de quartier litigieux appartient déjà à la zone à bâtir. Aussi, l'aménagement relève-t-il de la compétence des cantons, cas échéant des communes (art. 75 al. 1 Cst.). En effet, la modification des possibilités de construire en une zone à bâtir existante doit être appréhendée différemment d'un nouveau classement en zone à bâtir (ATF 142 II 509 consid. 2.7 p. 516 s.). Dans de telles circonstances, il n'est donc pas obligatoire que l'autorité compétente recueille l'avis de la Commission fédérale des monuments historiques, l'art. 7 al. 2 LPN ne s'appliquant pas.
5.2.2. La fiche descriptive de l'ISOS présente Nyon comme "vieille ville d'origine romaine, jadis fortifiée sur un monticule, signalée par le château; quartier de Rive le long du lac, quartier de la gare apparu dès 1858 et vastes zones mixtes du 20e siècle côté Jura" (fiche ISOS, p. 1). La surface couverte par le PPA actuel est désignée dans la fiche en tant que périmètre environnant PE I, "parc public agrémenté de quelques grands arbres, raccordant la vieille ville perchée et les rives du lac, dégagement essentiel pour la lisibilité du site". Sa signification est indiquée comme étant "prépondérante" et l'objectif de sauvegarde "a" qui lui est attribué correspond à la "sauvegarde de l'état existant en tant qu'espace agricole ou libre", à la "conservation de la végétation et des constructions anciennes essentielles pour l'image du site", ainsi qu'à la "suppression des altérations" (cf. Explications relatives à l'ISOS, p. 4). Le descriptif de l'ISOS précise que, depuis le lac, la silhouette du château du 12e siècle (dont la signification est jugée "prépondérante" et auquel est attribué un objectif de protection A), ne serait pas aussi bien mise en valeur sans la présence du parc public raccordant les rives du lac à la vieille ville (fiche ISOS, p. 27 et 35). Cet espace joue un rôle prépondérant pour la lisibilité du site depuis le lac, étant donné qu'il forme un premier plan verdoyant et bien défini qui permet la mise en valeur du bâti de la vieille ville contournant le monticule (fiche ISOS, p. 41 s.). Le bâtiment du Musée du Léman est également recensé comme ayant une signification prépondérante, avec un objectif de sauvegarde "A", soit une sauvegarde intégrale de la substance.
Au contraire de ce qu'affirment la commune, le SDT ainsi que la cour cantonale dans une brève détermination, l'arrêt attaqué ne prend pas l'ISOS en considération comme il se doit. En effet, l'arrêt cantonal, s'il évoque la mention du bâtiment du Musée du Léman dans l'ISOS, ne relève à aucun moment le périmètre environnant PE I. Or, à cette composante de l'objet inventorié - dont la signification est jugée maximale - est attribué l'objectif de sauvegarde maximal que prévoit l'inventaire fédéral. Dans un tel contexte, l'ISOS suggère à titre général des mesures de sauvegarde comme une affectation en zone non constructible, des prescriptions strictes pour les constructions dont la destination impose l'implantation ou des prescriptions particulières pour les transformations de constructions anciennes (Explications relatives à l'ISOS, p. 4).
Cet élément pourtant essentiel de l'inventaire fédéral a ainsi, comme l'a souligné l'OFC, simplement été ignoré dans l'examen de la portée de l'ISOS par la cour cantonale. De même, lorsqu'elle s'est emparée du grief de l'intégration du projet au site, la cour cantonale, sans se référer à l'ISOS, a brièvement renvoyé à la procédure d'autorisation de construire au motif que seul le périmètre d'implantation et la hauteur maximale du bâtiment relevaient du plan de quartier. Or ces deux aspects déterminent d'ores et déjà la volumétrie du bâtiment qui, vu les objectifs fixés par l'ISOS, est un point particulièrement sensible. Le plan de quartier définit la hauteur du bâtiment au moyen d'une côte d'altitude, sans expressément indiquer l'altitude du terrain naturel. Il est sur cette seule base difficile de comprendre quelle sera la hauteur maximum du nouveau bâtiment. Cela étant, les photomontages produits au dossier tant par les auteurs du projet que par les recourants permettent de visualiser une construction particulièrement massive, dont la hauteur dépasse celle du bâtiment actuel, en lieu et place d'une arborisation importante qui compose précisément la ceinture verte qu'entend protéger l'ISOS. La volumétrie générale est ainsi imposante en comparaison du bâti existant, le périmètre constructible du nouveau bâtiment s'étendant à 3'646 m2. Le toit végétalisé n'est pas orienté vers le bord du lac, d'où, au contraire, le bâtiment devrait être visible dans toute sa hauteur.
Il est ainsi particulièrement douteux qu'il soit admissible de construire dans de tels volumes, ce d'autant que cela implique la destruction d'une importante partie du patrimoine existant, lui même protégé selon l'ISOS (fiche ISOS, p. 27).
A cet égard, l'OFC expose que manque en l'espèce une analyse approfondie permettant de définir si les qualités de la ville de Nyon sont menacées par le projet d'extension du musée ou non. Il déplore qu'il n'ait pas été examiné si l'intérêt public à développer le Musée du Léman n'aurait pas pu être accompli de manière moins invasive qu'en projetant des bâtiments de dimensions considérables dans un périmètre très sensible.
5.2.3. A l'instar de ce que suggère l'Office fédéral de la culture, il y a lieu de réexaminer le projet en tenant véritablement compte de l'ISOS. Dans ce contexte, il n'appartient pas au Tribunal fédéral de procéder à cette pesée complète des intérêts en présence pour la première fois. Il serait sans doute opportun que les autorités compétentes s'adjoignent les services de l'OFC, cas échéant de la Commission fédérale des monuments historiques qui, quand bien même sa consultation n'est pas obligatoire peut, vu l'importance du projet, entrer en matière en vertu de l'art. 8 LPN.
6.
Il résulte de ce qui précède que le recours doit être admis et l'arrêt attaqué annulé. La cause doit être renvoyée à l'instance précédente qui examinera l'opportunité de mener cette instruction elle-même ou de la confier, par renvoi, aux autorités de planification.
Le présent arrêt est rendu sans frais (art. 66 al. 4 LTF). Les recourants, qui obtiennent gain de cause par l'intermédiaire d'un avocat, ont droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé. La cause est renvoyée à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud pour nouvelle décision dans le sens des considérants.
2.
Une indemnité de dépens de 4'000 francs est accordée aux recourants, à la charge de la Commune de Nyon.
3.
Le présent arrêt est communiqué aux mandataires des recourants et du Conseil communal de Nyon, au Département des institutions et du territoire du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, à l'Office fédéral du développement territorial et à l'Office fédéral de la culture.
Lausanne, le 16 mars 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Sidi-Ali