Faits :
A.
Un plan d'affectation cantonal "Plate-forme Pôle Muséal" (le PAC) a été établi pour accueillir le nouvel emplacement du Musée cantonal vaudois des Beaux-Arts (MCBA), ainsi que le Musée cantonal pour la photographie de l'Elysée et le Musée de design et d'arts appliqués contemporains (MUDAC). Le périmètre du PAC comprend les parcelles nos 5'080, 5'770 et 5'819 du cadastre de la Commune de Lausanne, toutes propriétés des CFF. Il comprend trois aires constructibles (A, B et C), une aire des aménagements extérieurs destinée notamment à une "esplanade muséale" sise principalement dans les parties est et nord du périmètre et une aire à vocation écologique prévue dans la partie ouest. L'aire des constructions A, d'une longueur de 150 m pour une largeur de 26 m, est sise au sud du périmètre le long des voies CFF. Elle est destinée à la construction du MCBA. Il s'y trouve actuellement une halle CFF aux locomotives, formée de trois corps de bâtiments construits entre 1909 et 1911, qui figure à l'inventaire prévu par la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS/VD; RS VD 450.11) et a reçu la note 2 au recensement architectural prévu par le règlement d'application de la LPNMS. Le PAC prévoit la destruction d'une grande partie de la halle qui sera remplacée par un bâtiment rectangulaire de trois niveaux longeant les voies CFF. Le pignon sud de la halle sera en outre renforcé structurellement et conservé.
Par décision du 10 décembre 2012, le Département vaudois de l'intérieur a approuvé le PAC et rejeté les oppositions soulevées. La Cour de droit administratif et public du Tribunal cantonal (CDAP), puis le Tribunal fédéral ont rejeté les recours dirigés contre ces décisions par arrêts respectivement du 26 novembre 2013 et du 8 octobre 2014 (arrêt 1C_15/2014), de sorte que le PAC est actuellement en force.
B.
Du 20 mai 2014 au 19 juin 2014, les CFF, la Commune de Lausanne et l'Etat de Vaud ont mis à l'enquête publique la démolition des bâtiments ECA 829a et 829b et la construction d'un Musée cantonal des Beaux-Arts avec restaurant, local deux-roues de dix places, poste de transformation, aménagements extérieurs, 36 places deux-roues extérieures, ascenseur extérieur, suppression de places de stationnement extérieures et installation de panneaux solaires en toiture. Selon le projet, des anciennes halles du dépôt des locomotives subsiste la partie centrale émergente de la grande travée du côté des voies. La nouvelle construction destinée à abriter le MCBA est un bâtiment rectangulaire de trois niveaux présentant une longueur de 145 m, une largeur de 20 m et une hauteur de 22 m 20. Plusieurs oppositions ont été déposées.
La centrale des autorisations du Département cantonal des infrastructures et des ressources humaines a établi sa synthèse le 5 août 2014 (la synthèse CAMAC). Celle-ci comprend notamment l'autorisation spéciale délivrée par le Service immeuble, patrimoine et logistique du canton de Vaud (SIPAL).
Le 19 août 2014, la direction des travaux de la Commune de Lausanne a demandé que les plans soient complétés sur quelques points. Elle a également requis à cette occasion la suppression de deux places de stationnement extérieures pour personnes à mobilité réduite qui figuraient sur les plans mis à l'enquête publique. Des plans complétés et modifiés ont été remis à la direction des travaux le 19 septembre 2014.
C.
Lors de sa séance du 16 octobre 2014, la Municipalité de Lausanne a décidé de lever les oppositions et de délivrer le permis de construire. Statuant sur recours de, notamment, A._ et 35 consorts, la CDAP a confirmé les décisions de la Municipalité par arrêt du 20 mai 2015.
D.
A._ et 30 consorts forment un recours contre cet arrêt auprès du Tribunal fédéral. Ils concluent à l'annulation de l'arrêt attaqué et des décisions du 24 octobre 2014, subsidiairement au renvoi de la cause à la cour cantonale pour complément d'instruction et nouvelle décision dans le sens des considérants. Ils produisent diverses pièces à l'appui de leur recours.
La cour cantonale se réfère aux considérants de son arrêt et renonce à déposer une réponse au recours. La Municipalité de Lausanne, l'Etat de Vaud et les CFF concluent au rejet du recours. Les recourants répliquent et persistent dans leurs conclusions.
Par ordonnance du 8 juillet 2015, le Juge présidant de la Ire Cour de droit public a rejeté la requête d'effet suspensif déposée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant le Tribunal cantonal. En tant que voisins du projet litigieux, ils sont particulièrement touchés par l'arrêt attaqué et peuvent ainsi se prévaloir d'un intérêt digne de protection à son annulation. Ils ont donc en principe qualité pour agir au sens de l'<ref-law> dans la mesure où leurs griefs peuvent avoir une incidence sur leur situation juridique ou de fait (<ref-ruling> consid. 2.2 p. 504; cf. consid. 5 ci-dessous). Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Les recourants ont produit à l'appui de leur réplique plusieurs pièces nouvelles qui ne se trouvent pas au dossier. Elles sont irrecevables (<ref-law>).
3.
Les recourants affirment que certains faits relatés dans l'arrêt attaqué sont incorrects. A la lecture de leur grief, on comprend qu'ils entendent en réalité mettre en avant une contradiction dans le fait que le site a été choisi pour installer un musée dans la halle CFF, alors que le projet finalement choisi à l'issue du concours implique la destruction d'une grande partie de la halle. L'état de fait de l'arrêt attaqué ne contient à cet égard pas d'erreur. La remarque des recourants est en réalité un reproche à l'encontre d'un changement de position des maîtres d'ouvrage. Or, les recourants n'exposent pas en quoi, d'un point de vue juridique, l'évolution de ce choix serait critiquable.
4.
Les recourants se plaignent d'une violation de leur droit d'être entendus au motif que la municipalité ne s'est pas prononcée sur l'esthétique et l'intégration de la construction, en dépit de leurs critiques en ce sens dans leurs oppositions.
Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le devoir, pour l'autorité, de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. L'autorité doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 2.2 p. 183; <ref-ruling> consid. 2.2 p. 84; <ref-ruling> consid. 4.1 p. 88 et les arrêts cités).
Avec les recourants, on peut constater que la décision de levée d'opposition est peu motivée. La décision renvoie toutefois à la synthèse CAMAC qui reprend le préavis de la Section monuments et sites du SIPAL. Ce préavis identifie les mesures de protection légales du site et décrit dans le détail sa substance patrimoniale. Il indique ensuite que le nouveau projet s'inscrit parfaitement dans les exigences patrimoniales fixées dans le plan d'affectation cantonal. Il expose enfin en quoi le projet conserve la mémoire industrielle des lieux tout en apportant une certaine innovation. Outre ce préavis du SIPAL, la décision de levée d'opposition se réfère aussi expressément au concours d'architecture.
En définitive, quand bien même les doléances des opposants en matière d'esthétique et d'intégration n'ont pas été discutées en détail par la municipalité, ce qui est regrettable, les recourants étaient en mesure de comprendre la raison du rejet de leurs arguments, cas échéant d'attaquer et de critiquer en connaissance de cause la décision. Le droit d'être entendus des recourants a ainsi été respecté.
5.
Les recourants dénoncent le fait que deux places de parc pour handicapés ont été supprimées après l'enquête publique sans mise à l'enquête complémentaire. Ils en déduisent une violation de la loi fédérale du 13 décembre 2002 sur l'élimination des inégalités frappant les personnes handicapées (Loi sur l'égalité pour les handicapés, LHand; RS 151.3).
Pour satisfaire aux critères de l'<ref-law>, le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. Le voisin direct de la construction ou de l'installation litigieuse, s'il a en principe la qualité pour recourir, doit en outre retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2.2.3 p. 33). Le voisin ne peut ainsi pas présenter n'importe quel grief; il ne se prévaut d'un intérêt digne de protection, lorsqu'il invoque des dispositions édictées dans l'intérêt général ou dans l'intérêt de tiers, que si ces normes peuvent avoir une influence sur sa situation de fait ou de droit (<ref-ruling> consid. 2.2 p. 504; <ref-ruling> consid. 2.2.3 p. 33; <ref-ruling> consid. 1.3 p. 252). A défaut, il n'y a pas lieu d'entrer en matière sur le grief soulevé (cf. arrêt 1C_517/2013 du 5 novembre 2013 consid. 5.2).
En l'occurrence, les recourants ne prétendent pas pâtir eux-mêmes de la suppression des deux places de parc pour handicapés. En particulier, la recourante au bénéfice d'un macaron pour handicapés ne démontre pas que la suppression des places de parc constituerait une inégalité de traitement pour elle au sens de la LHand. Domiciliée dans l'immeuble directement voisin du projet litigieux, elle échoue à démontrer un intérêt spécial en relation avec les places de parc du musée réservées aux personnes à mobilité réduite. Le grief n'est en outre pas de nature à remettre en cause le projet lui-même, ne serait-ce qu'en partie. En effet, tout au plus peut-il conduire à une nouvelle mise à l'enquête publique dans laquelle seule la suppression des deux places initialement prévues pourrait être contestée. Dans de telles circonstances, les recourants n'ont pas qualité pour présenter un tel grief, qui doit par conséquent être déclaré irrecevable.
6.
Les recourants critiquent l'esthétique du bâtiment prévu. Ils considèrent en outre que la halle CFF aux locomotives ne devrait pas être détruite.
6.1.
6.1.1. A teneur de la clause d'esthétique prévue en droit vaudois à l'art. 86 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RSV 700.11), la municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement (al. 1); elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (al. 2). L'art. 69 du règlement communal du plan général d'affectation reprend ces principes en interdisant les constructions, transformations ou démolitions susceptibles de compromettre l'aspect et le caractère d'un quartier, d'un site, d'une place ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, culturel ou architectural.
Selon la jurisprudence, l'application d'une clause d'esthétique ne doit pas aboutir à ce que, de façon générale, la réglementation sur les zones en vigueur soit vidée de sa substance. Une intervention des autorités dans le cas de la construction d'un immeuble réglementaire qui ne serait pas en harmonie avec les bâtiments existants ne peut s'inscrire que dans la ligne tracée par la loi elle-même et par les règlements communaux, qui définissent en premier lieu l'orientation que doit suivre le développement des localités. Ainsi, lorsqu'un plan de zones prévoit que des constructions d'un certain volume peuvent être édifiées dans tel secteur du territoire, une interdiction de construire fondée sur l'art. 86 LATC ne peut se justifier que par un intérêt public prépondérant. Il faut que l'utilisation des possibilités de construire réglementaires apparaisse déraisonnable (<ref-ruling> consid. 3d p. 119; 363 consid. 3a p. 366/367; 370 consid. 5 p. 377; <ref-ruling> consid. 6c p. 222 s.).
Il appartient en premier lieu aux autorités locales de veiller à l'aspect architectural des constructions (arrêt 1C_442/2010 du 16 septembre 2011 consid. 3.3 publié in RtiD 2012 I 39). Lorsqu'une autorité communale apprécie les circonstances locales dans le cadre de l'octroi d'une autorisation de construire ou de l'adoption d'un plan de quartier, elle bénéficie ainsi d'une liberté d'appréciation particulière, que l'autorité de recours contrôle avec retenue (cf. art. 3 al. 2 LAT). Dans la mesure où la décision communale repose sur une appréciation soutenable des circonstances pertinentes, la juridiction de recours doit la respecter. En dépit de son pouvoir d'examen complet, elle ne peut intervenir et, cas échéant, substituer sa propre appréciation à celle des autorités communales que si celle-ci n'est objectivement pas soutenable ou contrevient au droit supérieur (arrêts 1C_92/2015 du 18 novembre 2015 consid. 3.1.3; 1C_849/2013 du 24 février 2015 consid. 3.1.2; 1C_150/2014 du 6 janvier 2015 consid. 2.2).
6.1.2. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
6.2.
6.2.1. Comme l'ont relevé les premiers juges, la destruction de la halle est déjà prévue par le PAC (art. 7 du règlement du PAC). L'opportunité de sa démolition a été discutée dans l'arrêt rendu le 26 novembre 2013 par la CDAP (AC.2013.0059, consid. 1 et 6c). L'examen avait certes été effectué de manière relativement sommaire, mais les recourants se sont vraisemblablement satisfaits de ces explications à l'époque: le grief n'avait en effet pas été soulevé devant le Tribunal fédéral, les recourants ayant alors concentré leur critique sur des aspects procéduraux, en particulier l'obligation de procéder à l'examen de variantes (cf. arrêt 1C_15/2014 du 8 octobre 2014 consid. 5).
6.2.2. La cour cantonale a souligné le fait que le bâtiment litigieux était conforme au PAC en ce qui concerne son implantation et ses dimensions et que sa longueur correspondait approximativement à celle de la halle des CFF actuelle. Elle a par ailleurs tenu compte du fait que les parcelles ne se trouvaient dans aucun site protégé méritant une protection particulière. Le recours à une architecture contemporaine pour un musée cantonal dans un site proche d'une gare, bordant les voies de chemin de fer et occupé jusque-là par des constructions de type industriel ne prêtait pas flanc à la critique.
Les recourants relèvent à juste titre qu'il existe quantité de possibilités d'aménager un bâtiment qui corresponde à la réglementation du plan d'affectation. Leurs critiques sont toutefois pour l'essentiel dirigées contre la volumétrie du bâtiment, pourtant réglementaire. En d'autres termes, ils contestent le principe même d'une exploitation maximale des volumes constructibles, ce qui reviendrait, s'il fallait les suivre, à vider cette réglementation - pourtant récente - de sa substance. En se référant au bâtiment existant pour critiquer la hauteur, deux fois plus importante, du bâtiment projeté, ils ne démontrent pas l'arbitraire du choix des autorités, rien ne justifiant que celles-ci s'en tiennent à la situation actuelle. Les recourants se contentent d'affirmer que le bâtiment projeté est plus haut que toutes les constructions alentours sans donner aucun élément concret de comparaison chiffré. Or, il n'apparaît pas excessif d'autoriser un bâtiment de 22 m dans un important centre urbain densément construit. L'appréciation de la cour cantonale selon laquelle l'affectation du bâtiment en musée d'importance cantonale justifie au contraire qu'il ressorte de son environnement direct est tout à fait pertinente. Elle est au demeurant conforme au préavis du SIPAL dont il résulte que la rupture architecturale est un choix. Les recourants ne démontrent pas non plus en quoi il serait insoutenable d'avaliser la construction d'un bâtiment aux qualités architecturales reconnues mais qui masquerait sous certains angles des bâtiments d'intérêt local situés à proximité.
Il n'est en outre pas critiquable de considérer que la situation du bâtiment en bordure des voies CFF justifie l'architecture privilégiée en l'espèce, à savoir un bâtiment massif muni de peu de fenêtres. Les voies CFF, situées en entrée de gare, sont démultipliées et forment elles-mêmes une importante rupture dans le paysage urbain. Dans les présentes circonstances, le choix d'un traitement architectural différent des constructions alentours ne nuit pas nécessairement à l'intégration du bâtiment au site.
On peut comprendre que certains riverains déplorent la perte d'une vue dégagée sur le lac. Ce seul élément - qui n'est qu'indirectement lié à la problématique de l'esthétique ou de l'intégration et relève plus des convenances personnelles des recourants - ne saurait suffire à qualifier d'arbitraire le choix des autorités. Sur ce point, la cour cantonale relève en effet à juste titre que le droit à la vue n'est protégé en droit public que par le biais des règles de police des constructions (distances aux limites et entre bâtiments, hauteurs maximum, notamment), respectées en l'espèce.
6.2.3. Pour les mêmes motifs, le Tribunal fédéral constate que ni la municipalité ni la CDAP n'ont restreint abusivement leur pouvoir d'appréciation. Ainsi qu'on l'a déjà constaté, la municipalité s'est référée aux considérations ressortant du concours d'architecture et à l'avis émis par le service cantonal spécialisé, le SIPAL. La cour cantonale a quant à elle pris soin, conformément à la retenue que lui impose la jurisprudence citée ci-dessus, de contrôler si le projet était critiquable sur le plan objectif.
7.
Les recourants reviennent enfin sur la problématique de la sécurité du site situé à proximité des voies CFF. A l'instar de ce qu'a fait la cour cantonale, il y a lieu de constater que cette question avait été examinée et tranchée dans le cadre de la procédure d'adoption du PAC (cf. arrêt 1C_15/2014 du 8 octobre 2014 consid. 4, in SJ 2015 I p. 97). En l'espèce, les recourants ne soulèvent pas de problématique d'ordre technique liée au bâtiment lui-même. Ils ne font valoir à nouveau que des considérations générales sur l'implantation du musée à proximité des voies de chemin de fer. Ce faisant, ils requièrent en réalité un contrôle incident du PAC, ce qu'il ne se justifie pas de faire en l'espèce. Leur critique est au demeurant purement appellatoire, leur argumentation exposant en substance qu'une voie de chemin de fer constitue un danger tel que rien ne devrait être bâti sur une bande de 2,5 km de part et d'autre de la voie, ce qui n'est pas soutenable.
8.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais de ses auteurs, qui succombent (<ref-law>). Il n'y a pas lieu d'attribuer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux mandataires des recourants, de la Municipalité de Lausanne ainsi que de la Direction générale de l'environnement du canton de Vaud, du Département de la formation, de la jeunesse et de la culture du canton de Vaud, du Service Immeubles, Patrimoine et Logistique du canton de Vaud, du Département des finances et des relations extérieures du canton de Vaud, aux Chemins de fer fédéraux suisses et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 21 décembre 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Merkli
La Greffière : Sidi-Ali