Faits : A. Un plan d'affectation cantonal "Plate-forme Pôle Muséal" (le PAC) a été établi pour accueillir le nouvel emplacement du Musée cantonal vaudois des Beaux-Arts (MCBA), ainsi que le Musée cantonal pour la photographie de l'Elysée et le Musée de design et d'arts appliqués contemporains (MUDAC). Le périmètre du PAC comprend les parcelles nos 5'080, 5'770 et 5'819 du cadastre de la Commune de Lausanne, toutes propriétés des CFF. Il comprend trois aires constructibles (A, B et C), une aire des aménagements extérieurs destinée notamment à une "esplanade muséale" sise principalement dans les parties est et nord du périmètre et une aire à vocation écologique prévue dans la partie ouest. L'aire des constructions A, d'une longueur de 150 m pour une largeur de 26 m, est sise au sud du périmètre le long des voies CFF. Elle est destinée à la construction du MCBA. Il s'y trouve actuellement une halle CFF aux locomotives, formée de trois corps de bâtiments construits entre 1909 et 1911, qui figure à l'inventaire prévu par la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS/VD; RS VD 450.11) et a reçu la note 2 au recensement architectural prévu par le règlement d'application de la LPNMS. Le PAC prévoit la destruction d'une grande partie de la halle qui sera remplacée par un bâtiment rectangulaire de trois niveaux longeant les voies CFF. Le pignon sud de la halle sera en outre renforcé structurellement et conservé. Par décision du 10 décembre 2012, le Département vaudois de l'intérieur a approuvé le PAC et rejeté les oppositions soulevées. La Cour de droit administratif et public du Tribunal cantonal (CDAP), puis le Tribunal fédéral ont rejeté les recours dirigés contre ces décisions par arrêts respectivement du 26 novembre 2013 et du 8 octobre 2014 (arrêt 1C_15/2014), de sorte que le PAC est actuellement en force. B. Du 20 mai 2014 au 19 juin 2014, les CFF, la Commune de Lausanne et l'Etat de Vaud ont mis à l'enquête publique la démolition des bâtiments ECA 829a et 829b et la construction d'un Musée cantonal des Beaux-Arts avec restaurant, local deux-roues de dix places, poste de transformation, aménagements extérieurs, 36 places deux-roues extérieures, ascenseur extérieur, suppression de places de stationnement extérieures et installation de panneaux solaires en toiture. Selon le projet, des anciennes halles du dépôt des locomotives subsiste la partie centrale émergente de la grande travée du côté des voies. La nouvelle construction destinée à abriter le MCBA est un bâtiment rectangulaire de trois niveaux présentant une longueur de 145 m, une largeur de 20 m et une hauteur de 22 m 20. Plusieurs oppositions ont été déposées. La centrale des autorisations du Département cantonal des infrastructures et des ressources humaines a établi sa synthèse le 5 août 2014 (la synthèse CAMAC). Celle-ci comprend notamment l'autorisation spéciale délivrée par le Service immeuble, patrimoine et logistique du canton de Vaud (SIPAL). Le 19 août 2014, la direction des travaux de la Commune de Lausanne a demandé que les plans soient complétés sur quelques points. Elle a également requis à cette occasion la suppression de deux places de stationnement extérieures pour personnes à mobilité réduite qui figuraient sur les plans mis à l'enquête publique. Des plans complétés et modifiés ont été remis à la direction des travaux le 19 septembre 2014. C. Lors de sa séance du 16 octobre 2014, la Municipalité de Lausanne a décidé de lever les oppositions et de délivrer le permis de construire. Statuant sur recours de, notamment, A._ et 35 consorts, la CDAP a confirmé les décisions de la Municipalité par arrêt du 20 mai 2015. D. A._ et 30 consorts forment un recours contre cet arrêt auprès du Tribunal fédéral. Ils concluent à l'annulation de l'arrêt attaqué et des décisions du 24 octobre 2014, subsidiairement au renvoi de la cause à la cour cantonale pour complément d'instruction et nouvelle décision dans le sens des considérants. Ils produisent diverses pièces à l'appui de leur recours. La cour cantonale se réfère aux considérants de son arrêt et renonce à déposer une réponse au recours. La Municipalité de Lausanne, l'Etat de Vaud et les CFF concluent au rejet du recours. Les recourants répliquent et persistent dans leurs conclusions. Par ordonnance du 8 juillet 2015, le Juge présidant de la Ire Cour de droit public a rejeté la requête d'effet suspensif déposée par les recourants.