Faits: A. Le 30 avril 2008, les Chemins de fer fédéraux suisses (ci-après: les CFF) ont déposé, auprès de l'Office fédéral des transports (ci-après: l'OFT), une demande d'approbation des plans relatifs à l'assainissement du bruit des chemins de fer dans la commune de Pully. Le projet prévoit la construction de 30 parois antibruit (PAB) en bois d'une hauteur générale de 2 mètres au-dessus du plan de roulement, pour un coût total estimé à environ 12 millions de francs. L'installation d'une paroi antibruit 8.2 dans le secteur L2 Pully-Sud (km 1.879 au km 2.184) et d'une PAB 7 dans le secteur R2 Pully-Sud (km 1.790 au km 2.377) est notamment prévue. Mis à l'enquête publique du 5 novembre au 4 décembre 2008, ce projet a suscité trente et une oppositions de riverains. Par décision du 4 avril 2011, l'OFT a approuvé les plans déposés par les CFF ainsi que les demandes d'allégement pour tous les secteurs de Pully-Nord et Pully-Sud, sous réserve de certaines modifications et charges. Il a simultanément rejeté la majorité des oppositions et déclaré la plupart sans objet. Il a également accepté trois oppositions au moins partiellement. B. Le 19 mai 2011, A._et consorts, agissant collectivement par leur mandataire, ont interjeté recours contre cette décision devant le Tribunal administratif fédéral, en concluant, principalement, à sa réforme en ce sens que les parois antibruit 8.2 (au nord des voies) et 7 (pour le tronçon au sud des voies situé vis-à-vis de la paroi antibruit 8.2) (km 1.879 - km 2.184) ne soient pas autorisées. D'une manière générale, les opposants ont avancé que le projet cause de graves nuisances aux occupants des lieux qui sont, dans leur totalité, opposés à ce projet. Ils ont contesté en particulier la valeur du rapport coût-utilité (RCU) et prétendu que l'aménagement d'un tel mur porterait une atteinte très grave à l'environnement naturel et bâti. Invité à se déterminer, l'Office fédéral de la culture s'est référé à ses prises de position antérieures. Quant à l'Office fédéral de l'environnement (ci-après: l'OFEV), il a notamment précisé, en date du 21 décembre 2011, que les rapports coût-utilité étaient plausibles et clairement inférieurs à la limite légale de 80 et qu'aucun motif dû à la configuration des lieux s'opposerait à la construction des parois antibruit litigieuses. Le Département des infrastructures du canton de Vaud et la Municipalité de Pully ont aussi présenté des observations. Le 20 mars 2012, le Tribunal administratif fédéral a procédé à une vision locale, au cours de laquelle les opposants ont effectué une mesure de bruit complémentaire à l'aide d'un sonomètre. Les CFF, l'OFT, l'OFEV et le Service de la mobilité du canton de Vaud ont émis de sérieuses réserves quant à la méthode et aux valeurs qui en seraient déduites. Le 26 mars 2012, les opposants ont déposé à la procédure les graphiques et données chiffrées obtenus par cette mesure. Par écriture du 20 avril 2012, les opposants ont requis, comme mesure d'instruction complémentaire, que les intimés fournissent "un calcul transparent et détaillé des rapports coût-utilité (RCU) pour les tronçons de parois antibruit contestés avec des valeurs réalistes", et qu'ils évaluent et comparent "les variantes 1) sans parois antibruit, 2) sans parois antibruit, mais avec des fenêtres antibruit, et 3) le projet CFF actuel par rapport à leurs coûts détaillés et effectifs". Le Tribunal administratif fédéral a ainsi demandé aux CFF, d'une part, de fournir le calcul détaillé du RCU ayant conduit à un résultat de 56 pour le secteur L2 (Pully-Sud) et de 17 pour le secteur R2 (Pully-Sud), et, d'autre part, de calculer les RCU délimités au seul secteur du Coteau. Par écriture du 31 juillet 2012, les intimés ont fourni le calcul du RCU demandé. Le 15 août 2012, les opposants, se référant aux calculs du RCU pour le secteur du Coteau fournis par les intimés, ont relevé qu'ils contenaient de nombreuses erreurs et ont proposé un autre calcul. L'OFT a pris position sur les critiques des opposants, qu'il a rejetées. L'OFEV s'est déclaré en accord avec les observations de l'OFT. Par arrêt du 6 décembre 2012, le Tribunal administratif fédéral a rejeté le recours. C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent principalement au Tribunal fédéral de réformer l'arrêt attaqué en ce sens que la décision du 4 avril 2011 de l'OFT est réformée, les parois antibruit 8.2 et 7 (pour le tronçon situé vis-à-vis de la paroi antibruit 8.2) n'étant pas autorisées. Ils concluent subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause pour complément d'instruction et nouvelle décision dans le sens des considérants. Le Tribunal administratif fédéral, l'OFEV et l'OFT renoncent à se déterminer. Les CFF concluent à l'irrecevabilité du recours formé par les recourants dont la qualité pour recourir ne sera pas admise et au rejet des conclusions du recours formé par les recourants qui ont la qualité pour recourir. Les recourants ont déposé de nouvelles observations par courrier du 20 juin 2013. Par ordonnance du 27 février 2013, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par les recourants.