Faits: A. Le 6 mars 2006, le canton de Genève et les Chemins de fer fédéraux (ci-après: les CFF) ont requis de l'Office fédéral des transports (ci-après: l'OFT) l'approbation des plans de la nouvelle ligne ferroviaire Cornavin-Eaux-Vives-Annemasse (CEVA). Ce projet consiste en substance à construire une ligne de chemin de fer à double voie de 14 km environ entre la gare de Cornavin et la frontière franco-suisse, avec une nouvelle gare aux Eaux-Vives, quatre stations et plusieurs ouvrages d'art. Les CFF ont la qualité de maître d'ouvrage. Ce projet a été mis à l'enquête publique dans les communes concernées du 11 septembre au 10 octobre 2006 selon la procédure ordinaire d'approbation des plans prévue aux art. 18 ss de la loi fédérale sur les chemins de fer (LCdF; RS 742.101). Le projet a suscité plus de 1'700 oppositions. Le 5 mai 2008, l'OFT a rendu une décision d'approbation des plans au sens des art. 18 ss LCdF pour la construction de la liaison ferroviaire CEVA et a déclaré irrecevables, rejeté ou partiellement admis les oppositions suscitées par le projet. Cette décision accorde aux CFF et à l'Etat de Genève le droit d'exproprier les propriétaires concernés selon les plans d'emprise et les tableaux des droits à exproprier et prescrit que les demandes d'indemnités présentées au cours de la mise à l'enquête seront transmises à la Commission fédérale d'estimation. L'OFT a également accordé diverses dérogations et octroyé les autorisations découlant de l'application du droit fédéral. Enfin, la décision d'approbation des plans est assortie de très nombreuses charges, dont certaines exigent la production de documents (études, projets de détail, etc.) à l'OFT, pour approbation ou pour information, dans des délais de six à douze mois avant le début des travaux. B. De nombreux opposants, parmi lesquels figurent A._ et consorts ont recouru contre la décision de l'OFT auprès du Tribunal administratif fédéral (ci-après: le TAF). Par arrêt du 15 juin 2011, le TAF a rejeté le recours des intéressés dans la mesure de sa recevabilité. C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt du TAF du 15 juin 2008, subsidiairement d'annuler l'arrêt attaqué et de renvoyer la cause au TAF pour nouvelle décision dans le sens des considérants. Les recourants se plaignent pour l'essentiel d'une appréciation arbitraire des faits, d'une violation de leur droit d'être entendus ainsi que d'une violation des principes de la liberté personnelle, du respect de la vie privée et de la garantie de la propriété. Le TAF conclut au rejet du recours. L'OFT renvoie à sa décision et renonce à se prononcer sur le recours. Les intimés concluent à l'irrecevabilité du recours, subsidiairement à son rejet dans la mesure où il est recevable. L'Office fédéral de l'environnement est d'avis que le projet litigieux est conforme au droit fédéral de l'environnement. Dans leur réplique du 25 janvier 2012, les recourants déclarent persister intégralement dans leurs conclusions. Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale du Tribunal fédéral.