Faits: A. Le 6 mars 2006, le canton de Genève et les Chemins de fer fédéraux (ci-après: les CFF) ont requis de l'Office fédéral des transports (ci-après: l'OFT) l'approbation des plans de la nouvelle ligne ferroviaire Cornavin-Eaux-Vives-Annemasse (CEVA). Ce projet consiste en substance à construire une ligne de chemin de fer à double voie de 14 km environ entre la gare de Cornavin et la frontière franco-suisse, avec une nouvelle gare aux Eaux-Vives, quatre stations et plusieurs ouvrages d'art. Les CFF ont la qualité de maître d'ouvrage. Ce projet a été mis à l'enquête publique dans les communes concernées du 11 septembre au 10 octobre 2006 selon la procédure ordinaire d'approbation des plans prévue aux art. 18 ss de la loi fédérale sur les chemins de fer (LCdF; RS 742.101). Le projet a suscité plus de 1'700 oppositions. Le 5 mai 2008, l'OFT a rendu une décision d'approbation des plans au sens des art. 18 ss LCdF pour la construction de la liaison ferroviaire CEVA et a déclaré irrecevables, rejeté ou partiellement admis les oppositions suscitées par le projet. Cette décision accorde aux CFF et à l'Etat de Genève le droit d'exproprier les propriétaires concernés selon les plans d'emprise et les tableaux des droits à exproprier et prescrit que les demandes d'indemnités présentées au cours de la mise à l'enquête seront transmises à la Commission fédérale d'estimation. L'OFT a également accordé diverses dérogations et octroyé les autorisations découlant de l'application du droit fédéral. Enfin, la décision d'approbation des plans est assortie de très nombreuses charges, dont certaines exigent la production de documents (études, projets de détail, etc.) à l'OFT, pour approbation ou pour information, dans des délais de six à douze mois avant le début des travaux. B. De nombreux opposants, parmi lesquels figure A._, ont recouru contre la décision de l'OFT auprès du Tribunal administratif fédéral (ci-après: le TAF). Le prénommé est locataire d'un appartement sis sur la parcelle 1722 de Genève - Plainpalais, à l'adresse Avenue Alfred-Bertrand 5 (km 69.200 env.). Le tunnel projeté passe juste devant l'une des façades de l'immeuble. Par arrêt du 15 juin 2011, le TAF a rejeté le recours de A._ dans la mesure de sa recevabilité. C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du TAF du 15 juin 2008 ainsi que la décision d'approbation des plans de l'OFT du 5 mai 2008 et de renvoyer le dossier à l'OFT pour compléter le dossier d'autorisation de tous les documents et plans pour lesquels il a imposé une charge. Il requiert également une modification du gabarit du tunnel de Champel de manière à permettre la réalisation d'une dalle flottante de type A avec une hauteur de 125 cm au moins. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et de la décision de l'OFT. Il se plaint pour l'essentiel d'une violation du droit fédéral, faisant valoir en substance que le projet du CEVA est incomplet et ne respecte pas la législation en matière de vibrations et de bruits solidiens. Le TAF conclut au rejet du recours. L'OFT renvoie à sa décision et renonce à se prononcer sur le recours. Les intimés concluent au rejet du recours dans la mesure où il est recevable. L'Office fédéral de l'environnement est d'avis que le projet litigieux est conforme au droit fédéral de l'environnement. Dans sa réplique du 25 janvier 2012, le recourant persiste dans l'ensemble des arguments développés dans son mémoire de recours et confirme ses conclusions. D. Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale du Tribunal fédéral.