Faits:
A. Le 6 mars 2006, le canton de Genève et les Chemins de fer fédéraux (ci-après: les CFF) ont requis de l'Office fédéral des transports (ci-après: l'OFT) l'approbation des plans de la nouvelle ligne ferroviaire Cornavin-Eaux-Vives-Annemasse (CEVA). Ce projet consiste en substance à construire une ligne de chemin de fer à double voie de 14 km environ entre la gare de Cornavin et la frontière franco-suisse, avec une nouvelle gare aux Eaux-Vives, quatre stations et plusieurs ouvrages d'art. Les CFF ont la qualité de maître d'ouvrage. Ce projet a été mis à l'enquête publique dans les communes concernées du 11 septembre au 10 octobre 2006 selon la procédure ordinaire d'approbation des plans prévue aux art. 18 ss de la loi fédérale sur les chemins de fer (LCdF; RS 742.101). Le projet a suscité plus de 1'700 oppositions.
Le 5 mai 2008, l'OFT a rendu une décision d'approbation des plans au sens des art. 18 ss LCdF pour la construction de la liaison ferroviaire CEVA et a déclaré irrecevables, rejeté ou partiellement admis les oppositions suscitées par le projet. Cette décision accorde aux CFF et à l'Etat de Genève le droit d'exproprier les propriétaires concernés selon les plans d'emprise et les tableaux des droits à exproprier et prescrit que les demandes d'indemnités présentées au cours de la mise à l'enquête seront transmises à la Commission fédérale d'estimation. L'OFT a également accordé diverses dérogations et octroyé les autorisations découlant de l'application du droit fédéral. Enfin, la décision d'approbation des plans est assortie de très nombreuses charges, dont certaines exigent la production de documents (études, projets de détail, etc.) à l'OFT, pour approbation ou pour information, dans des délais de six à douze mois avant le début des travaux.
B. De nombreux opposants, parmi lesquels figure A._, ont recouru contre la décision de l'OFT auprès du Tribunal administratif fédéral (ci-après: le TAF).
Le prénommé est locataire d'un appartement sis sur la parcelle 1722 de Genève - Plainpalais, à l'adresse Avenue Alfred-Bertrand 5 (km 69.200 env.). Le tunnel projeté passe juste devant l'une des façades de l'immeuble.
Par arrêt du 15 juin 2011, le TAF a rejeté le recours de A._ dans la mesure de sa recevabilité.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du TAF du 15 juin 2008 ainsi que la décision d'approbation des plans de l'OFT du 5 mai 2008 et de renvoyer le dossier à l'OFT pour compléter le dossier d'autorisation de tous les documents et plans pour lesquels il a imposé une charge. Il requiert également une modification du gabarit du tunnel de Champel de manière à permettre la réalisation d'une dalle flottante de type A avec une hauteur de 125 cm au moins. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et de la décision de l'OFT. Il se plaint pour l'essentiel d'une violation du droit fédéral, faisant valoir en substance que le projet du CEVA est incomplet et ne respecte pas la législation en matière de vibrations et de bruits solidiens.
Le TAF conclut au rejet du recours. L'OFT renvoie à sa décision et renonce à se prononcer sur le recours. Les intimés concluent au rejet du recours dans la mesure où il est recevable. L'Office fédéral de l'environnement est d'avis que le projet litigieux est conforme au droit fédéral de l'environnement. Dans sa réplique du 25 janvier 2012, le recourant persiste dans l'ensemble des arguments développés dans son mémoire de recours et confirme ses conclusions.
D. Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale du Tribunal fédéral.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) émanant du Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) et rendue dans une cause de droit public (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune exception de l'art. 83 LTF n'étant réalisée.
Le recourant a pris part à la procédure devant le TAF. Il est particulièrement touché par la décision attaquée, laquelle confirme l'approbation des plans du CEVA et en particulier la construction du tunnel de Champel, dont le tracé passe juste devant l'une des façades de l'immeuble où il réside. Il a donc la qualité pour recourir au sens de l'art. 89 al. 1 LTF.
Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
2. Le recourant soulève deux griefs principaux à l'encontre de l'arrêt attaqué. D'une part, il conteste l'admissibilité du procédé suivi par l'OFT, et entériné par le TAF, consistant à autoriser un projet ferroviaire sur la base d'une décision assortie de plus de 300 charges (consid. 3 ci-après). D'autre part, il doute que les vibrations et le bruit solidien émis par le futur tunnel de Champel respectent les prescriptions fédérales en la matière (lot 5 du CEVA, projet partiel 25, km 68.393 à 70.024; consid. 4 ss ci-après); à cet égard, les autres tronçons du CEVA ne sont pas remis en cause par le recourant devant le Tribunal fédéral.
3. La décision de l'OFT du 8 mai 2008, confirmée par l'arrêt attaqué, approuve les plans du CEVA en imposant toutefois de très nombreuses charges. Celles-ci exigent parfois la présentation, pour approbation, de plans à fournir au moins douze mois avant le début des travaux, parfois la transmission de documents pour information; elles imposent par ailleurs le respect de certaines normes, telles que les directives sur les chantiers ou encore le suivi de certains aspects environnementaux du projet. La décision est en outre assortie d'une réserve, au ch. 3 du dispositif; il y est en effet précisé que l'OFT "se réserve expressément le droit de modifier la présente décision en fonction du résultat de l'examen des projets de détail ordonnés dans la présente décision d'approbation des plans".
Sur la base de ces éléments, le recourant reproche aux juges du TAF d'avoir violé le droit fédéral, en particulier les art. 18 ss LCdF, puisqu'ils auraient ainsi approuvé un projet manifestement incomplet. Il fait valoir que l'autorisation délivrée par l'OFT devait se fonder sur une analyse complète du projet et prendre en compte de manière détaillée tous les aspects du dossier. La procédure d'approbation des plans d'une installation ferroviaire prévoyait en effet une autorisation unique, couvrant tous les aspects du projet et faisant l'objet d'une seule procédure d'opposition, ce qui serait indispensable pour garantir notamment le droit d'accès au juge. Les lacunes du dossier ne pouvaient, comme en l'espèce, être compensées par de nombreuses charges assorties à la décision d'approbation des plans. Ni la loi fédérale du 18 juin 1999 sur la coordination et la simplification des procédures de décision (ci-après: la LCoord; RO 1999 3071), ni la surveillance de l'OFT et encore moins l'approbation des plans de détail ne justifiaient la prise d'une décision incomplète, comme l'a retenu l'arrêt litigieux. Les juges du TAF avaient par ailleurs commis un déni de justice formel en ne se prononçant pas sur le grief relatif à la violation de l'art. 18b LCdF.
3.1 Les art. 18 ss LCdF, dans leur teneur actuelle, ont été modifiés ou introduits par la LCoord, dont le but était notamment la concentration des décisions pour les projets de construction d'installations de chemins de fer (cf. Message du 25 février 1998 relatif à la loi fédérale sur la coordination et la simplification des procédures d'approbation des plans [ci-après: le Message], FF 1998 2221, p. 2227 et 2263). Ces projets sont dorénavant soumis à la procédure ordinaire d'approbation des plans, avec ou sans expropriation; ceux qui n'ont que peu, voire pas d'effets sur l'environnement, sont toutefois soumis à la procédure simplifiée (art. 18i LCdF). Dans le cadre des art. 18 ss LCdF, la décision d'approbation des plans prise par l'OFT est ainsi l'unique décision de l'administration fédérale. Cette décision permet en principe la construction de l'installation ferroviaire, sans qu'il soit nécessaire d'obtenir d'autres autorisations fondées sur le droit fédéral (art. 18 al. 3 LCdF) ou sur le droit cantonal (art. 18 al. 4 LCdF). Les divers aspects du projet doivent néanmoins faire auparavant l'objet d'une consultation des autorités cantonales concernées ainsi que des autorités fédérales spécialisées (cf. art. 18d et 18g LCdF; cf. Message p. 2230). De même, la demande doit préalablement être publiée dans les organes officiels des communes et des cantons concernés et mise à l'enquête pendant 30 jours (art. 18d al. 2 LCdF), délai durant lequel les éventuelles oppositions doivent être déposées (cf. art. 18f LCdF).
La demande d'approbation des plans doit être adressée avec les documents requis à l'autorité compétente; cette dernière vérifie si le dossier est complet et, au besoin, le fait compléter (art. 18b LCdF). L'art. 3 al. 1 de l'ordonnance du 2 février 2000 sur la procédure d'approbation des plans des installations ferroviaires (OPAPIF; RS 742.142.1) énumère les documents requis. Selon l'art. 6 al. 2 de l'ordonnance du 23 novembre 1983 sur la construction et l'exploitation des chemins de fer (OCF; RS 742.141.1), l'OFT, en approuvant les plans, constate que les documents approuvés permettent de construire les ouvrages et les installations conformément aux prescriptions. L'approbation des plans, des ouvrages et installations a valeur d'autorisation de construire (art. 6 al. 6 OCF).
3.2 En l'espèce, le recourant soutient que l'OFT a rendu sa décision sur la base d'un dossier incomplet et aurait tenté d'en combler les lacunes par un nombre considérable de charges. Le TAF avait au demeurant admis que tous les éléments requis par l'art. 3 al. 1 OPAPIF ne figuraient pas dans le dossier remis à l'OFT et soumis à l'enquête publique.
L'art. 3 al. 1 OPAPIF dispose que la demande d'approbation des plans doit fournir toutes les indications nécessaires à l'évaluation du projet. En l'occurrence, l'OFT a considéré qu'il avait entre les mains les informations indispensables pour vérifier si le projet respectait le droit en vigueur. Il n'a ainsi pas jugé utile d'exiger des documents complémentaires ou de faire compléter le dossier avant de rendre sa décision (art. 3 al. 2 OPAPIF et art. 18b LCdF), même si certaines pièces figurant à l'art. 3 al. 1 OPAPIF pouvaient manquer au moment de la mise à l'enquête. Ce dernier point ne saurait en effet être considéré comme un obstacle à l'approbation des plans et explique d'ailleurs certaines charges. De toute façon, comme l'a rappelé le TAF à propos du grief relatif à l'incomplétude supposée du dossier, il ne s'agit pas en l'espèce de savoir si le dossier mis à l'enquête était complet ou non, mais si la décision entreprise est conforme à la loi (cf. consid. 11.3 de l'arrêt attaqué). A cet égard, il y a lieu de relever que le recourant reproche en vain aux juges du TAF d'avoir commis un déni de justice formel en ne se prononçant pas sur ses critiques relatives à la violation de l'art. 18b LcdF; d'une part les juges ont répondu à son grief, et d'autre part il a amplement été en mesure de faire valoir ses arguments dans son recours au Tribunal fédéral.
Quoi qu'il en soit et contrairement aux arguments du recourant, l'imposition de charges ne traduit aucunement le caractère lacunaire du dossier, pas plus qu'elle ne vide de leur portée les droits des opposants.
3.3 L'on ne saurait en effet oublier que la décision attaquée comporte l'approbation d'un tronçon ferroviaire de près de 14 km, lequel passe aussi bien en milieu urbain que naturel, enjambe des rivières, est à ciel ouvert, en tranchée couverte ou encore en tunnel. Il s'agit dès lors d'un ouvrage d'une grande complexité au plan technique et qui concerne de très nombreux aspects réglementés aussi bien au niveau fédéral que cantonal. Dans le cadre d'un projet d'une telle ampleur, les charges et réserves permettent de lier à l'autorisation de construire des obligations d'agir, de tolérer ou de s'abstenir. L'inscription d'une ou de plusieurs charges dans une décision d'approbation des plans ne signifie en aucun cas que le projet serait irréalisable. L'OFT a ainsi expliqué qu'il jugeait en premier lieu de la plausibilité technique de chaque projet et n'approuvait que les plans réalisables. Dans le domaine technique par exemple, les charges étaient émises en général pour contraindre au respect d'un niveau de sécurité exigé ou pour préciser un aspect du projet dont l'étude détaillée n'était pas opportune au stade de la mise à l'enquête. Les charges sont ainsi toujours limitées dans un cadre précis et bien défini, ce qui est d'ailleurs le cas en l'espèce où les charges ont été émises par domaines déterminés et désignés expressément (cf. réponse de l'OFT du 22 septembre 2011).
Par ailleurs, comme il a été vu au consid. 3.1 ci-dessus, les divers aspects du projet font l'objet d'une consultation par les autorités spécialisées ou concernées, ceci avant, pendant ou après la mise à l'enquête, la législation n'imposant pas un ordre précis. A la suite de ces consultations, des remarques ou objections peuvent entraîner des prescriptions de charges de la part de l'autorité unique de décision, ici l'OFT, en particulier dans un projet complexe comme celui du CEVA. L'OFT a du reste précisé que les charges relevant du domaine environnemental étaient le résultat de la consultation des autorités fédérales et cantonales spécialisées (cf. duplique de l'OFT du 4 février 2010 au TAF). Enfin, le nombre de charges contenues dans la décision d'approbation ne signifie pas ipso facto, comme l'a relevé à juste titre le TAF, que celle-ci ne serait pas conforme aux exigences légales (cf. arrêt attaqué consid. 11.3).
3.4 Le recourant fait enfin valoir que la réserve générale du ch. 3 de la décision d'approbation des plans serait contraire au droit fédéral et que l'absence de contrôle de l'exécution de certaines charges par les opposants serait un vice majeur qui justifiait l'annulation de la décision de l'OFT.
Certaines charges contenues dans le dispositif de la décision de l'OFT du 5 mai 2008 exigent des intimés qu'ils fournissent, pour approbation, des plans de détail dans un délai de 12 mois avant le début des travaux. En vertu de l'art. 18i al. 2 LCdF, la procédure simplifiée s'applique aux plans de détail élaborés sur la base d'un projet déjà approuvé. La demande n'est ni publiée, ni mise à l'enquête; le projet est soumis aux intéressés, qui peuvent faire opposition dans un délai de 30 jours (art. 18i al. 3 LCdF). Les plans de détail permettent ainsi l'approbation subséquente de constructions qui nécessitent une planification plus fine; cette méthode permet également de mieux structurer la procédure, de traiter de manière plus approfondie certains points de détail et de prendre en considération les progrès de la technique (cf. ATF 121 II 378 consid. 6 p. 392 ss). La réserve contenue au ch. 3 de la décision de l'OFT, selon laquelle l'OFT se réserve le droit de modifier sa décision en fonction du résultat de l'examen des projets de détail, ne concerne que les charges qui exigent l'élaboration de plans de détail. Elle a précisément été émise pour sauvegarder les droits des tiers et n'a dès lors rien d'illégal. Elle est en effet la simple expression d'une faculté conférée par la loi à l'autorité d'approbation, l'art. 5 al. 2 OPAPIF prévoyant que si les plans ont été modifiés après avoir été approuvés, les éléments modifiés doivent faire l'objet d'une nouvelle procédure.
Comme le relève le recourant, la procédure de détail ne concerne effectivement pas toutes les charges. Certaines charges exigent plutôt des rapports ou des études, parfois avec le concours d'experts externes, avant le début ou pendant les travaux, voire après. Le recourant se plaint en vain du fait que l'exécution de ces charges ne serait pas soumise au contrôle des opposants. En effet, ainsi que l'a pertinemment souligné le TAF au consid. 12.2.3 de son arrêt, ces charges démontrent que le projet sera suivi par une multitude d'autorités fédérales, cantonales ou communales et par des experts, lesquels devront soit veiller au bon déroulement des travaux, soit vérifier que les plans pourront bien être réalisés tels qu'approuvés et à ce que toute intervention dans des milieux sensibles soit effectuée dans les règles. Ces autorités et experts ont, en cas de difficultés, la faculté de saisir l'OFT, lequel en sa qualité d'autorité de surveillance prendra les mesures nécessaires. Le suivi strict de ces charges est ainsi contrôlé par des experts et une intervention des opposants à ce stade n'est de toute façon pas prévue par la loi.
3.5 Il résulte de ce qui précède que le TAF n'a pas violé le droit fédéral en confirmant une décision d'approbation des plans, au sens des art. 18 ss LCdF, assortie de nombreuses charges. Le recours doit par conséquent être rejeté sur ce point.
4. 4.1 Le recourant fait ensuite grief au TAF d'avoir violé le droit fédéral s'agissant des vibrations et du bruit solidien. Il s'en prend plus précisément à la charge 2.51.1 de la décision attaquée. Celle-ci prescrit que "le gabarit des ouvrages souterrains doit réserver une place suffisante pour que, sur la base du résultat des mesures in situ réalisées au moyen du camion vibreur une fois le gros oeuvre terminé, les mesures de protection adéquates puissent être mises en oeuvre." L'OFT a ainsi approuvé les plans d'ensemble et les profils du tunnel de Champel en imposant à titre de charge que le gabarit de l'ouvrage devra réserver une place suffisante pour des mesures de protection efficaces. La décision ne définit toutefois pas quelles sont ces mesures. Le recourant considère qu'une protection efficace contre les vibrations et les sons solidiens constitue l'un des points centraux de la procédure d'approbation des plans qui ne peut pas faire l'objet d'une charge ou d'une procédure subséquente de détail.
Ainsi, selon le recourant, il ne serait pas conforme au droit matériel fédéral et au principe de la coordination de prévoir comme simple charge la mise en oeuvre de mesures de protection adéquates au sens de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01), sans veiller simultanément à identifier ces mesures et s'assurer qu'elles puissent être prises. Contrairement à ce que soutiennent les juges du TAF, cette manière de procéder n'aurait pas été avalisée par l'ATF 121 II 378, consid. 15. Au demeurant, la problématique posée par le CEVA et les ouvrages souterrains ne relèverait pas de la procédure de détail mais constituerait un point central du processus d'approbation des plans qui ne saurait être renvoyé à une procédure subséquente.
4.2 Comme il a été relevé au consid. 3.4 ci-dessus, les plans de détail permettent l'approbation subséquente de constructions qui nécessitent une planification plus fine. Cette méthode permet en particulier de traiter de manière plus approfondie certains points de détail et de prendre en considération les progrès de la technique. Le projet litigieux prévoit la construction d'une ligne de chemin de fer d'environ 14 km, avec plusieurs stations et ouvrages d'art. Dans ce contexte, il n'est en soi pas contraire au droit fédéral de considérer que le chantier d'un tunnel, en l'occurrence celui de Champel, mérite un examen particulier et approfondi pouvant faire l'objet d'une procédure de détail. Ce mode de procéder n'entrave par ailleurs pas les droits des parties, notamment le droit d'être entendu (cf. art. 18i al. 3 LCdF); les craintes du recourant à ce sujet sont dès lors injustifiées. Quant à ses critiques relatives à l'ATF 121 II 378, elles sont également infondées. Les juges du TAF ont pertinemment résumé cette jurisprudence au consid. 20.2 de leur arrêt. Dans le cadre de la nouvelle ligne CFF Mattstetten-Rothrist, le Tribunal fédéral avait ainsi considéré qu'il était conforme aux prescriptions en matière d'environnement de prévoir des mesurages supplémentaires et des simulations au moment de l'achèvement du gros-oeuvre, afin de disposer de valeurs décisives pour définir les mesures à prendre (ATF 121 II 378 consid. 15d/cc p. 408). Il s'ensuit que la décision litigieuse n'est pas contraire au droit fédéral du simple fait qu'elle renvoie à un stade ultérieur la définition exacte des mesures de protection contre les vibrations, mesures qui devront de toute façon être approuvées par l'OFT, après avoir été soumises au contrôle de l'OFEV et à la connaissance des parties concernées (art. 18i al. 3 LCdF). Il reste toutefois encore à examiner si, concernant le gabarit du tunnel de Champel, la décision d'approbation des plans respecte les dispositions légales applicables en matière de protection de l'environnement, plus précisément en matière de vibrations et de sons solidiens, ce que conteste également le recourant.
5. Le recourant fait valoir que le gabarit du tunnel de Champel, qui exclut d'entrée de cause les mesures de protection du type "dalle flottante A", empêcherait de fait l'aménagement de mesures efficaces contre les vibrations et les sons solidiens. Il remet ainsi en cause la compatibilité du projet avec les exigences du droit matériel fédéral, reprochant au demeurant à l'OFT et au TAF de n'avoir pas suffisamment examiné ces points. Il se plaint au demeurant de ce que le rapport d'impact sur l'environnement du 23 février 2006 (ci-après: le RIE) serait incomplet et estime que les simulations effectuées par les intimés ne sont pas fiables. Il conclut dès lors à ce que le gabarit du tunnel soit modifié pour permettre la réalisation d'une dalle lourde de type A.
6. Les vibrations et bruits solidiens sont des atteintes au sens de l'art. 7 al. 1 LPE. Les valeurs limites d'immissions s'appliquant aux vibrations sont fixées de manière à ce que, selon l'état de la science et l'expérience, les immissions inférieures à ces valeurs ne gênent pas de manière sensible la population dans son bien-être (art. 15 LPE). Les limites applicables figurent dans les ordonnances ou, en l'absence d'ordonnance, dans les décisions fondées directement sur la LPE (art. 12 al. 2 LPE).
En matière de vibrations, aucune ordonnance n'a été édictée par le Conseil fédéral. Il existe néanmoins une directive du 20 décembre 1999 pour l'évaluation des vibrations et du bruit solidien des installations de transport sur rails (EVBSR) élaborée par l'OFEV en collaboration avec l'OFT. Cette directive se fonde sur les exigences de la norme allemande sur l'évaluation des immissions des vibrations sur les personnes à l'intérieur des bâtiments (DIN 4150-2). S'agissant du bruit solidien, elle définit les valeurs indicatives de planification et d'immissions en fonction de la zone touchée et de la catégorie du tronçon (nouveau ou existant). Selon son ch. 1, la directive EVBSR s'applique à l'évaluation des vibrations des nouvelles installations de transport sur rails (let. a), à l'évaluation des vibrations des installations de transport sur rails existantes si la transformation et/ou le changement de mode d'exploitation est tel que l'on peut s'attendre à une hausse des immissions de vibrations d'au moins 40 % par rapport à l'exposition existante (let. b) et à l'évaluation du bruit solidien des nouvelles installations de transport sur rails ainsi que des installations existantes transformées, agrandies ou dont l'exploitation est modifiée (let. c). Selon le ch. 2.1 de la directive, le pronostic se base sur la simulation de la source avec mesurage des immissions ou sur l'utilisation d'un procédé d'estimation fondé sur des mesurages techniques et analytiques. Des mesures doivent être prises si l'évaluation, fondée sur un ou plusieurs pronostics, faite selon les ch. 3.1 et 3.2 de la directive, montre que les exigences correspondantes ne sont pas remplies (ch. 2.2 de la directive). Les vibrations des installations de transport sur rails visés par le ch. 1 let. a et b de la directive doivent être évaluées selon la norme DIN 4150 (ch. 3.1 de la directive). Le bruit solidien ne doit pas dépasser les valeurs indicatives de planification applicables aux nouvelles installations de transport sur rails et les valeurs indicatives d'immissions applicables à la transformation, à l'agrandissement et à la modification d'exploitation d'installations existantes (ch. 3.2 de la directive).
7. La décision d'approbation des plans du 5 mai 2008 expose que des mesurages d'émission et d'immission ne sont possibles que là où des voies ferrées existent déjà. En revanche, s'agissant de tronçons sur lesquels il n'existe encore aucune installation ferroviaire, des pronostics ne peuvent être établis qu'à partir de spectres d'émission moyens provenant de mesures in situ effectuées dans des conditions similaires. L'OFT motive dès lors la charge litigieuse (pour le contenu de la charge, cf. consid. 4.1 ci-dessus) par le fait que les pronostics sur la base de spectres d'émission observés ailleurs sont entachés d'incertitudes et que par conséquent, les résultats de l'EIE s'agissant des tronçons où aucune installation n'existe à l'heure actuelle ne permettent pas de définir les mesures de protection à prendre (lots 3, 4, 5, 6 et 7). L'OFT mentionne ensuite que les auteurs de l'EIE recommandent de construire le gros-oeuvre des tunnels et des tranchées couvertes, puis de procéder à des mesures au moyen du camion vibreur VibroScan afin de déterminer le type et l'étendue des mesures de protection nécessaires. L'OFT poursuit en constatant que les auteurs de l'EIE demandent de prévoir, dans le gabarit des ouvrages souterrains, la place suffisante pour les protections idoines (décision d'approbation des plans, p. 117 ss). Se ralliant à cette appréciation, il a donc imposé la charge litigieuse.
Les juges du TAF ont relevé que la décision de l'OFT reposait en premier lieu sur un fait, à savoir l'impossibilité alléguée de procéder - dans les lieux où aucune installation n'est préexistante - à des calculs précis en matière de vibrations et de son solidien, raison pour laquelle il était renvoyé à des mesures in situ une fois le gros oeuvre réalisé. Ils ont examiné et confirmé l'exactitude de cette affirmation, laquelle n'est d'ailleurs plus contestée ici. En résumé, il doit dès lors être considéré comme établi que le son solidien, pour une émission équivalente de vibrations, pourra varier en fonction de chaque immeuble, voire en fonction de chaque pièce ou étage du même immeuble. Par conséquent, des mesures supplémentaires ou des mesures sur tous les immeubles concernés par le projet ne peuvent pas, en l'état de la technique et des connaissances actuelles, être d'une quelconque utilité (cf. consid. 19.3 de l'arrêt attaqué). Par ailleurs, il faut encore tenir compte du fait que des incertitudes existent également s'agissant de la propagation des vibrations dans le sol. Cette propagation va en effet dépendre de la nature du sol rencontré (dur et homogène ou tendre et hétérogène; rocheux, cailloutis, gravier, terre) ainsi que d'éléments susceptibles d'absorber ou au contraire de répercuter les vibrations (par exemple présence de poches d'eau), ce qui rendrait une modélisation du sous-sol très compliquée. L'OFEV a par ailleurs confirmé que la méthodologie employée pour appréhender la propagation des vibrations dans le sol, consistant à se baser sur des données collectées aux abords d'autres ouvrages ferroviaires, était correcte et correspondait à l'état de la technique et des connaissances dans ce domaine (cf. consid. 19.4 de l'arrêt attaqué). Avec le TAF, il y a dès lors lieu de retenir que les pronostics précis en matière de propagation de vibrations et de génération de son solidien secondaire sont extrêmement difficiles et sujets à des imprécisions relativement importantes. Dès lors et de manière générale, aussi bien pour les auteurs de l'EIE que pour l'OFT ou l'OFEV, la seule méthode efficace pour déterminer l'ampleur des immissions éventuelles consiste à procéder à des mesurages in situ. Dans ces conditions, puisqu'il n'y a à l'heure actuelle aucun tunnel en sous-sol pour le tronçon ici concerné, le seul moyen est de procéder à une simulation une fois le gros-oeuvre achevé.
A cet égard, il y a lieu de relever que le recourant se plaint en vain du caractère incomplet du RIE. Le rapport incriminé décrit certes très sommairement les différentes mesures de protection envisageables, insistant sur le fait que des mesures in situ complémentaires devraient être menées, afin de déterminer les caractéristiques techniques des mesures de protection à prévoir, ainsi que leur étendue. Les auteurs du RIE mentionnent toutefois qu'un système de dalle flottante légère (ou équivalente), serait adéquat et recommandent de prévoir, dans le gabarit des ouvrages souterrains, la place suffisante pour les mesures de protection qui s'avéreraient nécessaires (cf. chapitre 8 ch. 3.2.3 et 5.1.2.3 du RIE). Le RIE a par ailleurs été complété en cours de procédure par l'étude complémentaire des vibrations et du son solidien établie le 29 octobre 2008 par le bureau X._. Cette étude examine en détail la palette des mesures de protection à disposition et propose des solutions concrètes pour le respect de l'EVBSR, compatibles avec le gabarit autorisé pour le tunnel de Champel, précisant ainsi les mesures du RIE. Dans ces conditions, il apparaît que le TAF disposait d'informations suffisantes pour examiner de manière approfondie la conformité du projet avec les prescriptions pertinentes en matière de vibrations et de sons solidiens.
8. 8.1 Il ressort du dossier que les différentes protections qui peuvent être envisagées pour lutter contre les vibrations et le son solidien présentent les caractéristiques suivantes.
En premier lieu, il existe un type de protection dénommé chaussons sous traverses:
- Low vibration track - high attenuation (LVT-HA): chaussons amortisseurs ("silent blocks") qui se présentent comme des semelles sous traverses équipées de Sylomer 18 mm. La place nécessaire en hauteur est de 60 cm. L'efficacité est de 10 dB pour une fréquence de 100 Hz ou plus ou de 5 dB(A) d'efficacité globale. Ce système n'était pas développé au moment de l'étude d'impact et est en cours d'homologation.
Les seconds types de protection sont les systèmes masse-ressort ou dalles flottantes. Il s'agit de dalles en béton d'épaisseur variable posées sur un coussin amortisseur permettant donc à la dalle de "flotter" et atténuant la transmission des vibrations au sol. Les dalles sont dites flottantes parce qu'elles ne doivent en aucun cas toucher les parois du tunnel ou le reste de la structure, hormis les éléments en matériau élastique. Il y en a, en principe, quatre types:
- Dalle flottante de type A. L'espace libre nécessaire est de 125 cm et l'efficacité est de 25 dB à partir de 100 Hz / 16 dB(A) d'efficacité globale.
- Dalle flottante de type B. L'espace libre nécessaire est de 110 cm et l'efficacité est de 23 dB à partir de 100 Hz / 14 dB(A) d'efficacité globale.
- Dalle flottante de type C. L'espace libre nécessaire est de 100 cm et l'efficacité est de 21 dB à partir de 100 Hz / 12 dB(A) d'efficacité globale.
- Dalle flottante de type D. L'espace libre nécessaire est de 80 cm et l'efficacité est de 20 dB à partir de 100 Hz / 10 dB(A) d'efficacité globale.
8.2 Compte tenu de ce qui précède, des dalles de type A ne pourraient effectivement pas être installées, puisqu'elles nécessitent 125 cm d'espace libre et que le gabarit du tunnel de Champel n'offre que 110 cm.
Les premiers juges ont toutefois relevé que les experts présents lors de la séance d'instruction du 9 février 2011 ont indiqué qu'il était possible d'optimiser une dalle de type B et de lui permettre d'offrir les performances d'une dalle de type A, en alourdissant le béton reposant sur le matériau élastique, et que de tels procédés avaient déjà été mis en oeuvre. N'ayant pas d'éléments pour remettre en cause ces déclarations, les juges ont considéré que des dalles flottantes offrant les caractéristiques de protection d'une dalle A pourraient en tous les cas être installées si elles devaient s'avérer nécessaires après les mesurages in situ.
Le recourant conteste vigoureusement ce raisonnement. Il allègue tout d'abord que l'"avis de tous les experts" n'existe pas, puisqu'une seule personne a émis l'avis précité lors de la séance d'instruction, à savoir un ingénieur du bureau X._, comparaissant aux côtés des intimés. Ensuite, cette affirmation n'était reprise dans aucune pièce de la procédure et le rapport complémentaire du 28 octobre 2008 ne mentionnait nullement la possibilité de transformer une dalle de type B en une dalle de type A. Il s'agissait dès lors de l'hypothèse de l'une des parties, que le recourant avait d'ailleurs immédiatement mise en doute, et le TAF ne pouvait, sur cette base, retenir que toutes les mesures envisageables pourraient le cas échéant être prises.
L'affirmation contestée selon laquelle une dalle de type B pourrait être transformée en dalle de type A n'a effectivement été mentionnée qu'une seule fois au cours de la procédure, lors de la séance d'instruction du 9 février 2011. Cependant, comme le relèvent les intimés, les spécialistes présents lors de cette séance n'ont pas réagi pour infirmer cette assertion. Quoi qu'il en soit, la question de savoir si ce fait pouvait être tenu pour établi peut rester indécise, puisque, d'après les pronostics et les calculs effectués par les experts, que ce soit dans le RIE ou dans le rapport complémentaire du 28 octobre 2008, les normes pertinentes seront selon toute vraisemblance respectées, même avec des mesures de protection moins lourdes que celles assurées par des dalles de type A (cf. consid. 8.3 ci-après).
8.3 Le TAF a en effet examiné si les pronostics effectués établissaient que la LPE serait violée. S'agissant des vibrations, il résultait de l'étude complémentaire d'octobre 2008 que la norme DIN 4150.2 serait respectée pour les immeubles situés dans le quartier du tunnel de Champel; ces pronostics s'entendaient sans la pose de protections particulières (cf. arrêt attaqué consid. 22.1). Pour les immissions de son solidien prévisibles, il apparaissait également, en retenant la fourchette de la marge d'incertitude la plus défavorable aux intimés, que toutes les immissions respectaient les valeurs indicatives de planification de l'EVBSR, même sans aucune mesure de protection (cf. consid. 22.2 de l'arrêt attaqué).
Le recourant fait toutefois valoir que les pronostics de vibrations et sons solidiens sur lesquels se basent les experts seraient invalides, le TAF ayant lui-même admis l'absence de fiabilité des simulations effectuées par les intimés. Ces derniers ne pouvaient dès lors en aucun cas se fonder sur leurs rapports pour justifier la faiblesse des mesures de protection envisagées et l'impossibilité de prendre des mesures additionnelles.
Comme l'a relevé l'OFEV dans ses déterminations du 21 novembre 2011, un pronostic, quel qu'il soit, reste un pronostic et comporte de ce fait des hypothèses de travail qui servent à évaluer l'ordre de grandeur des nuisances engendrées par un nouveau projet. C'est pour ce motif d'ailleurs qu'il avait demandé dès le début de la procédure que des mesurages soient effectués in situ. Pour cette même raison, les juges du TAF ont tenu compte des calculs affinés et des pronostics plus conservateurs contenus dans le complément au RIE et ont pris en considération les marges d'incertitude liées à l'impossibilité de se livrer à des calculs prévisionnels précis. Les experts ont ainsi tablé sur des marges d'incertitude de ± 30 % pour les calculs de vibration et de ± 5 dB(A) pour le son solidien. Lors de ses prises de position, l'OFEV n'a rien eu à objecter à ces marges d'incertitudes et a confirmé, au cours de la séance d'instruction du 9 février 2011, que de telles marges étaient normales et correspondaient à l'état de la technique. Le recourant ne dit pas en quoi cette appréciation serait incorrecte et n'apporte pas d'éléments concrets propres à démontrer que les pronostics étaient invalides. Il y a dès lors lieu de retenir, avec le TAF, que les imprécisions du RIE et de son rapport complémentaire à cet égard n'ont pas entraîné une quelconque violation de la loi (cf. consid. 22.3.2 de l'arrêt attaqué) et que, sous réserve des résultats des mesurages qui seront effectués in situ, les valeurs préconisées par l'EVBSR seront très probablement respectées avec les mesures proposées, à savoir le système LVT-HA, voire une dalle flottante de type D (cf. annexe 6.1 de l'étude complémentaire du 29 octobre 2008).
8.4 Le TAF pouvait ainsi, sans violer la LPE, confirmer la décision de l'OFT, les plans du tunnel de Champel et la charge 2.51.1. Il apparaît en effet que les mesures préconisées et les charges imposées aux maîtres d'ouvrage protégeront les riverains de manière adéquate et suffisante contre les vibrations et le bruit solidien. Il appartiendra par conséquent à l'OFT de définir la nature exacte des protections à poser, une fois les mesurages in situ effectués. Dans ce sens, la conclusion du recourant tendant à faire modifier le gabarit du tunnel pour permettre la réalisation d'une dalle lourde de type A doit être rejetée.
9. Il résulte de ce qui précède que le recours doit être rejeté, aux frais du recourant qui succombe (art. 65 et 66 al. 1 LTF). En vertu de l'art. 68 al. 3 LTF, les intimés n'ont pas droit à des dépens.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des transports, au Tribunal administratif fédéral, Cour I, et à l'Office fédéral de l'environnement, Division Droit.
Lausanne, le 15 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard