Faits:
A. Le 6 mars 2006, le canton de Genève et les Chemins de fer fédéraux (ci-après: les CFF) ont requis de l'Office fédéral des transports (ci-après: l'OFT) l'approbation des plans de la nouvelle ligne ferroviaire Cornavin-Eaux-Vives-Annemasse (CEVA). Ce projet consiste en substance à construire une ligne de chemin de fer à double voie de 14 km environ entre la gare de Cornavin et la frontière franco-suisse, avec une nouvelle gare aux Eaux-Vives, quatre stations et plusieurs ouvrages d'art. Les CFF ont la qualité de maître d'ouvrage. Ce projet a été mis à l'enquête publique dans les communes concernées du 11 septembre au 10 octobre 2006 selon la procédure ordinaire d'approbation des plans prévue aux art. 18 ss de la loi fédérale sur les chemins de fer (LCdF; RS 742.101). Le projet a suscité plus de 1'700 oppositions.
Le 5 mai 2008, l'OFT a rendu une décision d'approbation des plans au sens des <ref-law> pour la construction de la liaison ferroviaire CEVA et a déclaré irrecevables, rejeté ou partiellement admis les oppositions suscitées par le projet. Cette décision accorde aux CFF et à l'Etat de Genève le droit d'exproprier les propriétaires concernés selon les plans d'emprise et les tableaux des droits à exproprier et prescrit que les demandes d'indemnités présentées au cours de la mise à l'enquête seront transmises à la Commission fédérale d'estimation. L'OFT a également accordé diverses dérogations et octroyé les autorisations découlant de l'application du droit fédéral. Enfin, la décision d'approbation des plans est assortie de très nombreuses charges, dont certaines exigent la production de documents (études, projets de détail, etc.) à l'OFT, pour approbation ou pour information, dans des délais de six à douze mois avant le début des travaux.
B. De nombreux opposants, parmi lesquels figurent A._ et consorts ont recouru contre la décision de l'OFT auprès du Tribunal administratif fédéral (ci-après: le TAF).
Par arrêt du 15 juin 2011, le TAF a rejeté le recours des intéressés dans la mesure de sa recevabilité.
C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt du TAF du 15 juin 2008, subsidiairement d'annuler l'arrêt attaqué et de renvoyer la cause au TAF pour nouvelle décision dans le sens des considérants. Les recourants se plaignent pour l'essentiel d'une appréciation arbitraire des faits, d'une violation de leur droit d'être entendus ainsi que d'une violation des principes de la liberté personnelle, du respect de la vie privée et de la garantie de la propriété.
Le TAF conclut au rejet du recours. L'OFT renvoie à sa décision et renonce à se prononcer sur le recours. Les intimés concluent à l'irrecevabilité du recours, subsidiairement à son rejet dans la mesure où il est recevable. L'Office fédéral de l'environnement est d'avis que le projet litigieux est conforme au droit fédéral de l'environnement. Dans leur réplique du 25 janvier 2012, les recourants déclarent persister intégralement dans leurs conclusions.
Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif contenue dans le recours en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale du Tribunal fédéral.

Considérant en droit:
1. 1.1 Dirigé contre une décision finale (<ref-law>) émanant du Tribunal administratif fédéral (<ref-law>) et rendue dans une cause de droit public (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune exception de l'<ref-law> n'étant réalisée.
Les recourants ont pris part à la procédure devant le TAF. Ils sont propriétaires d'immeubles qui se situent soit directement sur le tracé du tunnel de Champel, soit à quelques mètres ou dizaines de mètres de celui-ci. Ils sont ainsi particulièrement touchés par la décision attaquée, qui confirme l'approbation des plans du CEVA, et ont donc la qualité pour recourir au sens de l'<ref-law>.
Les autres conditions de recevabilité étant réunies, il y a lieu d'entrer en matière.
1.2 Les recourants ont joint à leur mémoire de recours un courrier de l'OFT du 20 juillet 2011. Il s'agit d'une pièce nouvelle qui n'a pas à être prise en considération, en vertu de l'<ref-law>. D'ailleurs, celle-ci n'était de toute manière pas de nature à influer sur le sort de la présente procédure.
2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> sont réalisées.
Par ailleurs, selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; <ref-ruling> consid. 3.1 p. 265) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2a p. 41).
2.1 Dans la partie "en fait" de leur mémoire de recours, les recourants résument la procédure du projet du CEVA et présentent leur propre version des faits. Une telle argumentation, dans la mesure où elle s'écarte des faits constatés dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué en quoi ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
2.2 Dans un grief intitulé "arbitraire", les intéressés reprochent au TAF d'avoir procédé à une appréciation arbitraire des faits. Ils estiment que la cadence des trains a été minimisée et que les mesures de protection ne seront pas suffisantes en cas d'augmentation du nombre de rames à deux étages ou de passages de trains de marchandises.
S'agissant de la cadence des trains, le TAF s'est fondé sur les chiffres retenus par les intimés et l'OFT lors de la séance d'instruction du 9 février 2011. Il a ainsi retenu que durant les heures diurnes, à savoir de 6h00 à 22h00, il y aura 12 trains par heure, soit 192 au total. Quant aux heures nocturnes, il n'y aura pas de trafic entre 24h00 et 5h00 et, durant les 3 heures restantes (soit de 22h01 à 24h00 et de 5h00 à 5h59), il y aura 12 trains au total et 3,75 trains en moyenne pour l'heure la plus chargée. Les recourants ne disent pas en quoi ces chiffres seraient inexacts ou auraient été retenus de façon arbitraire. Ils se contentent de les mettre en doute de manière vague en insinuant que les intimés peuvent "dire ce qui les arrange, dans la mesure où personne ne peut les contredire". Ceci ne suffit toutefois pas à constater que les juges du TAF auraient procédé à une appréciation arbitraire des faits.
Les recourants soutiennent ensuite vainement que les trains à deux étages n'ont pas été pris en considération dans le calcul des nuisances. En effet, les juges du TAF ont consacré le consid. 22.3.3 de leur arrêt à examiner l'influence de l'augmentation des rames à deux étages sur le calcul des pronostics et sur les protections à mettre en place, pour arriver à la conclusion que l'introduction éventuelle d'un nombre relativement important de trains à deux étages ne saurait pour l'heure constituer une quelconque violation de la loi. La circulation des trains à deux étages ayant été prise en compte et analysée soigneusement dans l'arrêt attaqué, il apparaît que l'établissement des faits n'est pas incomplet sur ce point.
Le TAF a retenu que des trains de marchandises ne circuleront pas sur le trajet du CEVA. Pour ce faire, il s'est basé sur l'étude d'impact sur l'environnement et sur les déclarations des intimés qui, lors de la séance d'instruction du 9 février 2011, ont confirmé qu'il n'était pas prévu de faire circuler des trains de marchandises sur la ligne ferroviaire du CEVA. Selon les recourants, ceci serait toutefois un "mensonge éhonté" de la part des maîtres d'ouvrage. A leur avis, il serait en effet évident qu'une fois la ligne du CEVA construite, personne ne pourra jamais s'opposer à ce que des trains de marchandises l'empruntent au motif que cela aurait été nié dans la procédure d'approbation. Cette argumentation, pour le moins spécieuse, n'établit nullement que les juges du TAF auraient constaté ce fait de façon insoutenable.
2.3 Mal fondées, les critiques des recourants relatives à l'établissement et à l'appréciation des faits doivent être écartées. Il est par ailleurs pris acte que des trains de marchandises ne circuleront pas sur le trajet du CEVA. Il n'y a dès lors pas lieu de compléter ou corriger les faits retenus dans l'arrêt attaqué et le Tribunal fédéral est lié par ceux-ci conformément à l'<ref-law>.
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourants se plaignent d'une violation de leur droit d'être entendus.
3.1 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend le droit pour l'intéressé de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 2.2 p. 504 s.; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2a/aa p. 16 et les arrêts cités).
3.2 En l'espèce, les recourants critiquent la méthode utilisée par l'OFT et entérinée par le TAF, qui consisterait à compléter un dossier postérieurement à la délivrance de l'autorisation sollicitée, par le biais de charges imposées au requérant, éludant ainsi le droit d'être entendus des opposants; ces derniers ne pouvaient en effet avoir accès qu'à un dossier partiel et insuffisant. Cette violation ne pouvait être réparée en cours de procédure, puisque les opposants n'avaient pas accès aux pièces complémentaires transmises à l'OFT et qu'une participation de leur part au contrôle des charges restait aléatoire, dans la mesure où leur qualité de partie devait encore être reconnue.
Tout d'abord, c'est en vain que les recourants affirment que le dossier était incomplet du seul fait que la décision de l'OFT était assortie de nombreuses charges. En l'occurrence, l'OFT a considéré qu'il avait entre les mains les informations indispensables pour vérifier si le projet respectait le droit en vigueur. Il n'a ainsi pas jugé utile d'exiger des documents complémentaires ou de faire compléter le dossier avant de rendre sa décision (<ref-law>), même si certaines pièces pouvaient manquer au moment de la mise à l'enquête. De toute façon, comme l'a rappelé le TAF à propos du grief relatif à l'incomplétude supposée du dossier, il ne s'agit pas en l'espèce de savoir si le dossier mis à l'enquête était complet ou non, mais si la décision entreprise est conforme à la loi; le nombre de charges contenues dans la décision d'approbation ne signifie au demeurant pas ipso facto que celle-ci ne serait pas conforme aux exigences légales (cf. arrêt attaqué consid. 11.3). L'on ne saurait dès lors déceler une violation du droit d'être entendu des recourants du seul fait que la décision de l'OFT était assortie de très nombreuses charges.
Les recourants se plaignent ensuite de ne pas avoir de contrôle sur la bonne exécution des charges contenues dans la décision, que ce soit des charges imposant des projets de détails ou exigeant des rapports ou études complémentaires. En vertu de l'<ref-law>, la procédure simplifiée s'applique aux plans de détail élaborés sur la base d'un projet déjà approuvé. La demande n'est ni publiée, ni mise à l'enquête; le projet est soumis aux intéressés, qui peuvent faire opposition dans un délai de 30 jours (<ref-law>). La procédure de plans de détails permet ainsi de sauvegarder les droits des tiers, notamment leur droit d'être entendus. Par ailleurs, les recourants se plaignent en vain que l'exécution des autres charges, à savoir celles qui exigent plutôt des rapports ou des études, parfois avec le concours d'experts externes, ne serait pas soumise au contrôle des opposants. En effet, ainsi que l'a pertinemment souligné le TAF au consid. 12.2.3 de son arrêt, ces charges démontrent que le projet sera suivi par une multitude d'autorités fédérales, cantonales ou communales et par des experts, lesquels devront soit veiller au bon déroulement des travaux, soit vérifier que les plans pourront bien être réalisés tels qu'approuvés et à ce que toute intervention dans des milieux sensibles soit effectuée dans les règles. Ces autorités et experts ont, en cas de difficultés, la faculté de saisir l'OFT, lequel en sa qualité d'autorité de surveillance prendra les mesures nécessaires. Le suivi strict de ces charges est ainsi contrôlé par des experts. Une intervention des opposants à ce stade n'est en outre pas prévue par la loi. Le grief tiré de la violation du droit d'être entendu doit par conséquent également être rejeté sur ce point.
3.3 Les recourants allèguent que le TAF a considéré, de manière à lier le Tribunal fédéral, que des dalles de type A ne pourraient pas être installées puisqu'elles nécessitent 125 cm d'espace libre et que le gabarit du tunnel de Champel n'en offre que 110. Il aurait toutefois contourné cet obstacle sur la base d'affirmations émises lors de la séance d'instruction du 9 février 2011, selon lesquelles il serait possible de transformer une dalle de type B en dalle de type A; en retenant cet allégué, sans donner aux recourants la possibilité de s'exprimer à ce sujet, le TAF aurait violé leur droit d'être entendus. Les intéressés ne contestent toutefois pas qu'ils étaient présents lors de ladite séance d'instruction et qu'ils ont eu tout loisir de s'exprimer sur les différents thèmes abordés, que ce soit directement au cours de la séance ou à la réception du procès-verbal, un délai leur ayant été imparti pour formuler des observations. Il n'y a donc pas non plus de violation du droit d'être entendu sous cet angle et le TAF n'était pas tenu, au surplus, sur la base de l'art. 29 al. 2 Cst., d'inviter expressément les différentes parties à prendre position sur l'allégué en question ni de les avertir de son intention de retenir ce fait dans la motivation de son arrêt. Le grief doit donc être rejeté.
4. Les recourants invoquent ensuite divers droits fondamentaux.
Aux termes de l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit ainsi, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Le Tribunal fédéral n'a pas à vérifier de lui-même si l'acte entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans le mémoire de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 1.4 p. 254; <ref-ruling> consid. 6 p. 397).
Il convient par ailleurs de rappeler que les restrictions de droit public à des droits fondamentaux ne sont compatibles avec la Constitution que si elles reposent sur une base légale, sont justifiées par un intérêt public suffisant, et respectent le principe de la proportionnalité (art. 36 al. 1 à 3 Cst.).
5. Les recourants se plaignent d'une violation de la liberté personnelle et du respect de la vie privée, plus précisément des art. 10 al. 2 Cst. et 8 CEDH. En vertu de l'art. 10 al. 2 Cst., tout être humain a droit à la liberté personnelle, notamment à l'intégrité physique et psychique et à la liberté de mouvement. L'art. 8 par. 1 CEDH prévoit que toute personne a droit au respect de sa vie privée et familiale, de son domicile et de sa correspondance.
5.1 Les intéressés rappellent que la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01) a pour but de protéger les hommes contre les atteintes nuisibles ou incommodantes (<ref-law>). Les atteintes qui pourraient devenir nuisibles ou incommodantes seront réduites à titre préventif et assez tôt (<ref-law>). Selon l'<ref-law>, les valeurs limites d'immissions s'appliquant au bruit et aux vibrations sont fixées de manière que, selon l'état de la science et l'expérience, les immissions inférieures à ces valeurs ne gênent pas de manière sensible la population dans son bien-être. L'<ref-law> charge le Conseil fédéral d'édicter par voie d'ordonnance les valeurs limites d'immissions applicables à l'évaluation des atteintes nuisibles ou incommodantes. Le Conseil fédéral a ainsi édicté l'ordonnance du 15 décembre 1986 sur la protection contre le bruit (OPB; RS 814.41), alors qu'aucune ordonnance n'a été édictée en matière de vibrations. Le droit cantonal genevois, pour sa part, comporte un règlement du 12 février 2003 sur la protection contre le bruit et les vibrations, édicté sur la base de la LPE et de l'OPB. Les recourants font valoir que la législation en vigueur ne vise pas seulement à protéger la population des effets du bruit et des vibrations ayant des effets néfastes sur la santé, mais également à lui garantir un bien-être en prévenant les émissions incommodantes. C'est d'ailleurs ce que le rapport SOVAGEV mettait clairement en évidence en parlant de niveau de confort acceptable. Le TAF a toutefois considéré que les recourants avaient droit uniquement à la protection de la santé, mais en aucun cas au maintien d'un confort acceptable. Le TAF a ainsi méconnu la portée des <ref-law> et 8 CEDH en confirmant la charge 2.51.1 de la décision de l'OFT, libellée comme suit: "Le gabarit des ouvrages souterrains doit réserver une place suffisante pour que, sur la base du résultat des mesures in situ réalisées au moyen du camion vibreur une fois le gros oeuvre terminé, les mesures de protection adéquates puissent être mises en oeuvre." De même, le TAF aurait violé les droits constitutionnels précités en procédant à un "lissage" des nuisances dans le temps; il aurait plutôt dû examiner si, lors du passage d'un train, et non pas sur une moyenne horaire, ou journalière, les valeurs limites étaient bien respectées. Enfin, l'arrêt attaqué, en tant qu'il autorise les intimés à ne prévoir qu'un espace libre de 110 cm pour la mise en place des mesures de protection adéquates, alors que cet espace est insuffisant pour installer une dalle flottante de type A, viole aussi bien l'<ref-law> que les art. 10 al. 2 Cst. et 8 CEDH.
Les recourants n'expliquent cependant pas concrètement en quoi consiste la violation des droits fondamentaux invoqués. Ils ne font pas valoir que les restrictions alléguées à leur liberté personnelle ou à leur vie privée ne reposeraient pas sur une base légale, ne répondraient pas à un intérêt public suffisant ou seraient disproportionnées. Plus particulièrement, ils ne montrent pas quelles dispositions de la LPE, d'ordonnances ou de directives ayant pour objet de protéger les hommes contre les atteintes nuisibles ou incommodantes, auraient été mal appliquées. La motivation de leur recours ne répond ainsi manifestement pas aux exigences de l'<ref-law> (cf. consid. 4 ci-dessus) et est par conséquent irrecevable. Quoi qu'il en soit, le grief aurait de toute façon dû être rejeté.
5.2 Les intéressés se prévalent en vain du rapport SOVAGEV. Cette étude a été effectuée par une société simple (la SOVAGEV) dont le but est la mise en valeur des terrains laissés libres par la construction en sous-sol de la gare des Eaux-Vives. Cette société a accepté de prendre à sa charge la pose de mesures supplémentaires contre les vibrations pour garantir un "niveau de confort acceptable" des futurs immeubles qu'elle entend construire. Il s'agit donc de mesures que des promoteurs souhaitent prendre pour garantir la construction d'immeubles qui semblent être de haut standing. Comme l'ont relevé justement les juges du TAF au consid. 15.1 de leur arrêt, le fait que lesdits promoteurs jugent nécessaire d'adopter à leurs frais certaines mesures en accord avec les intimés sort du cadre de la présente cause et de l'application stricte de la loi. Par conséquent, le degré de protection que les parties entendent se garantir n'a rien à voir avec la question du respect des dispositions de la LPE. Au demeurant et contrairement à ce que soutiennent les recourants, la LPE n'a pas pour but de garantir un niveau de confort acceptable, notion qui est par définition subjective, mais de protéger la population dans sa santé et son bien-être.
5.3 S'agissant du "lissage" des nuisances, les considérations du TAF à cet égard ne prêtent pas non plus le flanc à la critique. Devant les premiers juges, certains recourants avaient déjà reproché à la directive du 20 décembre 1999, élaborée par l'OFEV avec la collaboration de l'OFT, pour l'évaluation des vibrations et du bruit solidien des installations de transport sur rails (EVBSR) de procéder à un "lissage" des nuisances. En d'autres termes, ils estimaient que la fixation de valeurs limite en fonction d'une moyenne horaire n'assurerait pas le niveau de confort acceptable qu'ils revendiquaient; à leur avis, il y avait plutôt lieu de tenir compte de chaque passage de train isolément et par conséquent la gêne que chacun de ces passages provoquait. Le TAF a considéré à juste titre que, fondée sur une prétention qui n'était pas garantie par la LPE (niveau de confort acceptable), une telle critique devait, pour ce motif déjà, être écartée (consid. 15.5.3 de l'arrêt attaqué). Par ailleurs, le "lissage" ici reproché était à la base également de l'OPB et la conformité à la LPE d'un tel calcul fondé sur des moyennes horaires (en fonction du jour ou de la nuit) avait déjà été confirmée par le TF (<ref-ruling>, consid. 41 et 44 à 46). Il n'y a dès lors pas lieu de revenir sur cette question.
5.4 Finalement, il n'est pas contesté que des dalles de type A, représentant la protection maximale contre les vibrations et le son solidien, ne pourront pas être installées dans le tunnel de Champel, puisqu'elles nécessitent 125 cm d'espace libre et que le gabarit du tunnel n'en offre que 110. Ceci ne consacre cependant pas une violation de la LPE. En effet, s'agissant des vibrations, il résulte de l'étude complémentaire d'octobre 2008 que la norme DIN 4150.2 sera respectée pour les immeubles situés dans le quartier du tunnel de Champel; ces pronostics s'entendent sans la pose de protections particulières (cf. arrêt attaqué consid. 22.1). Pour les immissions de son solidien prévisibles, il apparaît également, en retenant la fourchette de la marge d'incertitude la plus défavorable aux intimés, que toutes les immissions respectent les valeurs indicatives de planification de l'EVBSR, même sans aucune mesure de protection (cf. consid. 22.2 de l'arrêt attaqué). Pour effectuer ces pronostics, les experts ont tablé sur des marges d'incertitude de ± 30 % pour les calculs de vibration et de ± 5 dB(A) pour le son solidien. Lors de ses prises de position, l'OFEV n'a rien eu à objecter à ces marges d'incertitudes et a confirmé, au cours de la séance d'instruction du 9 février 2011, que de telles marges étaient normales et correspondaient à l'état de la technique. Il y a dès lors lieu de retenir, avec le TAF, que les valeurs préconisées par l'EVBSR seront très probablement respectées avec les mesures proposées, à savoir le système LVT-HA, voire une dalle flottante de type D (cf. annexe 6.1 de l'étude complémentaire du 29 octobre 2008).
Dans ces conditions, la charge 2.51.1 de la décision de l'OFT, qui impose aux intimés de prévoir, dans le gabarit du tunnel, une place suffisante pour des mesures de protection efficaces, permet de garantir que les riverains seront protégés de manière adéquate et suffisante contre les vibrations et le bruit solidien, des mesures in situ étant réalisées une fois le gros oeuvre terminé.
6. Invoquant l'art. 26 al. 1 Cst., les recourants se plaignent d'une violation de la garantie de la propriété. Ils soutiennent qu'une atteinte à ce droit fondamental sera réalisée par les affaissements de terrain, qui constituent un risque reconnu et qui seront de nature à engendrer des fissures, ou pire des effondrements. Des mesures efficaces et adéquates devraient donc d'ores et déjà être prises à titre préventif. Faute toutefois d'obtenir des assurances concrètes et précises de la part des maîtres d'ouvrage, de nature à garantir les propriétés des recourants, le TAF ne pouvait pas confirmer la décision de l'OFT; il aurait au contraire dû l'annuler et renvoyer le dossier à l'OFT afin qu'il obtienne les compléments requis.
Il est fort douteux que la motivation de ce grief soit suffisante sous l'angle de l'<ref-law> (cf. ci-dessus consid. 4 et 5.1 in fine). Cette question peut toutefois rester indécise puisque les critiques soulevées ne sont de toute façon pas pertinentes.
Il ressort en effet de la décision d'approbation des plans du 5 mai 2008 que le service cantonal de géologie avait rendu un préavis favorable, préconisant des mesures de nivellement dans le cadre de la surveillance des déformations à proximité des ouvrages. L'OFT a également retenu que d'autres sondages seraient réalisés là où cela pourrait s'avérer nécessaire. La décision litigieuse contient des charges relatives à ces questions, et plus précisément les charges 2.10.8, 2.10.9 et 2.10.14. La première impose qu'il soit tenu compte de toutes les remarques de l'expert indépendant mandaté par les CFF; la seconde impose que les aspects géologique, hydrologique et géotechnique soient complétés et joints au rapport d'expert susmentionné; la troisième impose que l'expert indépendant poursuive son mandat durant la phase de construction et transmette des rapports à l'OFT au fur et à mesure de l'état d'avancement des travaux. Le TAF a par ailleurs retenu que la décision de l'OFT avait imposé les recommandations des experts relatives aux méthodes de construction, et que ces méthodes étaient plus exigeantes que ce qui était écrit dans le rapport technique du 28 février 2006 (cf. arrêt attaqué consid. 23.2). Les précautions à prendre étaient nombreuses et il existait plusieurs méthodes à disposition, comme il résultait des explications fournies lors de la séance d'instruction du 9 février 2011; les soumissionnaires devaient au demeurant être prêts à adapter les méthodes de constructions au fur et à mesure de la progression des travaux et en fonction des caractéristiques rencontrées (cf. arrêt attaqué consid. 23.3). En outre, le rapport technique présentait une étude de la structure du sous-sol, sans qu'aucune autorité spécialisée n'ait affirmé que les connaissances du sous-sol seraient insuffisantes ou inexactes ou n'en ait conclu que le projet serait irréalisable. Des sondages suffisants avaient été effectués et des sondages complémentaires étaient projetés au cours de l'avancement des travaux, sous la surveillance du service cantonal de géologie (cf. arrêt attaqué consid. 23.4). A cela s'ajoutait qu'un concept de surveillance avait été prévu, qui comportait notamment une surveillance constante, pendant les travaux, de tout phénomène de tassement, avec rapports détaillés à tous les maîtres d'oeuvre appelés à travailler sur ces chantiers (cf. arrêt attaqué consid. 23.5). Au vu de ce qui précède, le TAF pouvait donc, sans porter atteinte à la garantie de la propriété des recourants, considérer que les mesures prévues paraissaient suffisantes et que la décision de l'OFT ne comportait aucune violation de la loi sur ce point.
7. Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge des recourants qui succombent (art. 65 et 66 al. 1 LTF). En vertu de l'<ref-law>, les intimés n'ont pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des transports, au Tribunal administratif fédéral, Cour I, et à l'Office fédéral de l'environnement, Division Droit.
Lausanne, le 15 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard