Faits:
A. Le 6 mars 2006, le canton de Genève et les Chemins de fer fédéraux (ci-après: les CFF) ont requis de l'Office fédéral des transports (ci-après: l'OFT) l'approbation des plans de la nouvelle ligne ferroviaire Cornavin-Eaux-Vives-Annemasse (CEVA). Ce projet consiste en substance à construire une ligne de chemin de fer à double voie de 14 km environ entre la gare de Cornavin et la frontière franco-suisse, avec une nouvelle gare aux Eaux-Vives, quatre stations et plusieurs ouvrages d'art. Les CFF ont la qualité de maître d'ouvrage. Ce projet a été mis à l'enquête publique dans les communes concernées du 11 septembre au 10 octobre 2006 selon la procédure ordinaire d'approbation des plans prévue aux art. 18 ss de la loi fédérale sur les chemins de fer (LCdF; RS 742.101). Le projet a suscité plus de 1'700 oppositions.
Le 5 mai 2008, l'OFT a rendu une décision d'approbation des plans au sens des art. 18 ss LCdF pour la construction de la liaison ferroviaire CEVA et a déclaré irrecevables, rejeté ou partiellement admis les oppositions suscitées par le projet. Cette décision accorde aux CFF et à l'Etat de Genève le droit d'exproprier les propriétaires concernés selon les plans d'emprise et les tableaux des droits à exproprier et prescrit que les demandes d'indemnités présentées au cours de la mise à l'enquête seront transmises à la Commission fédérale d'estimation. L'OFT a également accordé diverses dérogations et octroyé les autorisations découlant de l'application du droit fédéral. Enfin, la décision d'approbation des plans est assortie de très nombreuses charges, dont certaines exigent la production de documents (études, projets de détail, etc.) à l'OFT, pour approbation ou pour information, dans des délais de six à douze mois avant le début des travaux.
B. De nombreux opposants, parmi lesquels figurent A._ et B._, ont recouru contre la décision de l'OFT auprès du Tribunal administratif fédéral (ci-après: le TAF).
Les prénommées sont propriétaires de la parcelle 1945 de Genève-Plainpalais, sise au Chemin des Crêts-de-Champel 8, à hauteur des km 68.393 et 68.950 du projet. Le tracé passe directement sous leur fonds et même sous l'un des immeubles qui y est érigé, et qu'elles occupent. Le projet comporte une expropriation définitive de 4'203 m2 et une occupation temporaire de 1'028 m2. Une servitude personnelle de superficie pour un tunnel ferroviaire, une servitude personnelle d'interdiction de bâtir et une servitude personnelle de tolérance d'exploitation ferroviaire sont également prévues. La parcelle fait au surplus l'objet d'une autorisation de défrichement définitif de 310 m2 et de défrichement temporaire de 1'600 m2.
Par arrêt du 15 juin 2011, le TAF a rejeté le recours de A._ et B._ dans la mesure de sa recevabilité.
C. Agissant par la voie du recours en matière de droit public, les prénommées demandent au Tribunal fédéral d'annuler l'arrêt du TAF du 15 juin 2011. Elles se plaignent pour l'essentiel d'une violation du droit fédéral et de la garantie de la propriété. Elles invoquent également l'art. 29 al. 1 Cst. relatif aux garanties générales de procédure.
Le TAF et les intimés concluent au rejet du recours. L'OFT renvoie à sa décision d'approbation des plans du 5 mai 2008 et renonce à se prononcer sur la présente cause. L'Office fédéral de l'environnement estime que l'arrêt litigieux est conforme au droit fédéral de l'environnement.
Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis les requêtes d'effet suspensif contenues dans les recours dirigés contre l'arrêt du TAF en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne pouvaient être exécutés avant la décision finale du Tribunal fédéral.
Les recourantes ont réagi à l'ordonnance précitée par courrier du 17 octobre 2011. Le 28 octobre 2011, elles ont déposé une nouvelle requête d'effet suspensif, complétée le 20 novembre 2011.
Par ordonnance du 30 novembre 2011, le Président de la Ire Cour de droit public a admis la nouvelle requête d'effet suspensif des recourantes en ce sens qu'aucun abattage d'arbres ne pourra être effectuée sur leur parcelle avant la décision finale du Tribunal fédéral.
Dans leur réplique du 24 janvier 2012, les recourantes ont maintenu leurs conclusions.

Considérant en droit:
1. 1.1 Dirigé contre une décision finale (art. 90 LTF) émanant du Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) et rendue dans une cause de droit public (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune exception de l'art. 83 LTF n'étant réalisée.
Les recourantes ont pris part à la procédure devant le TAF. Elles sont particulièrement touchées par la décision attaquée, laquelle confirme l'approbation des plans du CEVA dont le tracé passe directement sous leur parcelle et qui implique l'expropriation d'une partie de leur fonds, la création de diverses servitudes personnelles et un défrichement définitif et temporaire de leur forêt. Elles ont donc la qualité pour recourir au sens de l'art. 89 al. 1 LTF.
Il convient donc d'entrer en matière, sous les réserves qui suivent.
1.2 Selon l'art. 100 al. 1 LTF, le recours doit être déposé devant le Tribunal fédéral dans les 30 jours qui suivent la notification de la décision attaquée. L'art. 42 al. 1 LTF prévoit que le mémoire de recours doit notamment contenir les conclusions et les motifs à l'appui de celles-ci. Seul l'art. 43 LTF permet au Tribunal fédéral, à certaines conditions, d'accorder au recourant un délai approprié pour compléter la motivation de son recours, et ce en matière d'entraide pénale internationale uniquement.
Dans leurs écritures des 28 octobre et 20 novembre 2011, les recourantes développent de nouveaux griefs qui n'ont pas été soulevés dans leur mémoire de recours (disparition sur les plans d'un point de limite au km 68.393 et ajout d'une tranchée couverte rive droite qui n'aurait fait l'objet d'aucune procédure d'approbation des plans). Elles ne sont toutefois pas légitimées à compléter la motivation de leur mémoire après l'échéance du délai de recours. Partant, ces critiques, tardives, sont irrecevables.
1.3 Aux termes de l'art. 42 al. 1 LTF, le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci. Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. 2 LTF). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit. Il n'est pas indispensable qu'il indique expressément les dispositions légales ou qu'il désigne expressément les principes de droit qui auraient été violés; il suffit qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité précédente (cf. <ref-ruling> consid. 2a p. 400; <ref-ruling> consid. 3 p. 748 s. et les arrêts cités). Autrement dit, le Tribunal fédéral, qui applique le droit d'office (art. 106 al. 1 LTF), n'examine cependant que les griefs invoqués, pour autant que les vices juridiques ne soient pas manifestes. Il n'est en effet pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui.
Dans leur mémoire, les recourantes expriment leur opposition au projet et leur désaccord avec les conclusions du TAF, sans toutefois expliquer clairement en quoi l'arrêt attaqué ne serait pas conforme au droit fédéral et aux dispositions légales qu'elles invoquent. L'argumentation développée est plutôt confuse et il n'est pas toujours évident de déceler quels sont les vices soulevés. La question de la recevabilité du recours sous l'angle de la motivation peut toutefois rester indécise puisque celui-ci doit de toute façon être rejeté au fond.
1.4 Par ailleurs, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations de ladite autorité ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). S'il entend s'écarter des constatations de fait de l'autorité précédente, le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF sont réalisées.
En début de mémoire, les recourantes présentent leur propre version des faits et résument l'historique du projet du CEVA en relation avec leur parcelle. Une telle argumentation, dans la mesure où elle s'écarte des faits constatés dans l'arrêt attaqué ou les complète, sans qu'il soit indiqué que ceux-ci seraient manifestement inexacts ou arbitraires, est irrecevable, le Tribunal fédéral n'étant pas une instance d'appel (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
2. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, les recourantes se plaignent d'une violation de l'art. 29 al. 1 Cst. Elles font valoir que, lors de la visite sur place organisée par le TAF le 15 mars 2011, les membres du tribunal sont arrivés dans un car réservé pour l'occasion, accompagnés de plusieurs représentants de la partie intimée, à savoir des CFF et de l'Etat de Genève. Les juges auraient ainsi pu être influencés en faveur du projet CEVA et la cause n'aurait par conséquent pas été jugée équitablement.
2.1 L'art. 29 al. 1 Cst. dispose que toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement. Selon la jurisprudence, ce droit permet notamment d'exiger la récusation des membres d'une autorité administrative dont la situation ou le comportement sont de nature à faire naître un doute sur leur indépendance ou leur impartialité; il tend à éviter que des circonstances extérieures à l'affaire ne puissent influencer une décision en faveur ou au détriment de la personne concernée. La récusation peut s'imposer même si une prévention effective du membre de l'autorité visée n'est pas établie, car une disposition interne de sa part ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Cependant, seules des circonstances constatées objectivement doivent être prises en considération; les impressions purement individuelles d'une des personnes impliquées ne sont pas décisives (<ref-ruling> consid. 6.2 p. 6; <ref-ruling> consid. 1.1 p. 25 et les arrêts cités).
Le grief tiré de la prévention du juge doit être soulevé aussitôt que possible, à défaut de quoi le plaideur est réputé avoir tacitement renoncé à s'en prévaloir. Celui qui omet de dénoncer immédiatement un tel vice et laisse la procédure se dérouler sans intervenir, agit contrairement à la bonne foi et voit se périmer son droit de se plaindre ultérieurement de la violation qu'il allègue (cf. <ref-ruling> consid. 4.3 p. 496; <ref-ruling> consid. 2 p. 122 s.; <ref-ruling> consid. 5a p. 227 s.). Une partie ne saurait en effet attendre l'issue de la procédure, par hypothèse défavorable, pour dénoncer un tel vice de procédure.
2.2 En l'espèce, l'inspection locale critiquée a eu lieu le 15 mars 2011. Bien qu'elles aient eu la possibilité de le faire avant le prononcé de l'arrêt litigieux, rendu le 15 juin 2011, à aucun moment les recourantes n'ont contesté la procédure suivie et n'ont demandé la récusation des juges qu'elles accusent de prévention. Tardif, leur grief est dès lors irrecevable sur ce point.
2.3 Dans le cadre du grief de la prévention des juges du TAF, les recourantes allèguent encore qu'une photographie du jardin, réalisée par le TAF lors de l'inspection locale, montrant un représentant des CFF "placé - volontairement - à un endroit très erroné dans le pré", ne présenterait qu'une surface très réduite de l'emprise du chantier et donnerait donc des indications trompeuses. Par ailleurs, le TAF s'est abstenu de se déplacer au pied de la falaise de Champel, alors que cette visite lui aurait permis de constater l'ampleur de la forêt menacée d'abattage. Il est douteux que ces considérations relèvent de l'art. 29 al. 1 Cst. et que le grief ait été soulevé en temps utile. Quoi qu'il en soit, les circonstances invoquées ne permettent nullement de faire naître un doute sur l'impartialité des juges et il ressort du dossier que ceux-ci ont rendu leur arrêt en se fondant sur de nombreux plans et photographies du projet litigieux et des parcelles concernées. L'on ne saurait dès lors retenir, comme le soutiennent les recourantes sur la base des éléments précités, que le TAF avait une méconnaissance totale du dossier. Mal fondées, les critiques des intéressées doivent donc être rejetées dans la mesure où elles sont recevables.
3. Les recourantes allèguent une violation de la loi fédérale du 18 juin 1999 sur la coordination et la simplification des procédures de décision (ci-après: la LCoord; RO 1999 3071) et de l'art. 18 al. 2 LCdF, lesquels préconiseraient que l'autorité d'approbation examine et tranche tous les aspects d'un projet. Elles soutiennent que, selon l'arrêt attaqué, l'OFT pourra modifier sa décision, ce qui implique que les expropriations définitives, les occupations provisoires et les servitudes, actuellement connues, ne sont pas figées et que l'impact quant à leur propriété pourrait encore être aggravé. Par ailleurs, les CFF leur auraient annoncé qu'un empiètement plus grand serait nécessaire pour le chantier installé dans leur jardin. Enfin, des quatre scénarios envisagés "dans la falaise", le plus dommageable aurait été retenu par les intimés et il serait contraire aux dispositions précitées que l'OFT se contente de futurs plans de détail, non soumis à l'ensemble de la population, alors que tous les habitants de Carouge, situés en contrebas, seraient concernés.
Les recourantes croient à tort que l'OFT pourra modifier sa décision en tant qu'elle concerne les expropriations définitives, les occupations provisoires et les servitudes. En effet, la réserve contenue au ch. 3 du dispositif de la décision du 5 mai 2008, qui prévoit que l'OFT "se réserve expressément le droit de modifier la présente décision en fonction du résultat de l'examen des projets de détail ordonnés dans la présente décision d'approbation des plans", ne se rapporte qu'aux charges par lesquelles des plans de détails ont été exigés et non pas à tous les points de la décision (cf. arrêt attaqué consid. 5.2). Ensuite, s'agissant de l'empiètement nécessité par le chantier, il ne ressort pas des faits retenus par l'arrêt attaqué qu'un empiètement plus grand serait nécessaire sur leur terrain. Au contraire, les juges du TAF ont rappelé que la surface de la zone d'emprise provisoire a été fixée à 1'028 m2 et que seules pourront être expropriées les surfaces indiquées sur les plans approuvés (cf. arrêt attaqué consid. 31.6.1.1). Enfin, les recourantes n'indiquent pas sur quoi elles se fondent pour affirmer que le scénario le plus dommageable aurait été retenu par les CFF. Elles n'expliquent pas non plus pourquoi l'élaboration de plans de détail serait contraire au droit fédéral, ce qui n'est de toute façon manifestement pas le cas, comme l'a pertinemment rapporté le TAF au consid. 12.3 de son arrêt. Les plans de détail seront donc soumis aux personnes intéressées, lesquelles pourront faire opposition en temps utile (cf. art. 18i al. 3 LCdF). Le présent grief est dès lors entièrement mal fondé et doit être rejeté.
4. Invoquant l'art. 18 LCdF, les recourantes estiment que l'OFT s'est basé sur des plans contradictoires pour prendre sa décision du 5 mai 2008 et que, contrairement à ce qu'affirme le TAF, le plan de piquetage ne correspond dès lors pas aux emprises prévues.
Les intéressées font valoir que les chiffres et les plans des CFF sont contradictoires et fantaisistes, en particulier concernant l'assiette de la servitude souterraine. Elles exposent que selon le plan déposé le 23 mars 2006, l'assiette de la servitude souterraine est de 4'524 m2 alors que le plan du 2 mai 2006 indique 3'325 m2, ce qui ferait une différence de 1'200 m2. Le TAF a retenu une surface de 3'325 m2 (cf. arrêt attaqué consid. 31.6.1.1). Dans leur réponse du 19 septembre 2011, les intimés expliquent de manière convainquante que le plan du 23 mars 2006 concernait l'ensemble de la parcelle n° 1945 dans son état actuel, alors que le plan du 2 mai 2006 représentait la servitude après l'expropriation; la différence de 1'199 m2 était dès lors comprise dans l'emprise définitive qui aura lieu sur cette parcelle. Les recourantes affirment dès lors en vain que l'arrêt attaqué se fonde sur des plans contradictoires. Quant au piquetage, elles ne montrent pas concrètement en quoi il aurait été défectueux et les aurait empêchées de se défendre convenablement, pas plus qu'elles ne disent en quoi l'arrêt attaqué serait contraire au droit fédéral, en particulier à l'art. 18 LCdF, sur ce point. Quoi qu'il en soit, le TAF a rappelé à juste titre que seuls les plans dûment approuvés font foi et ont force contraignante dès lors que le piquetage, effectué avant même la mise à l'enquête, est par définition une mesure éphémère (cf. consid. 10.1 de l'arrêt attaqué). Au surplus, même un piquetage défectueux, voire absent, n'entraîne pas ipso facto l'invalidation de la mise à l'enquête et consécutivement de la procédure d'approbation des plans (cf. arrêt 1C_518/2010 du 22 mars 2011 consid. 3.3 et les références). L'on ne décèle dès lors pas de violation du droit fédéral en l'espèce.
5. Les recourantes se prévalent de la garantie de la propriété. Elles contestent le principe de l'expropriation, en déniant un intérêt public au projet litigieux, ainsi que la proportionnalité de la mesure.
Au consid. 8.3.1 de son arrêt, le TAF reproduit la motivation de l'OFT, selon lequel le projet litigieux a pour but d'assurer le transfert des déplacements motorisés individuels sur les transports publics, d'améliorer la qualité de l'air dans l'agglomération genevoise, d'augmenter la capacité d'accueil de l'agglomération aux heures de pointe, de drainer, par le biais des connexions avec les transports publics existants, un large périmètre d'un million d'habitants du bassin transfrontalier franco-valdo-genevois, d'assurer un accès aisé à plusieurs pôles d'importance cantonale en matière d'emploi et d'habitation et de réduire les temps de parcours en ville par rapport au trafic motorisé. Il ne fait dès lors pas de doute que le CEVA répond à un intérêt public. Que le projet nécessite dix années de chantier et que la ligne puisse également servir à un trafic de marchandise, comme le soutiennent les recourantes, ne saurait affecter son but d'intérêt public. Par ailleurs, les intéressées affirment que la ligne serait déjà considérée comme déficitaire par les CFF, sans prouver ce fait, au demeurant démenti par les intimés, et sans que celui-ci ne ressorte de l'arrêt attaqué. Il n'y a dès lors pas lieu d'en tenir compte pour apprécier l'intérêt public du projet et le bien-fondé de l'expropriation.
Ensuite, les recourantes considèrent que l'expropriation, les surfaces expropriées et les servitudes découlant du projet ne respectent pas le principe de la proportionnalité. Elles ne développent toutefois pas ce grief, n'expliquent pas en quoi ce principe serait violé et ne critiquent pas l'arrêt attaqué sur ce point. Elles se contentent d'affirmer que ces surfaces "risquent d'être encore moins proportionnées", si les CFF restent autorisés à fournir par la suite de nouveaux plans de détail, impliquant de nouvelles surfaces à exproprier. Or, les craintes des recourantes ne sont pas fondées puisque, comme il a été relevé au consid. 3 ci-dessus, l'OFT ne pourra pas modifier sa décision sur ces questions et seules pourront être expropriées les surfaces indiquées sur les plans approuvés. Les recourantes allèguent également en vain que la construction du tunnel poserait de graves problèmes techniques et que la destruction irrémédiable du site ne serait plus du tout proportionnée si l'ouvrage n'était finalement pas réalisable. En effet, rien dans le dossier n'indique que leur terrain serait impropre au percement d'un tunnel, lequel nécessitera par ailleurs des travaux qui seront de nature à stabiliser la falaise et diminueront le risque craint par les recourantes (cf. consid. 23.7 de l'arrêt attaqué). Les maîtres d'ouvrage se sont du reste engagés à prendre toutes les précautions possibles lors de l'exécution du gros oeuvre et seront prêts à adapter les méthodes de construction au fur et à mesure de l'avancement des travaux et en fonction des caractéristiques rencontrées (cf. consid. 23.3 de l'arrêt attaqué).
Au vu de ce qui précède, le TAF pouvait, sans violer la garantie de la propriété des recourantes, considérer que les mesures d'expropriation et les servitudes nécessitées par le CEVA répondaient à un intérêt public et qu'elles étaient conformes au principe de la proportionnalité.
6. Les recourantes dénoncent une violation de l'art. 25 de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01). Elles se plaignent du bruit "aérien" produit par les passages de train sur le pont de l'Arve qui, contrairement à ce qu'auraient affirmé les CFF, ne sera pas couvert. Leur immeuble étant situé sur les hauts de la falaise, tous les bruits produits en contrebas leur parviendraient donc nécessairement, et amplifiés.
L'art. 25 al. 1 LPE dispose que de nouvelles installations fixes ne peuvent être construites que si les immissions causées par le bruit de ces seules installations ne dépassent pas les valeurs de planification dans le voisinage. Or, les recourantes ne prétendent pas que les valeurs de planification prévues par l'ordonnance du 15 décembre 1986 sur la protection contre le bruit (OPB; RS 814.41) ne seraient pas respectées; elles ne critiquent pas non plus l'arrêt attaqué qui les avait déboutées sur ce point. Il est dès lors fort douteux que la motivation de leur grief réponde aux réquisits de l'art. 42 al. 1 et 2 LTF et soit recevable. Quoi qu'il en soit, les considérations du TAF apparaissent conformes au droit fédéral et doivent être confirmées. Les juges ont en effet relevé, au consid. 24.2.3 de leur arrêt, que la propriété des recourantes se situait en zone de degré de sensibilité II (DS II). Les valeurs de planification pertinentes de l'OPB étaient donc de 55 dB(A) le jour et de 45 dB(A) la nuit. L'EIE exposait qu'une rapide modélisation montrait que les niveaux d'immission en façade des bâtiments les plus proches seront sensiblement inférieurs aux valeurs de planification du DS II. L'Office fédéral de l'environnement n'a émis aucune critique concernant cette évaluation et l'un de ses représentants a confirmé cette position lors de la vision locale, expliquant par ailleurs que la falaise elle-même ferait obstacle à toute propagation de bruit dès lors que l'immeuble des recourantes était situé en retrait et non pas directement au bord de ladite falaise. Partant, c'est à juste titre que les juges précédents ont considéré que l'art. 25 LPE était respecté en l'espèce.
7. Dans un dernier grief, les recourantes se plaignent d'une violation de l'art. 44 al. 1 Cst., selon lequel la Confédération et les cantons s'entraident dans l'accomplissement de leurs tâches et collaborent entre eux. Le canton de Genève n'aurait pas répondu à la demande de mise sous protection de la falaise de Champel faite par la Confédération et cette inertie leur aurait porté préjudice, puisqu'un classement de la falaise aurait permis une pesée des intérêts différente et plus équilibrée.
Invoqué pour la première fois devant le Tribunal fédéral, sur la base d'un état de fait qui n'a pas été constaté dans l'arrêt attaqué, ce grief est irrecevable (cf. arrêt 4A_28/2007 du 30 mai 2007 consid. 1.3 in fine, non publié in <ref-ruling>). Quoi qu'il en soit, il est douteux que les recourantes puissent, dans ce contexte, déduire un droit directement applicable de cette disposition et il apparaît qu'un classement du site n'aurait de toute façon pas eu pour effet d'empêcher la réalisation du CEVA (cf. consid. 25.2 de l'arrêt attaqué).
8. Entièrement mal fondé, le recours doit être rejeté dans la mesure où il est recevable, aux frais des recourantes qui succombent (art. 65 et 66 al. 1 et 5 LTF). En vertu de l'art. 68 al. 3 LTF, les intimés n'ont pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourantes, solidairement entre elles.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des transports, au Tribunal administratif fédéral, Cour I, et à l'Office fédéral de l'environnement, Division Droit.
Lausanne, le 15 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard