Faits:
A. L'Office fédéral des transports (ci-après: l'OFT) a approuvé les plans du projet ferroviaire Cornavin - Eaux-Vives - Annemasse (ci-après: CEVA) par décision du 5 mai 2008. Cette approbation est assortie de nombreuses charges et conditions. Le projet, d'une longueur totale de 13,760 km, s'étend sur les communes de Genève, Lancy, Carouge, Veyrier, Cologny, Chêne-Bougeries, Chêne-Bourg et Thônex. Il présente, sur 77 % de son tracé, des installations en sous-sol et pour le reste (à l'exception de deux ponts à construire) des aménagements sur des lignes existantes.
Le tracé du projet passe presque sous l'immeuble sis sur la parcelle 1848 de Genève - Plainpalais, à l'Avenue de Champel 22; plus précisément, le projet à cet endroit consiste dans l'une des extrémités de la halte de Champel. La décision précitée de l'OFT approuve notamment l'expropriation de 168 m2 ainsi que l'occupation temporaire et pendant cinq ans d'une surface de 322 m2 de cette parcelle.
B. La communauté des copropriétaires de l'immeuble X._ a recouru contre l'approbation des plans du CEVA auprès du Tribunal administratif fédéral.
Par arrêt du 15 juin 2011, le Tribunal administratif fédéral a rejeté le recours des intéressés et confirmé l'expropriation définitive et temporaire d'une partie de leur parcelle.
C. Agissant par la voie du recours en matière de droit public, la communauté des copropriétaires de l'immeuble X._ demande au Tribunal fédéral d'annuler la décision précitée du Tribunal administratif fédéral, de dire que les emprises provisoire et définitive sollicitées sur la parcelle 1848 ne sont pas fondées et d'ordonner en conséquence aux CFF d'y renoncer. Les recourants se plaignent en substance d'une violation du principe de la proportionnalité et de la législation fédérale en matière d'expropriation.
Le Tribunal administratif fédéral conclut au rejet du recours et renvoie expressément à l'arrêt attaqué. L'OFT renvoie sur le principe à sa décision d'approbation du 5 mai 2008 et renonce à se prononcer sur la présente cause. Les CFF concluent au rejet du recours dans la mesure où il est recevable.
Par ordonnance du 22 septembre 2011, le Président de la Ire Cour de droit public a admis partiellement la requête d'effet suspensif des recourants, en ce sens qu'aucuns travaux de gros oeuvre du tunnel de Champel ne peuvent être exécutés avant la décision finale.

Considérant en droit:
1. La voie du recours en matière de droit public au sens des art. 82 ss LTF est ouverte contre une décision du Tribunal administratif fédéral relative à l'approbation de plans ferroviaires rendue dans une procédure combinée où sont également traitées les oppositions contre les expropriations (cf. arrêt 1A.1/1998 du 22 décembre 1998 consid. 1a). Les recourants ont pris part à la procédure de recours devant le Tribunal administratif fédéral et sont particulièrement touchés par l'arrêt attaqué, qui confirme l'expropriation définitive et temporaire d'une partie de leur parcelle. Ils ont donc la qualité pour agir au sens de l'art. 89 al. 1 LTF. Pour le surplus, les autres conditions de recevabilité sont remplies, si bien qu'il y a lieu d'entrer en matière.
2. Les recourants estiment que l'expropriation définitive de 168 m2 de leur parcelle viole les art. 1 al. 2 LEx, 26 al. 1 et 36 al. 3 Cst. ainsi que le principe de la proportionnalité.
2.1 Selon l'art. 1 LEx, le droit d'expropriation peut être exercé pour des travaux qui sont dans l'intérêt de la Confédération ou d'une partie considérable du pays, ainsi que pour d'autres buts d'intérêt public reconnus par une loi fédérale (al. 1). Il ne peut s'exercer que dans la mesure nécessaire pour atteindre le but poursuivi (al. 2). De plus, pour être compatible avec la garantie constitutionnelle de la propriété (art. 26 al. 1 Cst.), l'expropriation doit encore être proportionnée au but visé (art. 36 al. 3 Cst.), c'est-à-dire qu'elle doit être propre à atteindre ce but et ne pas aller au-delà de ce qu'exige l'intérêt public (cf. <ref-ruling> consid. 8 p. 141; <ref-ruling> consid. 3b p. 120; <ref-ruling> consid. 2c p. 232 et les arrêts cités).
La jurisprudence a précisé la portée du principe de la proportionnalité en matière d'expropriation. Il ne signifie pas que l'atteinte à la propriété doive se limiter à ce qui est absolument indispensable à la réalisation de l'ouvrage d'intérêt public; elle peut au contraire s'étendre à tout ce qu'exige, tant du point de vue juridique que technique, l'exécution adéquate dudit ouvrage. A cet égard, l'intérêt public commande notamment que les rapports juridiques soient réglés de façon claire, simple et précise, afin d'éviter des difficultés ultérieures et à éviter des charges financières excessives (<ref-ruling> consid. 6a p. 195; <ref-ruling> consid. 4b p. 477). Il peut ainsi arriver que l'expropriation totale préserve mieux les intérêts de la personne touchée, ne serait-ce que pour des raisons financières ou pratiques (cf. arrêt 1P.465/2004 du 15 août 2005 consid. 2.5).
Le Tribunal fédéral examine librement si une mesure satisfait au principe de la proportionnalité; il s'impose toutefois une certaine retenue lorsqu'il doit tenir compte de circonstances locales ou se prononcer sur de pures questions d'appréciation (ATF <ref-ruling> consid. 3c p. 121; <ref-ruling> consid. 5c/bb p. 96, 348 consid. 2a p. 353 et les arrêts cités).
2.2 En l'espèce, les recourants ne remettent pas en cause l'intérêt public du CEVA, et plus particulièrement de la halte de Champel qui est à l'origine de l'expropriation d'une partie de leur parcelle. Ils allèguent toutefois que la nécessité de l'emprise n'a nullement été démontrée. Or, ils reconnaissent que la gare souterraine de Champel sera construite à quelques mètres de leur parcelle et que les intimés devront pouvoir accéder à l'ouvrage depuis la surface concernée aux fins notamment de l'entretenir. Il apparaît dès lors que la condition de la nécessité de l'expropriation (art. 1 al. 2 LEx) est remplie.
Les recourants estiment néanmoins que l'expropriation est un moyen trop incisif pour atteindre le but visé et que la constitution d'une servitude personnelle en faveur des CFF, permettant de passer sur leur parcelle et de créer un point d'accès à la gare souterraine, respecterait à l'évidence le principe de la proportionnalité. Dans son arrêt, le Tribunal administratif fédéral a retenu que des impératifs techniques exigeaient que les CFF puissent accéder à n'importe quel moment et sans restriction aucune à la gare souterraine, dont l'entretien sera effectué depuis la surface du sol, et qu'un transfert de propriété correspondait à l'usage dans ce type de cas. En outre, si le projet se réalise, la gare de Champel sera construite sous la parcelle litigieuse et ce de manière pérenne. Ceci n'est pas contesté par les recourants. Dans ces conditions, force est d'admettre, avec le Tribunal administratif fédéral, que la conservation de la nue-propriété de la surface visée ne présente pour les recourants qu'un intérêt mineur par rapport à l'intérêt public poursuivi par les intimés, qui est d'entretenir et de garantir la sécurité de la future gare souterraine, et ce dans les meilleures conditions possibles. De plus, une situation juridique claire est ici dans l'intérêt de toutes les parties et il apparaît que l'expropriation s'impose sous cet angle comme la mesure la plus rationnelle pour atteindre ce but. Les recourants n'avancent pas d'arguments propres à remettre en cause la pesée des intérêts effectuée par le Tribunal administratif fédéral, qui est convainquante et peut dès lors être confirmée. Partant, le recours doit être rejeté sur ce point.
3. Les recourants contestent également l'emprise provisoire de 322 m2 durant les travaux, approuvée pour une durée de cinq ans. Les intimés font valoir que ce grief serait irrecevable, n'ayant pas été soulevé au stade de l'opposition (cf. <ref-ruling> consid. 2.4 p. 34). Cette question peut rester indécise, puisque le Tribunal administratif fédéral est entré en matière sur ces critiques et que celles-ci sont de toute façon infondées.
3.1 Les recourants remettent en cause la nécessité de l'expropriation provisoire (art. 1 al. 2 LEx). Les intimés justifieraient cette emprise par des considérations techniques, qui ne seraient appuyées par aucun élément probant. Il ressort de l'arrêt attaqué que les intimés affirment qu'une telle emprise est rendue inévitable par les travaux de construction, prévus juste en-dessous, de la future halte souterraine de Champel; les parois moulées de cette gare devront ainsi être creusées depuis la surface (à la verticale) et non depuis l'intérieur (technique réservée aux tunnels) ce qui rend nécessaire le passage des machines de chantier. L'arrêt relève en outre que le plan 54.1 confirme les affirmations des intimés, de même que les constatations effectuées lors de la vision locale du 15 mars 2011. Avec les juges du Tribunal administratif fédéral, l'on ne voit guère comment il serait possible de se passer de cette surface durant la période des travaux. Il apparaît ainsi que l'expropriation temporaire est nécessaire et les critiques des recourants, à peine développées, doivent être rejetées.
3.2 L'art. 6 al. 1 LEx prévoit que l'expropriation à titre temporaire est en principe limitée dans sa durée à cinq ans au maximum. En vertu du principe de la proportionnalité, une expropriation ne sera pas prononcée pour une durée supérieure à ce qui est nécessaire à la réalisation du but d'intérêt public poursuivi. D'un autre côté, il sied également d'éviter de multiplier les difficultés et les frais de renouvellement des droits établis à trop court terme (<ref-ruling> consid. 3b p. 93).
Le Tribunal administratif fédéral a souligné que la durée de l'emprise, fixée par précaution au maximum légal, pourrait se révéler moins longue dans les faits: le gros des travaux de construction de la gare ne doit en principe pas excéder les deux ans selon les intimés. En telle circonstance, la parcelle des recourants pourrait être remise en état avant l'échéance de ce délai de cinq ans. Les recourants se plaignent dès lors en vain d'une violation du principe de la proportionnalité s'agissant de la durée de l'expropriation à titre temporaire.
4. Dans un dernier grief, les recourants allèguent que l'arrêt entrepris ne respecte pas l'art. 9 al. 1 LEx. Selon cette disposition, la beauté des sites doit être conservée dans la mesure du possible. Ils font valoir qu'il est pour le moins douteux que les travaux de gros oeuvre puissent être sans conséquence sur les 322 m2 expropriés à titre temporaire; il faudra de très nombreuses années pour que le jardin et sa végétation recouvrent les dommages consécutifs aux travaux. A cela s'ajoute que les CFF auraient l'intention d'installer une trappe dans le jardin, de sorte que l'état antérieur du site ne sera jamais rétabli.
Les intimés contestent l'installation d'une trappe sur la propriété des recourants, laquelle ne figure d'ailleurs sur aucun plan, aucune entrée dans la gare ni issue de secours n'était prévue sur ladite parcelle. Ce fait n'étant de toute façon pas établi dans l'arrêt attaqué, il n'y a pas lieu d'en tenir compte (cf. art. 105 al. 1 LTF). Au demeurant, le Tribunal administratif fédéral a retenu que les intimés garantissaient qu'après les travaux, l'état antérieur du jardin occupant la surface sera rétabli, de même que la fontaine et les bancs, lesquels se trouvent par ailleurs sur le domaine public. Cela étant, les doutes des recourants quant à la remise en état future du site, fondés sur de vagues hypothèses non étayées, ne permettent pas de conclure à une violation de l'art. 9 al. 1 LEx en l'espèce.
5. Il résulte de ce qui précède que le recours doit être rejeté, aux frais des recourants qui succombent (art. 65 et 66 al. 1 LTF). En vertu de l'art. 68 al. 3 LTF, les intimés n'ont pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des transports et au Tribunal administratif fédéral, Cour I.
Lausanne, le 15 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard