Faits:
A. Y._ est propriétaire de la parcelle 4714 de la commune de Montreux et copropriétaire avec Z._ de la parcelle 4717. X._ est propriétaire des parcelles 4720 et 4721 de la même commune. Ces biens-fonds sont situés au-dessus du tunnel ferroviaire des Avants.
Dans le courant du mois d'octobre 2009, A._ SA a pris contact avec ces propriétaires afin de pouvoir procéder à des travaux de sondages sur leurs parcelles. Ces travaux consistaient à recueillir des données géologiques par le biais de forages, ceci afin de permettre la réfection future du tunnel des Avants.
X._ a donné son accord aux forages sur la parcelle 4720 le 2 novembre 2009. Y._ et Z._ n'ont jamais donné leur accord. Dans les mois qui ont suivi, en particulier en février et mars 2010, Y._ a eu de nombreux contacts et entrevues avec A._ SA. Ces échanges étaient dus au fait que l'intéressé entendait obtenir de plus amples informations quant aux travaux projetés.
Par courrier du 15 avril 2010, le mandataire de Y._ et Z._ a informé A._ SA qu'il représentait désormais également les intérêts de X._. Invoquant un vice du consentement de cette dernière, il indiquait que celle-ci révoquait l'accord qu'elle avait donné le 2 novembre 2009 et interdisait désormais tout forage sur la parcelle 4720.
B. Le 27 avril 2010, A._ SA a demandé à l'Office fédéral des transports (ci-après: l'OFT) de l'autoriser à procéder aux travaux préparatoires susmentionnés sur les parcelles 4714, 4717, 4720 et 4721, tout en soumettant cependant un projet modifié dans lequel elle n'aurait plus à empiéter sur les parcelles 4714 et 4717.
Les propriétaires concernés se sont prononcés négativement sur cette demande le 14 mai 2010.
Par décision du 21 mai 2010, l'OFT a autorisé l'exécution des actes préparatoires tels que soumis par A._ et rejeté l'opposition de X._ ainsi que Y._ et Z._.
Ces derniers ont porté leur cause devant le Tribunal administratif fédéral (ci-après: le TAF). Par arrêt du 11 janvier 2011, le recours a été admis en ce qui concerne Y._ et Z._ et rejeté en ce qui concerne X._. Le point 1 du dispositif de la décision de l'OFT du 21 mai 2010 a été modifié et a désormais la teneur suivante: "L'opposition de Mme X._ est rejetée et l'opposition de MM. Y._ et Z._ est admise. Partant, A._ SA est autorisé à pénétrer sur les parcelles nos 4720 et 4721 de la commune de Montreux [propriété de X._] pour procéder aux forages SC2 à SC5 et SD4 à SD11". Le TAF a retenu en substance que l'autorisation de procéder à des forages sur les parcelles concernées ne violait pas la garantie de la propriété.
C. Agissant par la voie du recours en matière de droit public, X._ ainsi que Y._ et Z._ demandent au Tribunal fédéral de modifier le chiffre 2 de l'arrêt du 11 janvier 2011 du TAF en ce sens que les oppositions X._ ainsi que Y._ et Z._ sont admises. Subsidiairement, le chiffre 2 de l'arrêt attaqué est modifié en ce sens que l'autorisation délivrée à A._ SA sur les parcelles 4720 et 4721 est suspendue jusqu'à ce que des informations détaillées sur le déroulement de ces actes préparatoires leur aient été fournies et que des garanties y relatives leur aient été accordées. Les recourants se plaignent pour l'essentiel d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.) et de la garantie de la propriété (art. 26 Cst.) ainsi que d'une mauvaise application de l'art. 15 al. 1 de la loi fédérale du 20 juin 1930 sur l'expropriation (LEx; RS 711).
Le TAF renonce à prendre position sur le recours. L'OFT conclut implicitement à son rejet. A._ SA conclut au rejet du recours dans la mesure où il est recevable. Les recourants ont répliqué et confirmé leurs conclusions.
Par ordonnance du 29 mars 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants.
Considérant en droit:
1. Dirigé contre une décision finale (art. 90 LTF) émanant du Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) et rendue dans une cause de droit public (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune exception de l'art. 83 LTF n'étant réalisée.
Les recourants ont tous trois pris part à la procédure devant l'autorité précédente. L'on peut se demander dans quelle mesure Y._ et Z._ ont un intérêt digne de protection à l'annulation ou la modification de l'arrêt attaqué, qui, en admettant leur recours, leur a donné gain de cause. Cette question peut toutefois rester indécise puisque la qualité pour recourir au sens de l'art. 89 al. 1 LTF doit de toute façon être reconnue à X._: cette dernière est en effet particulièrement touchée par la décision attaquée, laquelle confirme l'autorisation accordée à l'intimée de pénétrer sur ses parcelles 7420 et 4721 pour procéder à des forages.
Les autres conditions de recevabilité étant remplies, il y a lieu d'entrer en matière.
2. A titre de moyens de preuve, les recourants demandent la production intégrale du dossier. Leur requête est satisfaite, le TAF ayant déposé son dossier dans le délai que le Tribunal fédéral lui avait imparti à cette fin (cf. art. 102 al. 2 LTF).
Les recourants requièrent ensuite la production, par le TAF et l'intimée, de toutes pièces ou documents attestant des demandes d'autorisations adressées aux propriétaires concernés pour la phase de piquetage des parcelles. Ces éléments n'étant pas pertinents pour l'issue du litige (cf. consid. 6 ci-après), il n'y a pas lieu d'instruire à leur sujet et la requête doit donc être rejetée sous cet angle.
Enfin, les recourants requièrent l'organisation d'une inspection locale, en vue d'un examen approfondi de l'emprise des forages projetés sur les parcelles concernées. Il n'y a pas lieu de donner suite à leur requête, le Tribunal fédéral s'estimant suffisamment renseigné pour statuer en l'état du dossier, lequel comprend de nombreux plans de la zone litigieuse, et notamment un plan de situation avec l'indication de l'implantation des sondages.
3. Les recourants estiment qu'il est nécessaire de compléter l'état de fait de l'arrêt attaqué. Les juges précédents auraient omis de mentionner les faits suivants: à une période indéterminée, probablement en août ou septembre 2009, l'intimée aurait pénétré sur leurs parcelles pour procéder à des mesurages et piquetages, sans information préalable. En particulier, ils n'auraient jamais été informés par écrit de l'exécution de ce piquetage, mais auraient été mis devant le fait accompli. Il ressort toutefois de l'arrêt attaqué (cf. let. G et consid. 7.3) que le TAF a mentionné ces allégations et qu'il s'est même déterminé à leur sujet. Il n'y a dès lors pas lieu de compléter les faits retenus dans l'arrêt attaqué et le Tribunal fédéral est lié par ceux-ci conformément à l'art. 105 al. 1 LTF. Le présent grief doit être rejeté.
4. Les recourants reprochent au TAF ainsi qu'à l'OFT de n'avoir pas respecté leur droit d'être entendus.
4.1 Le droit d'être entendu comprend le droit pour l'intéressé de prendre connaissance du dossier, de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 129 II 497 consid. 2.2 p. 504 s.; 127 I 54 consid. 2b p. 56; 126 I 15 consid. 2a/aa p. 16 et les arrêts cités).
L'autorité de décision peut donc se livrer à une appréciation anticipée de la pertinence du fait à prouver et de l'utilité du moyen de preuve offert et, sur cette base, refuser de l'administrer. Ce refus ne viole le droit d'être entendu que si l'appréciation à laquelle elle a ainsi procédé est entachée d'arbitraire (ATF 131 I 153 consid. 3 p. 157 et les arrêts cités). Le Tribunal fédéral n'entre dès lors en matière que si cette appréciation se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid. 1.4.2 p. 254 et les références).
Le droit d'être entendu implique également pour l'autorité l'obligation de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Selon la jurisprudence, la motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement (ATF 130 II 530 consid. 4.3 p. 540 et les arrêts cités).
4.2 Les recourants se plaignent de n'avoir pas obtenu de réponses concrètes et exhaustives de la part de l'intimée concernant l'impact des travaux de sondage. Ils avaient en particulier soumis à l'OFT une série de questions auxquelles ils estimaient qu'il était impératif de répondre avant de statuer; il s'agissait notamment de questions techniques, sur lesquelles des experts auraient dû se déterminer. L'OFT n'avait toutefois pas répondu à ce souci légitime et le TAF aurait tout simplement ignoré ce grief.
Dans sa décision du 21 mai 2010, l'OFT a rejeté le grief des recourants selon lequel l'intimée n'aurait pas donné suite à leurs questions d'ordre technique. Il a considéré que ceux-ci avaient eu toutes les informations nécessaires dès les premiers pourparlers et n'avaient ensuite plus demandé de compléments d'informations relatifs aux forages. Quant aux demandes visant à obtenir des compléments d'information en rapport avec la justification des travaux de renouvellement du tunnel des Avants, celles-ci étaient irrecevables puisque le but de ces travaux de forage était justement de clarifier certaines questions liées à l'ouvrage projeté. Le TAF a pour sa part jugé que le grief de violation du droit d'être entendus des recourants par l'OFT devait être rejeté. Il relève que les intéressés n'avaient apporté aucun élément qui tendrait à démontrer de façon crédible que les travaux de sondages pourraient avoir sur leurs biens-fonds un impact négatif plus important que celui qui a été annoncé. Au contraire, ces sondages devaient permettre de récolter des informations précieuses sur l'état et la composition du terrain, renseignements dont les recourants s'étaient jusqu'ici privés en s'opposant à ces actes préparatoires. Les recourants avaient donc obtenu les informations que l'intimée était en mesure de leur fournir.
Ce faisant, l'OFT puis le TAF ont procédé à une appréciation anticipée des preuves, en expliquant de manière détaillée pourquoi ils n'estimaient pas nécessaire de donner suite aux réquisitions d'instruction des recourants. Sur ce point, la motivation du TAF est suffisante au regard de l'art. 29 al. 2 Cst. Les recourants ne font pas valoir que le raisonnement des autorités précédentes serait insoutenable ou en contraction manifeste avec la situation effective. Ils se contentent de formuler des critiques de nature purement appellatoire, lesquelles ne suffisent pas à démontrer que l'appréciation à laquelle ont procédé le TAF et l'OFT serait arbitraire, ce qui n'est au demeurant pas le cas. Ils se plaignent par ailleurs en vain de n'avoir pas obtenu d'informations concernant l'insertion d'une paroi clouée puisqu'ils reconnaissent avoir reçu une réponse à ce sujet le 24 septembre 2010 et que cette paroi ne fait en réalité pas partie des actes préparatoires visés par la présente procédure.
4.3 Les recourants estiment que l'OFT a également violé leur droit d'être entendus en n'entrant pas en matière sur leur grief relatif à une éventuelle violation de la loi vaudoise sur le cadastre géologique. Ils avaient demandé à ce que l'autorité vérifie, avant d'accorder son autorisation, si l'intimée avait respecté son obligation d'annoncer au département cantonal compétent les opérations de sondage mécanique avant le début des travaux. Dans sa décision, l'OFT a constaté que les recourants n'avaient pas démontré en quoi ils seraient touchés plus que quiconque sur ce point en particulier, et a par conséquent a renoncé à instruire à ce sujet. Les recourants n'expliquent pas en quoi cette appréciation anticipée d'un fait à prouver serait entachée d'arbitraire, ce qui n'est d'ailleurs manifestement pas le cas. Il apparaît que l'OFT pouvait donc, sans violer leur droit d'être entendus, renoncer à administrer cette offre de preuve. Dans l'arrêt attaqué, le TAF n'a certes pas répondu au grief des recourants à ce sujet. Ceci montre néanmoins implicitement que les juges ont également considéré qu'il n'y avait pas de violation du droit d'être entendu sous cet angle. L'absence de motivation n'a de toute façon pas empêché les intéressés de recourir céans sur cette question.
Il résulte de ce qui précède que les recourants dénoncent à tort une violation de leur droit d'être entendus par les autorités précédentes. Mal fondé, le recours doit être rejeté sur ce point.
5. Invoquant la garantie de la propriété, les recourants contestent ensuite que la rénovation du tunnel des Avants et les travaux de forage répondent à un intérêt public important. L'OFT n'aurait pas apporté la preuve du déficit de sécurité allégué par l'intimée. Par ailleurs, l'atteinte portée à leur droit de propriété ne saurait être qualifiée de mineure. Les forages impliqueraient des travaux lourds avec une forte emprise sur le sol et le sous-sol, à proximité immédiate de bâtiments anciens auxquels des dommages importants peuvent survenir.
5.1 Les restrictions à la propriété ne sont compatibles avec la Constitution que si elles reposent sur une base légale, sont justifiées par un intérêt public suffisant et respectent le principe de la proportionnalité (art. 26, 36 al. 1 à 3 Cst.; ATF 126 I 219 consid. 2a et 2c p. 221 s.). Les recourants ne discutent pas l'existence d'une base légale suffisante. Ils soutiennent en revanche que l'atteinte à leur droit de propriété ne répond à aucun intérêt public et est disproportionnée.
5.2 En l'espèce, le TAF a exposé que les forages projetés avaient pour but de recueillir les données géologiques nécessaires en vue de la réfection du tunnel ferroviaire des Avants. L'intimée justifiait cette rénovation par le fait que le tunnel actuel, construit en 1901, était désormais trop étroit. Ceci avait notamment pour conséquence de poser de graves problèmes de sécurité en cas de nécessité d'évacuation d'un train, puisque la largeur du tunnel, à l'entrée aval où il est en courbe, ne permettait pas un cheminement sécurisé entre la paroi actuelle et les véhicules. Par ailleurs, l'intimée avait constaté lors de l'étude de l'avant-projet que la situation n'était guère meilleure dans la partie alignée du tunnel, ce qui l'avait amenée à planifier la mise en gabarit intégrale de ce dernier. Les travaux de sondage faisant l'objet de la présente procédure étaient des actes absolument nécessaires à la planification et à la réalisation du projet. L'on ne voit pas quelles informations supplémentaires les recourants souhaiteraient obtenir pour convenir que ces travaux ne répondent pas à un intérêt purement privé de l'intimée mais ont manifestement pour but d'améliorer la sécurité des infrastructures ferroviaires. Comme le souligne l'intimée dans sa réponse, l'on ne saurait en effet la soupçonner de procéder à des travaux coûteux par pur caprice. Le TAF pouvait dès lors à juste titre affirmer que la rénovation du tunnel ferroviaire des Avants répondait à un intérêt public important. De même, les travaux de forage étant des actes absolument nécessaires pour atteindre ce but, ils devaient également être considérés d'intérêt public.
5.3 Par ailleurs, les juges du TAF ont relevé que les recourants n'avaient soulevé aucun argument permettant de douter que les travaux autorisés par l'OFT étaient absolument nécessaires à la planification et à la réalisation du projet de rénovation du tunnel. D'autre part, il apparaissait que ces travaux seront limités dans le temps (environ cinq semaines) et que l'intimée s'était engagée à restituer les lieux dans l'état tel que trouvé avant l'opération. Les recourants allèguent en vain que ceci ne constitue pas une garantie suffisante, dans la mesure où aucun constat préalable de l'état des bâtiments n'avait été effectué. L'intimée assure en effet dans sa réponse qu'elle procédera à un constat préalable des bâtiments, du rucher, des prés et de la végétation. D'autre part, comme l'a rappelé le TAF, la loi prévoit, en cas de dommage résultant des actes préparatoires, une procédure d'indemnisation (art. 15 al. 2 LEx; cf. arrêt 1C_270/2007 du 31 octobre 2007 consid. 5). Face à l'intérêt public visé, c'est dès lors à bon droit que le TAF a qualifié de mineure l'atteinte portée au droit de propriété des recourants, ce d'autant qu'une bonne connaissance du sous-sol de leur terrain est effectivement dans leur propre intérêt, eux qui s'inquiètent de l'impact que pourraient avoir les futurs travaux de réfection du tunnel sur leurs terrains et leurs habitations. L'absence d'information, en l'état, sur l'éventuelle restriction des accès à leurs parcelles, pendant les travaux de forage, n'empêche nullement les autorités d'examiner si le principe de la proportionnalité a été respecté, comme le soutiennent les intéressés. L'on ne voit pas non plus en quoi la question de savoir si les forages envisagés nécessitent ou non une mise à l'enquête publique serait déterminante pour juger de la proportionnalité de l'autorisation querellée. Le TAF n'était par conséquent pas tenu d'examiner ce grief.
6. Les recourants dénoncent enfin une mauvaise application de l'art. 15 al. 1 LEx, en vertu duquel les actes préparatoires doivent faire l'objet d'un avis écrit au propriétaire au moins cinq jours avant d'être entrepris.
L'arrêt attaqué mentionne que l'affirmation des recourants, selon laquelle l'intimée aurait pénétré sur leurs parcelles à une période indéterminée pour procéder à des mesurages et piquetages, n'est pas étayée et ne saurait donc être retenue. Il ressortirait par ailleurs du dossier que l'intimée avait bel et bien averti X._ de son intention de procéder aux actes préparatoires. Ce courrier date du 19 février 2010. Des piquetages ont eu lieu le 25 mars 2010 et l'intéressée n'a révoqué son autorisation de procéder à des travaux sur sa parcelle que le 15 avril 2010. L'intimée avait donc respecté le délai minimum de cinq jours avant les travaux prescrit par l'art. 15 al. 1 LEx.
Les recourants contestent que les piquetages aient eu lieu le 25 mars 2010 et estiment plutôt que ceux-ci auraient été effectués avant le 19 octobre 2009. Par ailleurs, le courrier du 19 février 2010 ne constituerait pas un avis conforme à l'art. 15 al. 1 LEx.
Le Tribunal fédéral ne voit pas de raison de mettre en doute le fait que le piquetage ait été effectué le 25 mars 2010. Ceci en effet est consigné dans un compte-rendu figurant au dossier intitulé "rénovation du tunnel des Avants - Implantation des sondages", établi le 25 mars 2010 par l'ingénieur mandaté par l'intimée. De plus, dans le courrier du 19 février 2010, l'ingénieur précité a expressément indiqué à X._ que les travaux de sondage géotechnique étaient prévus vers fin mars, début avril 2010. Les piquetages et mesurages, liés aux travaux précités, sont donc a fortiori englobés dans cet avis. On peut relever à cet égard le caractère téméraire de l'argument des recourants, lorsqu'ils font valoir que la révocation du 15 avril 2010 de l'autorisation donnée par X._ aux travaux à effectuer sur ses parcelles développait un effet rétroactif et invalidait tout accord préalable sur des piquetages. Quoi qu'il en soit, force est de constater, avec le TAF, qu'il n'y a pas eu de violation de l'art. 15 al. 1 LEx en l'espèce et que, mal fondé, le grief doit être rejeté.
7. Il résulte de ce qui précède que le recours doit être rejeté, aux frais des recourants qui succombent (art. 65 et 66 LTF). En vertu de l'art. 68 al. 2 LTF, ceux-ci verseront en outre une indemnité de dépens à l'intimée qui obtient gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Une indemnité de 2'000 fr. est allouée à l'intimée à titre de dépens, à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des transports, Division infrastructure, et au Tribunal administratif fédéral, Cour I.
Lausanne, le 24 août 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Mabillard