Faits: A. Y._ est propriétaire de la parcelle 4714 de la commune de Montreux et copropriétaire avec Z._ de la parcelle 4717. X._ est propriétaire des parcelles 4720 et 4721 de la même commune. Ces biens-fonds sont situés au-dessus du tunnel ferroviaire des Avants. Dans le courant du mois d'octobre 2009, A._ SA a pris contact avec ces propriétaires afin de pouvoir procéder à des travaux de sondages sur leurs parcelles. Ces travaux consistaient à recueillir des données géologiques par le biais de forages, ceci afin de permettre la réfection future du tunnel des Avants. X._ a donné son accord aux forages sur la parcelle 4720 le 2 novembre 2009. Y._ et Z._ n'ont jamais donné leur accord. Dans les mois qui ont suivi, en particulier en février et mars 2010, Y._ a eu de nombreux contacts et entrevues avec A._ SA. Ces échanges étaient dus au fait que l'intéressé entendait obtenir de plus amples informations quant aux travaux projetés. Par courrier du 15 avril 2010, le mandataire de Y._ et Z._ a informé A._ SA qu'il représentait désormais également les intérêts de X._. Invoquant un vice du consentement de cette dernière, il indiquait que celle-ci révoquait l'accord qu'elle avait donné le 2 novembre 2009 et interdisait désormais tout forage sur la parcelle 4720. B. Le 27 avril 2010, A._ SA a demandé à l'Office fédéral des transports (ci-après: l'OFT) de l'autoriser à procéder aux travaux préparatoires susmentionnés sur les parcelles 4714, 4717, 4720 et 4721, tout en soumettant cependant un projet modifié dans lequel elle n'aurait plus à empiéter sur les parcelles 4714 et 4717. Les propriétaires concernés se sont prononcés négativement sur cette demande le 14 mai 2010. Par décision du 21 mai 2010, l'OFT a autorisé l'exécution des actes préparatoires tels que soumis par A._ et rejeté l'opposition de X._ ainsi que Y._ et Z._. Ces derniers ont porté leur cause devant le Tribunal administratif fédéral (ci-après: le TAF). Par arrêt du 11 janvier 2011, le recours a été admis en ce qui concerne Y._ et Z._ et rejeté en ce qui concerne X._. Le point 1 du dispositif de la décision de l'OFT du 21 mai 2010 a été modifié et a désormais la teneur suivante: "L'opposition de Mme X._ est rejetée et l'opposition de MM. Y._ et Z._ est admise. Partant, A._ SA est autorisé à pénétrer sur les parcelles nos 4720 et 4721 de la commune de Montreux [propriété de X._] pour procéder aux forages SC2 à SC5 et SD4 à SD11". Le TAF a retenu en substance que l'autorisation de procéder à des forages sur les parcelles concernées ne violait pas la garantie de la propriété. C. Agissant par la voie du recours en matière de droit public, X._ ainsi que Y._ et Z._ demandent au Tribunal fédéral de modifier le chiffre 2 de l'arrêt du 11 janvier 2011 du TAF en ce sens que les oppositions X._ ainsi que Y._ et Z._ sont admises. Subsidiairement, le chiffre 2 de l'arrêt attaqué est modifié en ce sens que l'autorisation délivrée à A._ SA sur les parcelles 4720 et 4721 est suspendue jusqu'à ce que des informations détaillées sur le déroulement de ces actes préparatoires leur aient été fournies et que des garanties y relatives leur aient été accordées. Les recourants se plaignent pour l'essentiel d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.) et de la garantie de la propriété (art. 26 Cst.) ainsi que d'une mauvaise application de l'art. 15 al. 1 de la loi fédérale du 20 juin 1930 sur l'expropriation (LEx; RS 711). Le TAF renonce à prendre position sur le recours. L'OFT conclut implicitement à son rejet. A._ SA conclut au rejet du recours dans la mesure où il est recevable. Les recourants ont répliqué et confirmé leurs conclusions. Par ordonnance du 29 mars 2011, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants.