Faits: A. A._ est propriétaire de la parcelle n° 2127 du registre foncier de la commune de Chardonne. Situé en zone viticole, ce bien-fonds supporte une maison d'habitation, qui a été agrandie en 1992. Bordée au sud par le lac Léman et au nord par la ligne CFF du Simplon, cette parcelle s'est vu attribuer un degré de sensibilité au bruit de niveau III. En 1997 et 1998, A._ a procédé, à ses frais, à différents travaux d'isolation acoustique sur sa maison, notamment à la pose d'un double vitrage sur une partie des fenêtres et à l'installation d'un hall d'entrée de type véranda. B. Le 11 septembre 2006, les Chemins de fer fédéraux SA (ci-après: les CFF) ont déposé auprès de l'Office fédéral des transports une demande d'approbation des plans concernant l'assainissement phonique du réseau ferroviaire dans les communes de St-Saphorin et Chardonne (km 13.659 - 15.814; unité d'assainissement Paudex-Montreux). Selon ces plans, la parcelle n° 2127 se trouve dans le secteur R3 (Chardonne) et elle a été divisée en deux lieux de réception (LR): le LR 25 correspondant à la "partie historique" de la maison et le LR 27 à l'agrandissement de 1992. Le répertoire des émissions sonores provenant des installations ferroviaires fixes en 2015 - établi en application de l'art. 6 al. 1 de la loi fédérale du 24 mars 2000 sur la réduction du bruit émis par les chemins de fer (LBCF; RS 742.144) - prévoit qu'en 2015 le secteur R3 continuera à subir un dépassement des valeurs d'immission déterminantes après l'assainissement du matériel roulant. Les immissions nocturnes seront de 58 dB(A) au LR 25 et 59 dB(A) au LR 27, tandis que les immissions diurnes respecteront les valeurs limites. Les CFF ont étudié la possibilité d'édifier des ouvrages antibruit pour protéger la propriété de A._, mais ils ont calculé qu'aucune des variantes examinées n'était réalisable avec un rapport coût-utilité (ci-après: RCU) inférieur à 185. Une telle mesure engendrerait ainsi des frais disproportionnés, le RCU étant supérieur à la limite maximale de 80 fixée par l'art. 20 al. 1 de l'ordonnance du 14 novembre 2001 sur la réduction du bruit émis par les chemins de fer (OBCF; RS 742.144.1) en lien avec l'art. 7 al. 3 let. a LBCF. Les CFF ont donc requis un allègement et demandé l'autorisation de renoncer à la construction d'une paroi antibruit dans le secteur R3. Les plans d'assainissement accompagnés de la requête d'allègement ont été mis à l'enquête publique du 8 novembre au 7 décembre 2006. A._ a formé opposition à l'encontre du projet en tant que celui-ci prévoyait de renoncer à des mesures antibruit dans le secteur R3. Par décision du 10 juillet 2008, l'Office fédéral des transports a approuvé les plans et admis la requête d'allègement, écartant ainsi l'opposition formulée par A._. Il a considéré que la construction d'une paroi antibruit ne se justifiait pas compte tenu du RCU de 185, dont le calcul n'était d'ailleurs pas contesté. C. A._ a recouru contre cette décision auprès du Tribunal administratif fédéral, qui a rejeté le recours par arrêt du 9 septembre 2009. Cette autorité a considéré en substance que le RCU de 185 rendait la construction d'une paroi antibruit disproportionnée et que les raisons invoquées par le recourant ne justifiaient pas de dérogation. Pour le surplus, les conclusions portant sur la prise en charge des frais d'isolation phonique de la propriété étaient étrangères à l'objet du litige, dès lors qu'elles devaient être traitées dans une procédure menée par le canton. D. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'ordonner la construction d'une paroi antibruit sur sa parcelle, subsidiairement d'ordonner aux CFF de lui rembourser les mesures d'isolation réalisées et à réaliser. Il conteste en outre les frais mis à sa charge par l'autorité précédente. Il voit dans l'arrêt attaqué une violation de la LBCF et de son ordonnance d'application dans la mesure où les spécificités de son cas auraient été insuffisamment prises en compte. Il invoque par ailleurs la protection de la bonne foi. Les CFF renvoient à l'arrêt attaqué, à la décision du 10 juillet 2008 et à leurs précédentes prises de position. L'Office fédéral de l'environnement a présenté des observations, alors que l'Office fédéral des transports et le Tribunal administratif fédéral y ont renoncé. A._ a déposé des observations complémentaires, ainsi qu'un courrier spontané dans lequel il confirme ses conclusions.