Faits : A. A._, née le 21 juin 1948, de nationalité française et domiciliée en France, a travaillé de 1990 à 2009 pour les Chemins de fer fédéraux suisses (CFF). A ce titre, elle était assurée pour la prévoyance professionnelle auprès de la Caisse de pensions CFF. L'assurée se trouvant en incapacité de travail depuis le 10 septembre 2007, la Caisse de pensions CFF l'a mise au bénéfice d'une pension d'invalidité professionnelle et d'une rente de compensation AI pour la période courant du 1er novembre 2009, date correspondant à la fin des rapports de travail et du droit au salaire, au 30 juin 2012, date à laquelle les prestations d'invalidité ont été remplacées par des prestations de vieillesse. Par décision du 11 octobre 2012, l'Office AI pour les assurés résidant à l'étranger a alloué rétroactivement à l'assurée une rente entière d'invalidité pour la période courant du 1er octobre 2008 au 30 juin 2012. Le 17 octobre 2012, la Caisse de pensions CFF a adressé à la Caisse suisse de compensation une demande de "compensation avec des paiements rétroactifs de l'AVS/AI" à raison des rentes de compensation AI qu'elle avait versées entre le 1er novembre 2009 et le 30 juin 2012, demande à laquelle la Caisse suisse de compensation a fait droit. Le 11 décembre 2012, la Caisse de pensions CFF a réclamé à l'assurée le remboursement de la différence entre le montant total des rentes de compensation AI qu'elle avait versées entre le 1er novembre 2009 et le 30 juin 2012 (66'312 fr.) et le versement rétroactif opéré par la Caisse suisse de compensation (63'638 fr.), soit 2'674 fr. L'assurée n'ayant pas obtempéré à l'injonction de la Caisse de pensions CFF, celle-ci a procédé à une retenue de 334 fr. 25 sur les pensions de vieillesse dues pour les mois de mars à octobre 2013. B. Le 9 juillet 2013, A._ a ouvert action contre la Caisse de pensions CFF devant le Tribunal administratif du canton de Berne, en concluant, d'une part, à ce qu'il constate que la Caisse de pensions CFF déduisait sans droit depuis le 1er mars 2013 de sa pension de vieillesse le montant de 334 fr. 25 et, d'autre part, à ce qu'il condamne la Caisse de pensions CFF à lui rembourser les montants déduits sans droit depuis le 1er mars 2013, avec intérêts à 5 %. Par jugement du 21 juillet 2014, le Tribunal administratif du canton de Berne a rejeté l'action, dans la mesure où elle était recevable. C. A._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation. Elle conclut à ce que la Caisse de pensions CFF soit condamnée à lui verser le montant de 2'674 fr. avec intérêts à 5 % dès le 9 juillet 2013. La Caisse de pensions CFF conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. A._ a présenté des observations complémentaires.