Faits :
A.
A.a. A._ a été engagé dès le 1 er octobre 1989 par les Chemins de fer fédéraux suisses (CFF) en qualité d'ingénieur ETS à l'inspection de dépôt de U._. Par la suite, il a occupé différents postes au sein de l'entreprise. Selon un contrat de travail daté du 8 novembre 2005 et valable depuis le 30 juin 2005, l'employé a été engagé en qualité de conducteur de véhicules sur rails, au sein de la division B._, avec comme lieu de travail U._.
A.b. Le 29 septembre 2006, A._ a signé un document intitulé "befristeter Arbeitseinsatz bei I-FW-IO" daté du 25 septembre précédent, en vertu duquel il était affecté à un taux d'activité de 92 % à la division C._ pour la période allant du 1 er novembre 2006 au 31 octobre 2007, avec comme lieu de travail V._. Les 8 % restant devaient être consacrés à son activité habituelle, soit la conduite de locomotives, pour laquelle le lieu de travail était à U._. L'année suivante, les parties ont signé un document quasi similaire daté du 28 novembre 2007, pour la période allant 1 er novembre 2007 au 31 octobre 2008.
A.c. Le 19 novembre 2011, A._ a requis le paiement des indemnités journalières auxquelles il prétendait avoir droit pour ses frais résultant d'un engagement en dehors du lieu de travail pour la période du 1 er novembre 2006 au 15 novembre 2008. Le 9 janvier 2012, il a demandé que les déplacements effectués entre U._ et V._ durant la même période soient considérés comme du temps de travail et donc rémunérés à ce titre.
Par décisions des 1 er mars et 2 mai 2012, la direction des CFF "B._ Human Resources Operating" a refusé de donner suite aux prétentions de l'employé.
Les deux recours formé contre ces décisions ont été rejeté le 8 novembre 2012 par le service juridique des CFF.
B.
A._ a recouru devant le Tribunal administratif fédéral en concluant, principalement, à l'annulation de la décision du 8 novembre 2012 et au renvoi de la cause à l'employeur pour nouvelle décision. Subsidiairement, il demandait le remboursement de ses frais de repas à hauteur de 7'220 fr. ou, plus subsidiairement, de 6'859 fr. À titre de rémunération du temps de déplacement, il réclamait un montant de 55'305 fr., le tout avec intérêts moratoires à compter du 31 octobre 2012.
Par arrêt du 23 juin 2016, le Tribunal administratif fédéral a rejeté le recours.
C.
A._ interjette un recours contre ce jugement dont il demande l'annulation. Il conclut principalement au renvoi de la cause au Tribunal administratif fédéral pour nouvelle instruction et décision. Subsidiairement, il reprend les conclusions en paiement formulées dans la procédure devant le Tribunal administratif fédéral.
Les CFF concluent au rejet du recours, tandis que la juridiction précédente a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte sur le droit d'un employé des CFF, société anonyme de droit public (art. 2 al. 1 de la loi du 20 mars 1998 sur les Chemins de fer fédéraux [LCFF; RS 742.31]), à des indemnités pour ses frais de repas à l'extérieur ainsi qu'à une rémunération pour ses déplacements, pour la période allant du 1 er novembre 2006 au 15 novembre 2008, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. En outre, la valeur litigieuse minimale de 15'000 fr. (<ref-law>) est atteinte (<ref-law>). Enfin, le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par le Tribunal administratif fédéral (<ref-law>). La voie du recours en matière de droit public est, partant, ouverte.
2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>) et ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.3.1 p. 253 et les arrêts cités) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 4.1.2 p. 62). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.3 p. 60).
3.
3.1. Le recourant fonde ses prétentions sur diverses dispositions de l'ordonnance du 26 janvier 1972 sur le travail dans les entreprises de transports publics (OLDT; RS 822.211) et de la Convention collective de travail 2007-2010 entre les CFF et divers syndicats du personnel (ci-après: CCT CFF; cf. <ref-law> et art. 38 de la loi du 24 mars 2000 sur le personnel de la Confédération [LPers; RS 172.220.1]).
3.2. Aux termes de l'art. 23 CCT CFF, est réputé lieu de travail le lieu convenu dans le contrat de travail. Dans sa teneur en vigueur jusqu'au 31 décembre 2009, l'<ref-law> considérait comme lieu de service au sens de l'art. 7, al. 3, de la loi (du 8 octobre 1971 sur la durée du travail [LDT; RS 822.21]), le lieu que l'entreprise attribue à l'agent. Dans les communes comptant plusieurs services éloignés les uns des autres, ainsi que dans le secteur des travaux, le lieu de service devra être précisé par l'entreprise après entente avec les travailleurs ou leurs représentants.
3.3. Sous le titre "Remboursement de frais", le ch. 4 de l'annexe 8 CCT CFF prévoit ce qui suit:
"1. Les frais résultant d'engagements en dehors du lieu de travail fixé contractuellement sont remboursés dans le cadre des dispositions ci-après.
-..]
4. Le collaborateur qui doit prendre un repas principal à ses propres frais à l'extérieur du lieu de travail touche un dédommagement de CHF 20.- Pour la pause du repas, le temps effectif doit être porté en compte, mais au minimum 45 minutes.
-..]
6. Le personnel roulant touche une indemnisation journalière forfaitaire de CHF 19.- en lieu et place du remboursement des frais selon les alinéas 4 et 5. Le montant est réduit de moitié lorsque la durée du tour de travail est inférieure à 5 heures.
-..]
10. Dans des cas justifiés, notamment lors d'engagements prolongés à l'extérieur, des réglementations spéciales peuvent être convenues.
11. Les détails sont réglés dans les dispositions d'exécution."
3.4. S'agissant des temps de déplacement sans prestation de service, l'<ref-law> prévoit qu'ils sont comptés dans la durée du travail. Cette règle est reprise à l'art. 53 al. 2 CCT CFF qui précise que sont comptés comme temps de travail les temps de trajet sans prestation de travail, c'est-à-dire le temps nécessaire pour se rendre d'un poste de travail à un autre, dans un même tour de travail.
4.
Pour déterminer le lieu de travail du recourant, le Tribunal administratif fédéral a examiné, dans un premier temps, la réelle et commune intention des parties au sens de l'<ref-law> (applicable à titre supplétif [cf. art. 2 al. 1 let. d, 6 al. 2 et 3 LPers et art. 1 al. 3 CCT CFF]). Il a considéré que le recourant, la division B._ et la division C._ avaient chacun un intérêt propre à la conclusion des avenants des 25 septembre 2006 et 28 novembre 2007 et l'intérêt commun de permettre au premier de faire valoir ses qualifications d'ingénieur au sein d'une autre division, conformément au souhait de celui-ci. En outre, en raison du caractère temporaire de l'engagement au sein de la division C._ à V._, de l'absence de promesse d'engagement définitif et des contraintes légales relatives aux autorisations de conduire un véhicule sur rail, les parties avaient la volonté de maintenir le recourant à un taux d'activité de 8 % dans son poste de conducteur de locomotive à U._, afin qu'il préserve ses qualifications dans ce domaine. Cela étant, la juridiction précédente a considéré que les parties avaient manifesté leur intention réelle et commune de prévoir deux lieux de travail différents, soit U._ lorsque le recourant exerçait ses fonctions au sein de la division B._ et V._ pour ses activités au sein de la division C._.
Dans un second temps, sous l'angle du principe de la confiance (interprétation objective), le Tribunal administratif fédéral a retenu, en résumé, que les parties n'avaient pas conclu un nouveau contrat de travail autonome, les avenants des 25 septembre 2006 et 28 novembre 2007 ayant une relation étroite avec le contrat de travail de 2005, mais qu'il existait deux régimes juridiques complémentaires régissant les rapports de travail entre le recourant et les deux divisions. En ce qui concernait l'activité au sein de la division C._, le texte des clauses "Arbeitsort: Bern, I-F-W-IO, PO 420", "Zeitsaldo: [...] Die Reisezeit wird nicht als Arbeitszeit angerechnet" et "Vergütung: [...] Weitere Entschädigungen für den auswärtigen Einsatz in Bern werden nicht ausgerichtet ausser bei Einsätzen ausserhalb von Bern" indiquait clairement, sans laisser place à une autre interprétation, que les parties avaient convenu de fixer le lieu de travail à V._, de ne pas compter le temps de déplacement à V._ comme temps de travail et d'exclure toute indemnité pour les frais de repas.
5.
5.1. En l'espèce, dans la première partie de son mémoire de recours, le recourant expose sa propre version des circonstances de la cause, comme s'il s'adressait à une juridiction pouvant revoir librement les faits, tout en concluant à la violation du droit fédéral, l'excès ou l'abus du pouvoir d'appréciation, la constatation inexacte ou incomplète des faits et l'inopportunité au sens de l'<ref-law>. Cette manière de procéder ne remplit pas les exigences de motivation d'un recours au sens des art. 42 al. 2 et 106 al. 2 LTF. En outre, en tant que le recourant critique la décision du service juridique des CFF du 8 novembre 2012, son argumentation n'est pas non plus admissible, dans la mesure où elle ne vise pas le jugement du Tribunal administratif fédéral (<ref-law>; <ref-ruling> consid. 1.2 p. 543).
5.2. Le recourant fait valoir que son engagement au sein de la division C._ a profité à la division B._ d'un point de vue financier et requiert la production de tous les accords passés entre ces deux divisions. Ce faisant, il s'écarte de l'état de fait retenu par les premiers juges et ne démontre pas en quoi cet élément de fait, s'il était avéré, pourrait influencer l'issue du litige. Il ne sera donc pas donné suite à la requête de preuve, étant précisé que le Tribunal fédéral ne procède qu'exceptionnellement à l'administration de preuves nouvelles (cf. JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, 2 e éd. 2014, n° 9 ad <ref-law>).
6.
6.1. Pour le surplus, l'argumentation du recourant consiste principalement à soutenir qu'il était au bénéfice d'un seul et unique contrat de travail, à savoir celui du 8 novembre 2005, et qu'en dépit des expressions utilisées dans les documents des 25 septembre 2006 et 28 novembre 2007, le lieu de travail était U._. A cet égard, il fait valoir en particulier que, dans la mesure où la division C._ ne disposait pas d'un poste à durée indéterminée, elle ne pouvait pas conclure un contrat de travail pour l'activité qu'il a exercée à V._. Comme "preuve de la seule validité du contrat de travail du 8 novembre 2005", il affirme en substance que les éléments figurant dans les documents des 25 septembre 2006 et 28 novembre 2007 sont lacunaires, moins pertinents, voire incompatibles avec la CCT, laquelle ne prévoit d'ailleurs pas la possibilité de conclure plusieurs contrats de travail. Il se prévaut du caractère temporaire de l'activité exercée à V._, pour soutenir que celle-ci était secondaire et accessoire par rapport à son activité à U._ qui, selon lui, n'a jamais cessé d'être sa tâche principale. De l'avis du recourant, les documents des 25 septembre 2006 et 28 novembre 2007 consistaient en de simples instructions pratiques portant sur la répartition de son travail et les modalités de sa mise à disposition auprès de la division C._. Pour admettre que le lieu de travail était situé à V._, il aurait fallu un deuxième contrat de travail distinct. Enfin, le recourant invoque le dol (<ref-law>).
6.2. Pour peu qu'elle soit recevable, la longue argumentation du recourant qui mélange des éléments de fait et de droit n'est pas convaincante. Il y a lieu de relever premièrement que le recourant ne remet pas en cause la constatation des premiers juges, selon laquelle son activité au sein de la division C._ à V._ résultait d'un souhait de sa part et ne lui a en aucun cas été imposé par son employeur. Deuxièmement, le raisonnement développé par le recourant se heurte au texte clair des documents des 25 septembre 2006 et 28 novembre 2007, lesquels font état d'un engagement dans un autre service avec comme lieu de travail V._. Le fait que ces accords ne fixent pas l'ensemble des clauses essentielles d'un contrat de travail ne permet pas de remettre en cause leur contenu. Comme l'ont retenu à raison les juges précédents, les avenants des 25 septembre 2006 et 28 novembre 2007 ne formaient pas un contrat de travail à part entière mais reposaient sur le contrat du 8 novembre 2005, lequel a continué de s'appliquer à titre supplétif. C'est dans ce sens qu'il faut comprendre l'indication "Ihr aktueller Arbeitsvertrag erfährt aufgrund dieses temporären Einsatzes keine Änderung". Les conclusions que tire le recourant à ce sujet en prétendant que seul le contrat de travail du 8 novembre 2005 était valide, à l'exclusion des documents signés en 2006 et 2007, ne correspondent pas non plus à la réalité des faits. Il est constant en effet que pendant la période en cause le recourant a travaillé à V._ au sein d'une autre division, à un autre poste que celui de conducteur de locomotive, ce qui ne correspond pas à l'engagement pris sur la base du contrat de travail de 2005. On ne saurait d'ailleurs qualifier d'accessoire l'activité exercée à V._, dans la mesure où elle a duré deux ans à un taux de 92 %. Enfin, contrairement à ce que soutient le recourant à propos du dol, son lieu de travail n'était pas déplacé en fonction de l'endroit où il se trouvait. Les accords des 25 septembre 2006 et 28 novembre 2007 réservent expressément le droit à des indemnités pour les missions à effectuer à l'extérieur de V._. Sa critique donc n'est pas susceptible de démontrer l'existence d'une tromperie intentionnelle de la part des intimés.
En conclusion, il n'y a pas lieu de remettre en cause le jugement attaqué en tant qu'il situe à V._ le lieu de travail du recourant pour l'activité exercée au sein de la division C._. Partant, celui-ci n'a pas droit au remboursement des frais de repas pris à V._ ni à la rémunération du temps de déplacement pour s'y rendre. Le recours se révèle donc mal fondé et doit être rejeté.
7.
Etant donné l'issue du litige, les frais judiciaires seront mis à la charge du recourant (<ref-law>). Les intimés n'ont pas droit à des dépens (art. 68 al. 1 et 3 LTF; cf. arrêt 8C_151/2010 du 31 août 2010 consid. 6.2).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour I.
Lucerne, le 26 juillet 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Frésard
La Greffière : Castella