Faits :
A.
A.a. A._ a été engagé en tant qu'enquêteur à l'Office fédéral de la police (fedpol), à compter du 1 er août 2002. Il a été promu "chef du service B._ / enquêteur" à partir du 1 er janvier 2004.
A.b. Le 6 septembre 2016, A._ a été convoqué à un entretien personnel, à l'occasion duquel le chef suppléant de C._ lui a fait part d'un problème de concordance entre les heures timbrées lors de ses pauses de midi et sa présence effective au travail. A l'issue de l'entretien, le prénommé a accepté de signer une convention, en vertu de laquelle il était libéré de son obligation de travailler, avec maintien du salaire, de suite et jusqu'à nouvel avis. En outre, il autorisait fedpol à procéder à une analyse nominale des données de saisies de temps de travail et des données résultant du badge indiquant les accès à la porte principale et à l'ascenseur desservant le garage souterrain de l'antenne de U._.
Le 9 septembre 2016, Me Pierre-Olivier Wellauer a informé l'employeur qu'il représentait A._ et invitait celui-là à fixer la date d'un entretien avec son mandant. Par lettre du 16 septembre 2016, l'employeur a répondu qu'un entretien n'était selon lui plus nécessaire, dès lors que A._ était désormais assisté d'un avocat. Il indiquait en outre que les données électroniques des timbrages et des accès aux locaux avaient dévoilé de nombreuses différences et confirmé qu'à maintes reprises, l'employé était sorti du bâtiment sans timbrer le début de sa pause de midi. Il timbrait alors à son retour, entre 45 et 60 minutes plus tard, puis une seconde fois 20 à 30 minutes plus tard, de sorte qu'était comptabilisée une pause plus courte que celle effectivement prise. Au vu des circonstances, l'employeur annexait à son courrier un projet de convention de résiliation des rapports de service pour le 15 octobre 2016 ainsi qu'un projet de décision de licenciement avec la mention suivante:
"Pour les cas où vous refuseriez ce projet de convention, nous nous transmettons en annexe l'état de fait et l'énumération des dispositions légales sur lesquels se basera notre décision de résiliation des rapports de travail [...] avec effet immédiat. Le cas échéant, dans le cadre de l'exercice du droit d'être entendu [...], nous nous prions de prendre position sur ce sujet. Sans nouvelles de votre part d'ici le 26 septembre 2016, la décision susmentionnée sera prononcée. Le délai n'est pas prolongeable."
Refusant le projet de convention, l'employé a réitéré sa demande d'entretien par courriel du 26 septembre 2016.
A.c. Le 29 septembre 2016, l'employeur a résilié les rapports de service avec effet immédiat.
B.
A._ a saisi le Tribunal administratif fédéral d'un recours contre la décision du 29 septembre 2016, dans lequel il concluait à l'annulation de celle-ci, à sa réintégration et au versement de son salaire jusqu'à l'expiration du délai de congé ordinaire.
En cours d'instance, la Caisse cantonale vaudoise de chômage (ci-après: la caisse de chômage) a été autorisée à intervenir dans la procédure, pour réclamer à fedpol le remboursement des prestations faites à A._ pour la période du délai de congé légal.
Par jugement du 11 avril 2017, le Tribunal administratif fédéral a rejeté le recours et les conclusions de la caisse de chômage.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande la réforme en reprenant les conclusions déposées devant le Tribunal administratif fédéral. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à fedpol pour nouvelle décision dans le sens des considérants.
L'intimé conclut à l'irrecevabilité du recours, subsidiairement à son rejet. La caisse de chômage et la juridiction précédente ont renoncé à se déterminer.
Le recourant a déposé des observations finales le 15 septembre 2017.

Considérant en droit :
1.
Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Il s'agit d'une contestation pécuniaire. Le motif d'exclusion de l'art. 83 let. g LTF n'entre donc pas en considération. La valeur litigieuse dépasse par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 1 let. a et 85 al. 1 let. b LTF).
2.
Le Tribunal fédéral conduit son raisonnement sur la base des faits établis par la juridiction précédente (<ref-law>); il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte, ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 5.4 p. 324; <ref-ruling> consid. 2.3 p. 266) ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice est susceptible d'influer sur le sort la cause (<ref-law>).
3.
3.1. Invoquant une violation de son droit d'être entendu (<ref-law> [RS 172.021], 29 al. 2 Cst., 6 par. 1 CEDH et 14 Pacte ONU II [RS 0.103.2]), le recourant se plaint du refus par l'intimé de donner suite à sa demande d'entretien du 9 septembre 2016, au motif qu'il était désormais assisté d'un avocat. Il soutient par ailleurs que l'intimé aurait dû lui octroyer un nouveau délai pour se déterminer par écrit sur les motifs de licenciement retenus dans la communication du 16 septembre 2016, dès lors qu'à réception dudit courrier, il ne disposait que de six jours, jusqu'au 26 septembre, pour se déterminer.
3.2. En matière de rapports de travail de droit public, des occasions relativement informelles de s'exprimer avant le licenciement peuvent remplir les exigences du droit constitutionnel d'être entendu, pour autant que la personne concernée ait compris qu'une telle mesure pouvait entrer en ligne de compte à son encontre (arrêts 8C_817/2015 du 6 juillet 2016 consid. 4.3.1; 8C_243/2015 du 17 mars 2016 consid. 5.5 et les arrêts cités). La personne concernée ne doit pas seulement connaître les faits qui lui sont reprochés, mais doit également savoir qu'une décision allant dans une certaine direction est envisagée à son égard (arrêts 8C_502/2017 du 30 novembre 2017 consid. 5.3, destiné à la publication; 8C_158/2009 du 2 septembre 2009 consid. 5.2, non publié in <ref-ruling>).
Le droit d'être entendu doit par principe s'exercer avant le prononcé de la décision (<ref-ruling> consid. 2.3 p. 222). Ainsi, il n'est pas admissible, sous l'angle du droit d'être entendu, de remettre à l'employé une décision de résiliation des rapports de service en se contentant de lui demander de s'exprimer s'il le désire. Sauf cas d'urgence, le collaborateur doit pouvoir disposer de suffisamment de temps pour préparer ses objections. La doctrine admet qu'en l'absence de délai uniformisé, un délai de 8 à 10 jours est raisonnable (cf. arrêt 8C_615/2016 du 15 juillet 2017 consid. 3.2.1 et les références). En revanche, le Tribunal fédéral a jugé insuffisant un délai d'une demi-heure à disposition d'un employé communal, convoqué à un entretien de service dont il ignorait l'objet, pour prendre connaissance du dossier et se déterminer sur l'intention de la commune de le licencier (arrêt 8C_615/2016 précité consid. 3.4).
3.3. En l'occurrence, les garanties de l'art. 29 al. 2 Cst. et de l'<ref-law>, dont la définition du droit d'être entendu correspond à celle du droit constitutionnel, ne comprennent pas le droit d'être entendu oralement (<ref-ruling> consid. 9.6.1 p. 76; <ref-ruling> consid. 5.3 p. 148; en ce qui concerne l'<ref-law> cf. arrêt 1A.17/2000 du 17 août 2000 consid. 5). Quant aux garanties de procédure judiciaire des art. 6 par. 1 CEDH et 14 Pacte ONU II qui consacrent le droit à un procès équitable devant un tribunal indépendant et impartial, elles ne s'appliquent pas au stade de la procédure devant les organes de l'administration (cf. arrêt 1A.17/2000 consid. 5 précité). Dès lors que l'intimé n'était pas tenu d'entendre oralement le recourant, les motifs ayant conduit à son refus de fixer un nouvel entretien ne sont pas pertinents. Ce qui est déterminant, en revanche, c'est le point de savoir si le recourant a pu valablement exercer son droit d'être entendu, par écrit, avant que la décision de licenciement n'ait été prise. A cet égard, en admettant que le recourant a reçu les projets de convention et de résiliation des rapports de service le 19 septembre 2016 - comme il l'allègue pour la première fois devant le Tribunal fédéral - il disposait alors de sept jours (sans compter le jour de la notification) pour se déterminer. Un tel délai apparaît suffisant, d'autant plus que le recourant connaissait les faits reprochés et la décision envisagée depuis l'entretien du 6 septembre 2016 déjà. En conclusion, le comportement de l'intimé n'est pas critiquable sous l'angle du droit d'être entendu.
4.
4.1. Les premiers juges ont constaté que le recourant avait volontairement manipulé le système de timbrage à 78 reprises sur une période d'un an, en précisant qu'il a été mis au bénéfice du doute sur de nombreux timbrages suspicieux et que les données électroniques ne sont pas conservées au-delà d'une année.
4.2. Sans contester les faits susmentionnés, le recourant soutient que les conditions pour un licenciement avec effet immédiat ne sont pas remplies. Il fait valoir qu'il compensait le temps de travail non exécuté par les pauses non prises du matin et de l'après-midi, et que les heures manquées étaient dédiées à ses parents malades. Se référant à la jurisprudence et à la doctrine, le recourant est d'avis que l'intimée ne pouvait le licencier avec effet immédiat que s'il avait persisté dans son comportement après avoir reçu un avertissement. A ce dernier propos, il invoque la violation du principe de la proportionnalité, soutenant qu'un avertissement aurait pu avoir les effets escomptés, à savoir la cessation des agissements reprochés, et rétablir le lien de confiance entre les parties. Se prévalant de ses 14 années de service, de ses bonnes évaluations, de sa promotion, de son âge et des motifs à l'origine des faux timbrages, le recourant est d'avis que son intérêt privé l'emportait sur l'intérêt public de l'intimé, lequel ne pouvait être mis en danger par le seul déplacement de ses temps de pause au cours d'une journée de travail.
4.3.
4.3.1. En vertu de l'art. 10 al. 4 de la loi du 24 mars 2000 sur le personnel de la Confédération (LPers; RS 172.220.1), les parties peuvent, pour de justes motifs, résilier avec effet immédiat les contrats de durée déterminée et les contrats de durée indéterminée.
4.3.2. Conformément à la jurisprudence, la résiliation immédiate pour justes motifs, en tant que mesure exceptionnelle, doit être admise de manière restrictive. Seul un manquement particulièrement grave du travailleur justifie son licenciement immédiat; lorsqu'il est moins grave, le manquement ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement (<ref-ruling> consid. 4.2 p. 579 et les arrêts cités). Par manquement du travailleur, on entend en règle générale la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent également justifier une résiliation immédiate (<ref-ruling> consid. 4.1 p. 31; <ref-ruling> consid. 2.2 p. 382 s.). Ce qui est déterminant, c'est que les faits invoqués à l'appui du congé immédiat aient entraîné la perte du rapport de confiance qui constitue le fondement du contrat de travail (<ref-ruling> consid. 2.1.1 p. 304). Savoir si le comportement incriminé atteint la gravité nécessaire dépend des circonstances du cas concret (<ref-ruling> précité consid. 4.2 p. 580). Il est donc difficile d'établir un catalogue de comportements susceptibles de justifier un congé immédiat. Dans son appréciation, le juge doit notamment prendre en compte la position et la responsabilité du travailleur (arrêts 8C_800/2016 du 12 décembre 2017 consid. 3.4; 4A_112/2017 du 30 août 2017 consid. 3.2 et les nombreuses références citées).
4.3.3. L'indication volontairement inexacte du temps de travail introduit dans le système de timbrage représente une violation grave du devoir de fidélité de l'employé. Le point de savoir si un tel comportement justifie une résiliation immédiate des rapports de travail dépend de l'ensemble des circonstances, en particulier du caractère répété du manquement, de la durée des rapports de travail et du fait qu'il devait être connu du salarié qu'une fraude ou une manipulation dans ce domaine n'était pas tolérée (arrêts 8C_800/2016 précité consid. 3.6; 4A_395/2015 du 2 novembre 2015 consid. 3.6; 4C.114/2005 du 4 août 2005 consid. 2.5). Dans ce dernier arrêt, le Tribunal fédéral n'a pas retenu l'existence d'un juste motif de résiliation dans le cas d'un employé qui n'avait commis qu'une faute unique et qui n'occupait pas une position de cadre (cf. aussi MARIE-NOËLLE VENTURI-ZEN-RUFFINEN, La résiliation pour justes motifs des contrats de durée, 2007, p. 211 n. 614). En revanche, dans une autre affaire, il a jugé que le fait de timbrer à plusieurs reprises une pause de midi plus courte que celle effectivement prise était propre à ébranler ou à détruire le lien de confiance existant entre les parties, de telle sorte que la poursuite des relations de travail ne pouvait plus être exigée de la part de l'employeur. En l'occurrence, entraient en considération la position de cadre occupée par le salarié et le fait qu'il était informé de l'importance de la sanction prévue en cas de non-respect des consignes concernant le timbrage (arrêt 4C.149/2002 du 12 août 2002 consid. 1.3). De même, il a été jugé que le fait de transmettre des données fausses concernant la durée de cours donnés comme moniteur Jeunesse et Sport revenait à remplir les conditions d'un licenciement immédiat pour justes motifs. Raisonnant par analogie, le Tribunal fédéral a établi un parallèle avec un travailleur astreint à faire contrôler ses heures de travail au moyen d'une timbreuse et qui, systématiquement et sur une longue période, ne timbrait pas de manière honnête (arrêt 2A.72/2005 du 6 mai 2005 consid. 3.3 avec un renvoi à l'arrêt non publié 2P.29/1993 du 4 juin 1993).
4.4. Contrairement à ce que laisse entendre le recourant dans son argumentation, ce n'est pas tant le "déplacement de ses temps de pause" qui lui est reproché, mais bien la manipulation du système de timbrage, dans le but de dissimuler son absence à son poste de travail. A cet égard, les motifs familiaux qu'il invoque pourraient, à la rigueur, excuser un déficit d'heures mais ne justifiaient pas la manière de procéder. En effet, selon les constatations du jugement attaqué, à aucun moment le recourant n'a fait part des difficultés rencontrées sur le plan familial ni requis un aménagement de son horaire de travail, cela malgré le soutien apporté par son employeur lorsqu'il avait lui-même rencontré des problèmes de santé entraînant de nombreuses absences de sa part entre 2009 et 2013. Par conséquent, c'est à juste titre que les premiers juges ont retenu, conformément à la casuistique tirée de la jurisprudence (supra consid. 4.3.3), que la nature et la gravité des actes reprochés, de même que leur caractère répété sur une période d'au moins une année, de la part d'un chef du service B._, constituait une violation grave du devoir de fidélité, de nature à rompre irrémédiablement le rapport de confiance avec son employeur. Dans de telles circonstances, un avertissement n'est pas nécessaire sous l'angle de l'art. 10 al. 4 LPers (<ref-ruling> consid. 7.5 p. 457). Cela étant, en tant qu'il fonde son grief de violation du principe de la proportionnalité sur l'absence d'avertissement, l'argumentation du recourant est mal fondée. Pour le reste, l'autorité précédente a exposé de manière circonstanciée et convaincante en quoi l'intérêt public de l'intimé, notamment à pouvoir s'appuyer sur des cadres dignes de confiance, l'emportait sur l'intérêt privé du recourant au maintien des rapports de service. A cet égard, le recourant se contente de reprendre les éléments déjà retenus en sa faveur par les premiers juges, ce qui n'est pas admissible au regard des exigences de motivation (art. 42 al. 2 en liaison avec l'<ref-law>).
5.
Vu ce qui précède, le recours se révèle mal fondé et doit être rejeté.
6.
Le recourant, qui succombe, supportera les frais judiciaire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Caisse cantonale de chômage et au Tribunal administratif fédéral, Cour I.
Lucerne, le 1er mars 2018
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella