Considérant en fait et en droit :
1.
Le 14 décembre 2015, X._ a été déclaré inapte au service militaire par décision de la commission de visite sanitaire compétente. Cette décision a été confirmée, sur recours, par une autre commission de visite sanitaire, le 23 mars 2016. Par courrier du 31 mars 2016, le Service de la sécurité civile et militaire du canton de Vaud (ci-après: le Service cantonal) a constaté que l'intéressé avait été déclaré inapte au service militaire et l'a notamment informé qu'il serait soumis à une taxe d'exemption de l'obligation de servir. Le 2 mai 2016, X._, par un représentant juriste, a interjeté recours contre ce courrier du 31 mars 2016 auprès du Tribunal administratif fédéral. Le 18 octobre 2016, à la suite d'échanges d'écritures avec l'intéressé, le Service médical militaire de la Base logistique de l'armée a déclaré celui-ci apte au service militaire. Par décision de radiation du 19 janvier 2017, le Tribunal administratif fédéral a radié la cause du rôle, n'a pas perçu de frais de procédure et n'a pas alloué de dépens.
2.
Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, d'annuler le chiffre du dispositif relatif aux dépens et de lui accorder un montant à dire de justice pour ses frais de défense devant l'autorité précédente; subsidiairement de renvoyer la cause au Tribunal administratif fédéral pour qu'il rende une nouvelle décision dans le sens des considérants. Outre d'un établissement inexact des faits, il se plaint de violation du droit fédéral et international.
Le Tribunal administratif fédéral renonce à prendre position. La Base logistique de l'armée conclut à l'irrecevabilité du recours, subsidiairement à son rejet. Dans des observations finales, X._ a implicitement confirmé ses conclusions.
3.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2 p. 59 et les références citées).
3.1. En vertu de l'art. 42 al. 1 et 2 LTF, à moins que cela ne fasse d'emblée aucun doute, la partie recourante doit, sous peine d'irrecevabilité, exposer en quoi les conditions de recevabilité sont réunies, en particulier en quoi elle a qualité pour recourir (<ref-ruling> consid. 3.1 p. 397 et les références citées).
3.2. Selon le principe de l'unité de la procédure qui s'impose même sans une prescription expresse, la voie de droit contre une décision portant sur les dépens suit celle contre la question sur le fond. En d'autres termes, le recours en matière de droit public n'est pas ouvert contre une décision relative à un litige ne pouvant être déféré au Tribunal fédéral par cette voie de droit (<ref-ruling> consid. 3 p. 143 s.; arrêt 5D_165/2015 du 22 avril 2016 consid. 1).
3.3. Aux termes de l'<ref-law>, le recours en matière de droit public est irrecevable contre les décisions en matière de service militaire, de service civil ou de service de protection civile. Les décisions relatives au recrutement dans l'armée, et en particulier celles des commissions de visite sanitaire quant à l'aptitude au service militaire (cf. art. 39 de la loi du 3 février 1995 sur l'armée et l'administration militaire [LAAM; RS 510.10]), sont des décisions contre lesquelles le recours au Tribunal fédéral est irrecevable (cf. HANSJÖRG SEILER, in Bundesgerichtsgesetz [BGG], Seiler et al. [éd.], 2 e éd. 2015, n. 84 ad <ref-law>; FLORENCE AUBRY GIRARDIN, in Commentaire de la LTF, Corboz et al. [éd.], 2 e éd. 2014, n. 111 ad <ref-law>; THOMAS HÄBERLI, in Basler Kommentar, Bundesgerichtsgesetz, Niggli et al. [éd.], 2 e éd. 2011, n. 184 ad <ref-law>). En revanche, les décisions sur recours qui concernent l'exonération ou la réduction de la taxe d'exemption de l'obligation de servir peuvent faire l'objet d'un recours en matière de droit public devant le Tribunal fédéral (cf. art. 31 al. 3 de la loi du 12 juin 1959 sur la taxe d'exemption de l'obligation de servir [LTEO; RS 661]) et ne tombent par conséquent pas sous le coup de l'exception de l'<ref-law> (cf. arrêts 2C_955/2014 du 12 octobre 2016 consid. 1.3; 2C_1094/2014 du 12 juin 2015 consid. 1.1; 2C_396/2012 du 23 novembre 2012 consid. 1.1).
3.4. En l'occurrence, on relèvera en premier lieu que, sur le fond, la cause concerne a priori une affaire militaire. Sur le vu de l'<ref-law>, il est hautement douteux que les explications succinctes du recourant relatives à la recevabilité de son recours, qui se contente de mentionner que la " décision du Tribunal administratif fédéral susmentionnée ne relève pas d'un domaine faisant l'objet d'exceptions à l'<ref-law> ", suffisent pour le considérer comme étant recevable. Compte tenu du considérant qui suit, cette question peut toutefois rester indécise.
3.5. La décision de radiation du Tribunal administratif fédéral a été rendue suite à un recours contre une "décision" du Service cantonal. Or, l'acte de ce service du 31 mars 2016, considéré par le recourant comme une décision, ne fait qu'informer ce dernier de sa situation, c'est-à-dire son inaptitude au service militaire et le fait que, dorénavant, il devra s'acquitter d'une taxe d'exemption. L'objet du litige devant le Tribunal administratif fédéral n'était donc nullement la contestation d'une taxe d'exemption proprement dite, pour lequel le recours en matière de droit public au Tribunal fédérai aurait été ouvert. Les preuves en sont que le Tribunal administratif fédéral n'aurait pas été compétent pour en traiter (cf. <ref-law>) et le fait qu'aucune décision concrète de taxation n'ait été rendue à l'encontre du recourant. Cela exclut donc toute procédure relative à une taxe d'exemption.
Sur le vu des explications figurant dans le recours au Tribunal administratif fédéral et du fait que la décision du 18 octobre 2016 du Service médical militaire de la Base logistique de l'armée, jugeant le recourant apte au service, ait conduit l'autorité précédente à radier la cause de son rôle, il s'agissait bien plus pour le recourant de contester devant le Tribunal administratif fédéral son inaptitude au service militaire. Pour cette raison, outre que cette autorité judiciaire était au demeurant également incompétente pour traiter de cette cause (cf. <ref-law>), le présent recours tombe sous l'exception de l'<ref-law>. Le recours en matière de droit public n'étant pas ouvert sur le fond, il ne l'est pas non plus sur la question accessoire des dépens.
3.6. Les considérants qui précèdent conduisent à l'irrecevabilité du recours en matière de droit public. La décision attaquée émanant du Tribunal administratif fédéral, la voie du recours constitutionnel subsidiaire est, pour sa part, d'emblée exclue (art. 113 a contrario LTF).
4.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).


Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au représentant du recourant, à la Base logistique de l'armée, Service médical militaire, et au Tribunal administratif fédéral, Cour I.
Lausanne, le 12 juin 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette