Faits : A. X._, né en 1989, est titulaire d'un bachelor d'une haute école spécialisée (ci-après: HES) en "Informatique". Il a commencé la passerelle HES-Ecole polytechnique fédérale de Lausanne (ci-après: EPFL), section "Informatique et Communication", au semestre d'automne de l'année académique 2012/2013. Durant cette année, il s'est inscrit à douze examens, a pris part à huit, puis n'a pas pu se présenter aux quatre épreuves restantes. Il a remis à l'EPFL un certificat médical attestant de son incapacité, lequel a été accepté. Par décision du 26 juillet 2013, l'EPFL a notifié à X._ son bulletin de notes qui est le suivant: Matières Session Note Crédits nécessaires Crédits obtenus Examen passerelle HES 60 4 Algorithmes .02.2013 3 6 Analyse III .02.2013 3.5 4 Computer networks .02.2013 3.5 5 Concurrence .07.2013 Manque 4 Informatique théorique .07.2013 2.5 4 Introduction to database systems .07.2013 4 4 4 Operating systems .07.2013 Manque 4 Physique générale I .02.2013 3 6 Physique générale II .07.2013 Manque 6 Probabilités et statistique .07.2013 Manque 6 Programmation orientée système .07.2013 3.5 4 Software engineering .02.2013 3 6 En conséquence, l'EPFL a signifié à X._ qu'il avait définitivement échoué à la passerelle HES-EPFL. La Commission de recours interne des EPF (ci-après: la Commission de recours) a confirmé cette décision le 12 décembre 2013. B. Par arrêt du 29 avril 2014, le Tribunal administratif fédéral a rejeté le recours de X._. Il a en substance jugé que les conditions énoncées à l'art. 5 du règlement de la Direction de l'EPFL du 21 mai 2012 d'admission passerelle HES-EPFL (année académique 2012/ 2013 [ci-après: règlement passerelle ou RP]) étaient cumulatives. Ainsi, pour que la passerelle soit réussie, il fallait tant une moyenne égale ou supérieure à 4,0 dans l'ensemble des branches contenues dans le bloc-passerelle (cf. art. 5 al. 1 RP) que l'obtention de 30 crédits validés individuellement au terme de la première année déjà (cf. art. 5 al. 2 RP), ainsi que de 60 crédits dans un délai de deux ans (cf. art. 5 al. 3 RP). Le recourant n'avait obtenu qu'une note suffisante sur les huit examens qu'il avait présentés au cours de la première année de passerelle et n'avait pu valider que quatre crédits. Ainsi, même dans l'hypothèse où le recourant parvenait à obtenir une moyenne égale ou supérieure à 4,0 en se présentant aux quatre examens manquants, ce qui paraissait théoriquement encore possible, il obtiendrait tout au plus 20 crédits supplémentaires. Au total, il ne pourrait donc obtenir que 24 crédits au terme de la première année de passerelle, ce qui était insuffisant pour remplir la condition cumulative de l'art. 5 al. 2 RP. C. X._ forme un "recours" devant le Tribunal fédéral. Il demande que l'arrêt de 29 avril 2014 du Tribunal administratif fédéral soit annulé, afin qu'il puisse terminer son année en tant que candidat en passerelle HES. L'EPFL se réfère à l'arrêt attaqué. La Commission de recours conclut au rejet du recours. Le Tribunal administratif fédéral et le Département fédéral de l'économie, de la formation et de la recherche ont renoncé à déposer des observations.