Faits : A. Inscrite au registre du commerce du Valais central depuis le *** 1999, A._ Sàrl (ou la Société) était composée initialement de deux associés-gérants, à savoir C._ et B._. Depuis le décès de C._ en novembre 2011, A._ Sàrl est entièrement détenue par B._. Le 28 février 2000, C._ et B._ ont vendu à D._ SA pour un prix de 200'000 fr. une catapulte dont ils avaient acquis les composants en mars 1999. Le bénéfice net s'élevait à 150'000 fr. et a été réparti à raison de 95'000 fr. en faveur de C._ et 55'000 fr. en faveur de B._. Considérant que l'attribution de ce bénéfice aux associés-gérants de A._ Sàrl constituait une prestation de cette dernière en leur faveur, soumise à l'impôt anticipé, et qu'un tel état de fait était en outre caractéristique d'une soustraction fiscale, l'Administration fédérale des contributions (ci-après: l'Administration fédérale) a invité A._ Sàrl, les 30 mars et 22 avril 2004, à lui faire parvenir 52'500 fr. à titre d'impôt anticipé (35 % de 150'000 fr.). Une poursuite a été introduite à l'encontre de la Société, qui s'est opposée au commandement de payer notifié le 8 juin 2004. B. Par décision formelle du 23 juillet 2004, l'Administration fédérale a confirmé la taxation du 30 mars 2004 et levé l'opposition au commandement de payer. Elle a en outre déclaré les deux associés-gérants solidairement responsables du paiement de l'impôt. Le 12 juillet 2007, l'Administration fédérale a admis partiellement la réclamation formée par les intéressés, en annulant la responsabilité solidaire des associés-gérants, tout en la rejetant pour le surplus. Par arrêt du 3 septembre 2010, le Tribunal administratif fédéral a admis le recours formé par A._ Sàrl, B._ et C._ et renvoyé la cause à l'Administration fédérale pour qu'elle statue à nouveau, après avoir déterminé avec plus de précisions si le bénéfice retiré de la vente litigieuse devait ou non revenir à A._ Sàrl compte tenu des activités effectivement menées par celle-ci. Le 14 août 2012, l'Administration fédérale a rendu une nouvelle décision, confirmant dans son résultat la décision du 12 juillet 2007. A._ Sàrl a été reconnue débitrice d'un montant de 52'500 fr. d'impôt anticipé, plus intérêt moratoire et frais de poursuite par 100 fr. B._ et C._ ont été déclarés tenus au paiement de l'impôt à hauteur de 19'250 fr. pour le premier (35 % de 55'000 fr.) et de 33'250 fr. pour le second (35 % de 95'000 fr.) plus intérêt, ceux-ci étant libérés en cas de paiement de la créance fiscale par A._ Sàrl. Le 13 février 2014, le Tribunal administratif fédéral a rejeté pour autant que recevable le recours formé par A._ Sàrl et B._ à l'encontre de la décision du 14 août 2012. C. Parallèlement au différend concernant l'impôt anticipé, l'Administration fédérale a procédé à une reprise en matière de TVA concernant A._ Sàrl en lien avec la vente de cette même catapulte. Par arrêt du 11 février 2009 (cause 2C_742/2008 publiée in Archives 79 p. 260), le Tribunal fédéral a admis le recours formé par la Société. Il a considéré en substance que l'on ne pouvait faire application de la théorie de la réalité économique pour imputer à A._ Sàrl les opérations relatives à la catapulte. En effet, ces opérations étaient le fait de contribuables distincts de A._ Sàrl. Or, il ne suffit pas, sous l'angle de la TVA, que deux assujettis distincts aient des liens économiques entre eux pour que l'on puisse faire abstraction de la réalité juridique et considérer que l'on est en présence d'un seul contribuable. Tel ne peut être le cas qu'en présence d'une situation relevant de l'évasion fiscale. Partant, la cause a été renvoyée au Tribunal administratif fédéral pour qu'il examine si les conditions d'une évasion fiscale étaient réunies. Par arrêt du 13 juillet 2009 (cause A-1329/2009), celui-ci a estimé qu'il était préférable que l'Administration fédérale procède aux investigations nécessaires et examine la question, de sorte qu'il lui a lui-même renvoyé la cause. D. Contre l'arrêt du 13 février 2014, A._ Sàrl et B._ ont formé un " recours " au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et, en conséquence, à ce que leur réclamation du 6 août 2004 soit admise. Le Tribunal administratif fédéral a renoncé à prendre position. L'Administration fédérale s'est référée à l'arrêt attaqué, ainsi qu'à sa décision sur réclamation du 14 août 2012, tout en concluant au rejet du recours dans la mesure de sa recevabilité.