Faits : A. La société X._ SA a pour but, entre autres, la création, le développement et la production d'articles en matières naturelles et synthétiques destinés en particulier au monde de l'horlogerie. Depuis le 8 avril 2002, elle est immatriculée au registre de l'Administration fédérale des contributions (ci-après: l'Administration fédérale) en qualité d'assujettie à la taxe sur la valeur ajoutée (TVA). Le 19 octobre 2009, la société a envoyé à l'Administration fédérale un courrier contenant une copie de son ancienne déclaration d'adhésion au taux de la dette fiscale nette. Elle y déclarait exercer l'activité d'" achat et vente de services de polissages de gants en microfibre pour le monde horloger - pas de production!! ". Le 4 décembre 2009, l'Administration fédérale a autorisé l'usage du taux de la dette fiscale nette de 2% pour le " commerce d'achat et vente de pièces d'horlogerie " à partir du 1 er janvier 2010. Lors d'un contrôle portant sur les périodes de décompte allant du 1 er semestre 2010 au 2 e semestre 2014, l'Administration fédérale a notamment constaté des erreurs d'imposition. Le taux de la dette fiscale nette appliqué par la société, limité pour l'achat et la vente de textiles, ne correspondait que partiellement à ses activités. B. Le 24 novembre 2015, l'Administration fédéral a adressé à l'assujettie une notification d'estimation fixant les montants de la créance fiscale pour les années 2010 à 2014 et la correction de l'impôt en sa faveur. Le 23 décembre 2015, la société a contesté la reprise d'impôt effectuée. Le 18 janvier 2016, elle a demandé à l'Administration fédérale de rendre une décision formelle. En date du 24 mai 2016, après avoir encore obtenu diverses informations, l'Administration fédérale a fait part à la société intéressée de sa volonté de procéder à une reformatio in peiuset lui a fait parvenir une nouvelle notification d'estimation augmentant la correction d'impôt en sa faveur, remplaçant et annulant celle du 24 novembre 2015. Par décision du 18 novembre 2016, l'Administration fédérale a confirmé sa dernière notification d'estimation, rejetant ainsi la contestation de la société X._ SA. Le 4 janvier 2017, la société X._ SA a formé réclamation à l'encontre de la décision du 18 novembre 2016 auprès de l'Administration fédérale, demandant que sa réclamation soit déférée au Tribunal administratif fédéral pour être traitée comme un recours omisso medio. Par arrêt du 3 mai 2017, le Tribunal administratif fédéral n'est pas entré en matière sur le recours omisso medio de la société X._ SA et a renvoyé la cause à l'Administration fédérale comme objet de sa compétence. C. Agissant par la voie du recours en matière de droit public, la société X._ SA demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif fédéral du 3 mai 2017, de constater que les conditions d'un recours omisso medio sont données et de renvoyer la cause à ce dernier, afin qu'il se prononce sur le fond. Elle se plaint de violation du droit fédéral et en particulier de constatation manifestement inexacte des faits. Le Tribunal administratif fédéral renonce à se déterminer. L'Administration fédérale conclut au rejet du recours. Dans des observations finales, la société X._ SA maintient implicitement ses conclusions.