Faits : A. La A._ SA, est une société de droit français dont le siège se trouve en France. Elle dispose d'une succursale à Zurich, inscrite au registre du commerce de ce canton. La société et sa succursale réalisent notamment des opérations d'arbitrage sur indice par le biais du marché des futures (" reverse cash and carry "). Durant les années 2009 et 2010, fondée sur les dispositions du droit interne suisse, la société, agissant par l'entremise de sa succursale à Zurich, a demandé à l'Administration fédérale des contributions (ci-après: l'Administration fédérale) le remboursement (à titre définitif) de l'impôt anticipé (à hauteur de 35%) perçu sur des rendements d'actions suisses échus en 2008 et 2009. L'Administration fédérale, par décision du 1 er avril 2011, a rejeté dans une très large mesure les demandes de remboursement, considérant en particulier que les rendements pour lesquels le remboursement était demandé ne faisaient pas partie de la fortune d'exploitation de la succursale. Elle a confirmé ce prononcé par une décision sur réclamation du 7 novembre 2012. Dans un arrêt du 3 juin 2014, le Tribunal administratif fédéral a rejeté le recours formé le 10 décembre 2012 par la société. Cet arrêt a été confirmé par le Tribunal fédéral le 22 novembre 2015 (arrêt 2C_642/2014). B. Par deux demandes datées du 19 février 2016, reçues par l'Administration fédérale le 29 mars 2016, la A._ SA, se fondant sur la convention du 9 septembre 1966 entre la Suisse et la France en vue d'éliminer les doubles impositions en matière d'impôts sur le revenu et sur la fortune et de prévenir la fraude et l'évasion fiscales (RS 0.672.934.91; ci-après: CDI CH-FR), a demandé le remboursement partiel de l'impôt anticipé perçu sur les rendements échus en 2008 et 2009 (part excédant le 15% du montant brut des dividendes). En raison de la tardiveté du dépôt de ces demandes, l'Administration fédérale les a rejetées par décision du 25 avril 2017. Saisi le 24 mai 2017 par la A._ SA, le Tribunal administratif fédéral, par arrêt du 1 er mai 2019, a rejeté le recours de cette société et confirmé la décision de l'Administration fédérale du 25 avril 2017. C. Agissant par la voie du recours en matière de droit public, la A._ SA demande en substance au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du Tribunal administratif fédéral du 1 er mai 2019 et de lui rembourser le montant total de 36'364'015 fr. 45 d'impôt anticipé (18'918'333 fr. 46 pour 2008 et 17'445'681 fr. 99 pour 2009); subsidiairement d'annuler l'arrêt du Tribunal administratif fédéral du 1 er mai 2019 et de renvoyer la cause à cette autorité pour nouvel arrêt dans le sens des considérants; plus subsidiairement d'annuler l'arrêt précité et de renvoyer la cause à l'Administration fédérale pour nouvelle décision dans le sens des considérants. Le Tribunal administratif fédéral renonce à se déterminer. L'Administration fédérale conclut au rejet du recours. Dans des observations finales, la A._ SA persiste dans ses conclusions.