Faits: A. A.a A._ SA (ci-après A._ SA ou la recourante 1), à C._, est une société anonyme de droit suisse ayant pour but l'exploitation d'une banque. A._ SA était détenue par D._ SA, une société anonyme de droit suisse, elle-même détenue par la société coopérative par actions E._, à F._ (Italie). Avec effet au 1er avril 2007, E._ est devenue la société coopérative par actions B._ (ci-après B._ ou la recourante 2). A._ SA a repris les actifs et passifs de D._ SA par contrat de fusion du 11 décembre 2007. Depuis cette date, B._ détient A._ SA directement. A.b Par formule 823B du 18 avril 2005 (portant le tampon de l'Administration du 2 juin 2005), D._ SA et E._ ont demandé à l'Administration fédérale des contributions (ci-après l'Administration) l'autorisation de payer au taux réduit, prévu par la convention de double imposition applicable, l'impôt anticipé perçu sur les dividendes versés par la première à la seconde. L'Administration a fait droit à cette demande le 24 juin 2005 et donné son autorisation, valable jusqu'au 23 juin 2008. Le 9 décembre 2005, D._ SA a fait usage de cette autorisation. Elle a versé à E._ un dividende brut de CHF 9'500'000.- sur lequel elle a retenu un montant d'impôt anticipé de 15 % qu'elle a versé à l'Administration. Par formule 823C du 21 novembre 2005 (portant le tampon de l'Administration du 14 février 2006), D._ SA et E._ ont demandé à l'Administration l'autorisation de dégrever, en application du traité international pertinent, l'impôt anticipé perçu sur les dividendes versés par D._ SA à E._. L'Administration a fait droit à cette demande le 7 mars 2006 et donné son autorisation, valable jusqu'au 6 mars 2009. D._ SA a fait usage de cette autorisation le 14 avril 2006, pour un dividende brut de CHF 1'500'000.-, le 6 avril 2007, pour un dividende brut de CHF 9'500'000.-, et le 13 décembre 2007, pour des actions gratuites d'une valeur nominale de CHF 1'000'000.- remises à B._. L'Administration ayant accepté la procédure de déclaration pour ces prestations, aucun impôt anticipé n'a été perçu. Par formules 103 et 108 du 5 juin 2008 (portant le tampon de l'Administration du 31 juillet 2008), A._ SA, qui avait alors fusionné avec D._ SA, a déclaré une distribution de dividende brut de CHF 12'500'000.- en faveur de B._, sur lequel elle a retenu un impôt anticipé de 35 % qu'elle a versé à l'Administration. Par formule 823C également datée du 5 juin 2008 (portant le tampon de l'Administration du 31 juillet 2008), A._ SA et B._ ont demandé à l'Administration l'autorisation de dégrever, en application du droit international, l'impôt anticipé perçu sur les dividendes versés par A._ SA à B._. Par formule 70 (recte: 95) du 11 juillet 2008, A._ SA a demandé le remboursement de l'impôt anticipé perçu sur le dividende brut de CHF 12'500'000.-, à hauteur de 20 %. Elle précisait qu'en novembre 2009, soit deux ans après la fusion entre A._ SA et D._ SA, elle adresserait à l'Administration une demande de remboursement pour le 15 % restant. Par courrier du 22 septembre 2008, l'Administration a refusé la demande d'autorisation 823C datée du 5 juin 2008 au motif que B._ était une société coopérative par actions et ne pouvait par conséquent être considérée comme une société de capitaux au sens du traité international pertinent. L'Administration précisait que les dividendes payés à B._ étaient soumis à un impôt anticipé de 35 %, le remboursement de l'impôt demeurant possible à raison de 20 % au moyen de la formule 95 en application de la convention de double imposition. Par courrier du 7 octobre 2008, l'Administration a informé B._ que les autorisations accordées à la suite des demandes 823B du 18 avril 2005 et 823C du 21 novembre 2005 avaient été octroyées à tort et réclamé le versement d'un impôt anticipé de 15 % sur les dividendes et actions gratuites annoncés les 14 avril 2006, 6 avril 2007 et 13 décembre 2007, portant sur des dividendes de CHF 1'500'000.- et de CHF 9'500'000.- ainsi que des actions gratuites d'une valeur de CHF 1'000'000.-. Elle réitérait en outre le refus d'autorisation et les explications contenues dans son courrier du 22 septembre 2008. Le 29 juin 2009, D._ SA, A._ SA et B._ ont demandé à l'Administration de reconsidérer la position développée dans son courrier du 7 octobre 2008 et d'admettre leur demande de dégrèvement total. A.c Par décision du 24 juin 2010, l'Administration a refusé la procédure de dégrèvement sollicitée et condamné D._ SA et A._ SA à verser l'impôt anticipé de 15 % sur les dividendes et actions gratuites annoncés les 14 avril 2006, 6 avril 2007 et 13 décembre 2007 pour lequel le dégrèvement avait été admis à tort. D._ SA, A._ SA et B._ ont formé réclamation contre la décision précitée, requis son annulation et demandé que la procédure de dégrèvement soit admise au profit de B._ pour tous les dividendes et actions gratuites en cause, à savoir les montants de CHF 9'500'000.-, CHF 1'500'000.-, CHF 9'500'000.-, CHF 1'000'000.- et CHF 12'500'000.- distribués respectivement en 2005, 2006, 2007 et 2008. Par décision sur réclamation du 20 mai 2011, rendue à l'égard de A._ SA exclusivement, l'Administration a partiellement admis la réclamation. Elle a constaté que les dividendes et actions gratuites de CHF 1'500'000.-, CHF 9'500'000.- et CHF 1'000'000.- distribués en 2006, 2007 et 2008 étaient entièrement dégrevés de l'impôt anticipé dans la mesure où D._ SA, puis A._ SA après la fusion, pouvaient se prévaloir du principe de la bonne foi, bien que les sociétés bénéficiaires des dividendes, à savoir E._ et B._, ne remplissaient pas les conditions requises par le traité international applicable pour que A._ SA obtienne le droit de recourir à la procédure de déclaration. Elle a en revanche refusé la demande d'autorisation 823C du 5 juin 2008 formée par A._ SA et B._ qui tendait à obtenir le bénéfice de la procédure de déclaration pour les dividendes de CHF 12'500'000.- versés en faveur de B._ en 2008. Enfin, elle a constaté que les montants d'impôt anticipé perçus sur les dividendes de CHF 9'500'000.- de 2005 et de CHF 12'500'000.- de 2008 avaient été prélevés à bon droit. B. A._ SA et B._ ont porté l'affaire devant le Tribunal administratif fédéral. Elles requéraient l'annulation de la décision sur réclamation en ce qu'elle refusait la demande d'autorisation sur formule 823C déposée par A._ SA en vue d'appliquer la procédure de déclaration, et demandaient à ce qu'il soit constaté que B._ remplit les conditions pour être qualifiée de société de capitaux au sens du traité international pertinent, et d'intimer à l'Administration de délivrer à A._ SA l'autorisation d'appliquer la procédure de déclaration. Par arrêt du 12 janvier 2012, le Tribunal administratif fédéral a déclaré le recours de B._ irrecevable et rejeté le recours de A._ SA. Il a considéré en substance que la procédure dont il était saisi portait exclusivement sur le droit de A._ SA d'appliquer la procédure de déclaration, à l'exclusion du droit de B._ d'obtenir le remboursement de l'impôt anticipé, de sorte que cette dernière n'était pas légitimée à agir. Il a également retenu qu'il subsistait un doute au sujet de la qualification de B._ en tant que société de capitaux, de sorte que l'obligation fiscale de A._ SA devait être exécutée par le paiement de l'impôt anticipé et non par la déclaration de la prestation imposable. Par surabondance, le Tribunal administratif fédéral a enfin relevé que la déclaration de la distribution de dividende litigieuse de CHF 12'500'000.- survenue en 2008 avait été effectuée tardivement, de sorte que la possibilité, pour A._ SA, de bénéficier de la procédure de déclaration était de toute manière périmée. C. Par acte du 20 février 2012, A._ SA et B._ déposent un recours en matière de droit public au Tribunal fédéral. Elles demandent principalement d'annuler l'arrêt du 12 janvier 2012, de dire que B._ remplit les conditions pour être qualifiée de société de capitaux au sens du traité international pertinent, d'intimer à l'Administration de délivrer à A._ SA l'autorisation d'appliquer la procédure de déclaration et d'intimer à l'Administration de rembourser à B._ l'impôt anticipé retenu et versé par A._ SA, le tout sous suite de frais et dépens. A titre subsidiaire, elles requièrent le renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens de leurs conclusions. L'Administration conclut au rejet du recours, sous suite de frais. Le Tribunal administratif fédéral a renoncé à prendre position.