Faits: A. A.a La société anonyme X._ SA est une filiale à 100 % de la société Y._, elle-même détenue à 100 % par la Société C._. Elle a été inscrite au registre du commerce de Genève en 1980. Selon ses statuts du 1er décembre 1995, son but social était libellé comme suit: "opérations de financement et de placements, requises pour la gestion de la trésorerie et le financement de sociétés du groupe C._ ou de sociétés tierces." Par modification des statuts inscrite le 15 juin 2001, son but social a pris la teneur suivante: "opérations de financement et de placements, en son nom propre, sous n'importe quelle forme, principalement sous forme de placements, de dépôts, de crédits, de placements et de prêts fiduciaires, toutes opérations cambiaires." Pendant de nombreuses années et jusqu'en octobre 1998, X._ SA a eu pour activité principale le financement à long terme et la gestion de la trésorerie internationale du groupe C._. Dès le 1er novembre 1998, l'activité de gestion de la trésorerie internationale a été transférée à d'autres sociétés du groupe et seule la gestion des prêts à long terme est demeurée. Quant à cette dernière activité, elle a cessé également à la fin de l'année 2001. Selon inscription au registre du commerce de Genève, X._ SA a été dissoute par décision de l'assemblée générale du 13 mars 2002. Z._, avocat, a été inscrit en qualité de liquidateur. A la suite de son décès, le mandat de liquidateur a été confié à B._, inscrit au registre du commerce en 2004. A._ a occupé la fonction de directeur de X._ SA d'octobre 1987 jusqu'au 9 juin 1999 où il a été inscrit au registre du commerce comme administrateur-président. Le 20 mars 2002, son inscription en qualité d'organe de X._ SA a été radiée. A.b Du 4 au 8 mars 2002, ainsi que les 2 et 3 juillet 2002, l'Administration fédérale des contributions (ci-après l'AFC) a procédé à un contrôle fiscal des comptes de X._ SA portant sur les exercices 1997 à 2001. Lors de ce contrôle, l'AFC a constaté que des fonds d'un montant total de CHF 420'725'672.- avaient été versés sur des comptes bancaires ouverts au nom de X._ SA auprès de la Banque D._, Luxembourg, et de la Banque E._, Grand Cayman, puis transférés le même jour ou le lendemain sur des comptes bancaires chiffrés ne permettant pas l'identification des bénéficiaires. Dans le cadre du même contrôle, l'AFC a également relevé que les activités de X._ SA avaient été reprises dès le 1er décembre 1998 par la société Y._, actionnaire unique, et qu'aucune indemnité n'avait été comptabilisée pour cette reprise dans les comptes de X._ SA. A la requête de l'AFC, X._ SA a transmis l'identité des donneurs d'ordre des versements litigieux, à savoir la Société C._ et F._ SA. X._ SA a en outre confirmé à l'AFC ne pas connaître l'identité des bénéficiaires de ces paiements. S'agissant du transfert d'activité à son actionnaire, X._ SA a par ailleurs contesté l'appréciation de l'AFC. Par courrier du 5 septembre 2002, l'AFC a informé X._ SA qu'elle considérait que les montants que cette dernière avait reçus sans justification sur ses comptes bancaires constituaient des revenus appartenant à la société et qu'en les transférant, elle avait effectué des prestations appréciables en argent sans contre-prestations équivalentes à des inconnus considérés comme des proches de la société ou des actionnaires. En conséquence, l'AFC réclamait une somme de CHF 147'253'985.- au titre de l'impôt anticipé pour les périodes fiscales de 1997 à 2001. Par courrier du même jour, l'AFC a en outre informé X._ SA qu'elle considérait que le transfert à titre gratuit de l'ensemble de son activité sans contre-prestation à son actionnaire entre le 1er décembre 1998 et le 21 décembre 2000 représentait une liquidation de fait de la société. Elle réclamait à ce titre une somme de CHF 22'750'000.- correspondant à 35 % de la valeur d'exploitation de la société au 31 décembre 2000. B. Par décision formelle du 2 décembre 2003, l'AFC a reconnu X._ SA débitrice du montant de CHF 170'852'601.65, plus intérêt moratoire à 5 % l'an, à titre d'impôt anticipé, à raison de CHF 147'253'985.- au titre des versements non justifiés, CHF 22'750'000.- sur la cession gratuite des affaires et CHF 848'616.65 au titre de l'excédent de liquidation. Elle a en outre déclaré Z._, liquidateur, et A._, administrateur-président, solidairement responsables avec X._ SA à concurrence du produit de liquidation. Par réclamations du 16 janvier 2004, X._ SA, Z._ et A._ ont contesté cette décision. Le 27 août 2007, l'AFC a rendu la décision sur réclamation suivante: "1. La réclamation du 16 janvier 2004 de X._ est rejetée. 2. Partant, la société X._ SA en liquidation doit payer CHF 147'253'985.- (CHF 420'725'672.- x 35 %), au titre d'impôt anticipé échu sur des prestations appréciables en argent concédées aux actionnaires et/ou à des personnes proches des actionnaires. 3. La société X._ SA en liquidation doit en outre payer CHF 23'598'616.65 (CHF 67'424'619.- x 35 %) au titre d'impôt anticipé sur l'excédent de liquidation résultant de sa liquidation de fait. 4. A._ répond solidairement avec la société, jusqu'à concurrence du produit de la liquidation par CHF 67'424'619.-, du paiement de l'impôt anticipé, des frais et des intérêts qui ont pris naissance pendant sa gestion. 5. La procédure fiscale à l'encontre Z._ devient sans objet, suite à son décès le 1er mai 2004, et, par conséquent, est annulée. 6. Un intérêt moratoire de 5 % l'an est dû dès l'échéance des montants d'impôt anticipé mentionnés aux chiffres 2, 3 et 4 du dispositif de la présente décision sur réclamation." X._ SA et A._ ont recouru contre cette décision au Tribunal administratif fédéral le 27 septembre 2007. L'AFC a conclu au rejet du recours. Le Tribunal administratif fédéral a procédé à un second échange d'écritures, avisé A._ qu'il envisageait une reformatio in pejus et lui a donné l'occasion de se déterminer à ce sujet. Le Tribunal administratif fédéral a rendu son arrêt le 4 avril 2011, dont le dispositif a la teneur suivante: "1. Le recours est rejeté au sens des considérants. 2. Les ch. 1 à 3, 5 et 6 du dispositif de la décision entreprise sont confirmés. 3. Le ch. 4 du dispositif de la décision entreprise est modifié en ce sens que A._ répond solidairement avec la société, jusqu'à concurrence du produit de la liquidation par CHF 82'373'014.-, du paiement de l'impôt anticipé, des frais et des intérêts qui ont pris naissance pendant sa gestion. 4. (...)". Le Tribunal administratif fédéral a, en substance, considéré que les recourants n'avaient pas apporté la preuve de l'existence de relations de compte courant avec la Société C._ et F._ SA, de sorte que l'AFC était admise à considérer que les montants encaissés appartenaient à X._ SA. Partant, les versements ultérieurs de ces montants, réalisés sans contrepartie équivalente, l'ont appauvrie de sorte que c'est à bon droit que l'AFC a qualifié les opérations litigieuses de prestations appréciables en argent soumises à un impôt anticipé fixé à CHF 147'253'985.-. Le Tribunal administratif fédéral a par ailleurs considéré que X._ SA avait été liquidée de fait avant que la décision de dissolution ne soit formellement adoptée, soit entre le 1er décembre 1998 et le 31 décembre 2001. En sus de l'impôt anticipé sur les prestations appréciables en argent fournies à des actionnaires entre 1997 et 2001, X._ SA était donc débitrice de CHF 22'750'000.- à titre d'impôt anticipé sur la cessation à titre gratuit des activités de la société à des actionnaires intervenue entre fin 1998 et fin 2001, montant auquel il fallait ajouter CHF 848'616.65 à titre d'impôt anticipé sur l'excédent de liquidation au 31 décembre 2001. Concernant la responsabilité solidaire de A._, le Tribunal administratif fédéral a relevé que l'intéressé avait continué d'assister la société dans le cadre de sa liquidation en dépit de sa radiation formelle au registre du commerce. En outre, dès lors que les éléments sur lesquels l'AFC entendait se fonder pour percevoir l'impôt anticipé étaient clairs à l'issue de la révision des comptes qui avait eu lieu entre le 4 et le 8 mars 2002, le Tribunal administratif fédéral a estimé que la responsabilité solidaire de A._ découlait également de sa qualité de liquidateur de fait de X._ SA à cette date. Enfin, le Tribunal administratif fédéral a exposé que le calcul du produit de liquidation devait se fonder sur le dernier bilan établi avant le début des activités de liquidation, soit celui au 31 décembre 2000, et non celui au 31 décembre 2001 que l'AFC avait pris comme base pour son calcul. Le Tribunal administratif fédéral en a conclu que la responsabilité solidaire de A._ n'était pas limitée à CHF 67'424'619.- mais à CHF 82'373'014.-. C. X._ SA et A._ interjettent un recours en matière de droit public contre l'arrêt du Tribunal administratif fédéral du 4 avril 2011. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt précité et des décisions rendues par l'AFC les 2 décembre 2003 et 27 août 2007. Ils demandent en outre que l'effet suspensif soit accordé à leur recours. L'AFC conclut au rejet du recours. Les recourants ont déposé une ultime détermination le 7 octobre 2011.