Faits: A. A.a La Société immobilière A._, à Genève, qui avait pour but la location à ses propres actionnaires ou à des tiers des appartements sis à C._, dans l'immeuble D._, dont elle était propriétaire, ainsi que la constitution en propriété par étages et la possession, pour le compte de ses actionnaires, de l'ensemble des parts de copropriété par étages dudit immeuble, a été dissoute et mise en liquidation par décision de son assemblée générale du 25 novembre 1997. B._ a été désigné comme liquidateur avec signature individuelle. Durant les années 1999 et 2000, les lots de propriété par étages qui composaient l'immeuble D._ ont été cédés aux actionnaires. E._ et F._ ont acquis les leurs respectivement le 15 novembre 1999 et le 21 février 2000. Au bilan au 31 décembre 1998, les immeubles détenus par la Société immobilière figuraient à l'actif pour un montant total de CHF 9'915'094.70. Au bilan au 31 décembre 1999, les immeubles ne figuraient plus que pour un montant de CHF 198'302.--. Ce bilan contenait en revanche un poste "Débiteurs chirographaires" de CHF 11'136'576.21. Enfin, le bilan au 31 décembre 2000 mentionnait le même poste pour CHF 0.--. A.b Par formulaire n° 1050 intitulé "Impôt anticipé sur les prestations appréciables en argent en cas de liquidation d'une société immobilière selon l'art. 207 LIFD", daté du 7 octobre 2002, la Société immobilière a déclaré un excédent de liquidation total de CHF 11'229'838.26, échu le 1er octobre 2002. Elle a également demandé qu'une partie de ce montant puisse bénéficier de la procédure de déclaration. Par courrier du 14 mai 2004, l'Administration fédérale des contributions (ci-après l'Administration) a informé la Société immobilière qu'elle considérait que les conditions de la procédure de déclaration n'étaient pas remplies concernant plusieurs actionnaires, dont notamment F._, pour un montant de CHF 124'650.07, et E._, pour un montant de CHF 90'654.60. Par décision du 20 juillet 2005, l'Administration a fixé à CHF 82'049.50, avec intérêt moratoire dès le 31 janvier 2002, le montant dû par la Société immobilière au titre de l'impôt anticipé, constaté la responsabilité solidaire de B._ et levé l'opposition faite au commandement de payer n° 05 107318 S de l'Office des poursuites de Genève. A.c Par acte du 14 septembre 2005, la Société immobilière et B._ ont formé réclamation contre la décision du 20 juillet 2005. Par courrier du 30 mars 2006, l'Administration a admis la réclamation en ce qui concerne certains actionnaires et restreint la procédure à l'impôt anticipé dû sur la distribution de l'excédent de liquidation à F._ et E._ (ci-après: les actionnaires), soit à un montant de CHF 75'356'65 dû au titre de l'impôt anticipé. Par courrier du 7 mai 2010, l'Administration a informé la Société immobilière et B._ qu'elle entendait réformer la décision du 20 juillet 2005 et réclamer un intérêt moratoire dès le 30 janvier 2001, la créance fiscale étant échue le 31 décembre 2000 déjà. Par décision sur réclamation du 23 juin 2010, l'Administration a rejeté la réclamation (ch. 1), condamné la Société immobilière à verser la somme de CHF 75'356.65 au titre d'impôt anticipé, avec intérêt moratoire à 5 % l'an dès le 30 janvier 2001, ainsi que les frais de la poursuite n° 05 107318 S de l'Office des poursuites de Genève (ch. 2), constaté la responsabilité solidaire du liquidateur B._ pour l'ensemble de ces montants (ch. 3), et levé l'opposition formée à l'encontre du commandement de payer précité (ch. 4). B. La Société immobilière et B._ ont recouru au Tribunal administratif fédéral contre la décision sur réclamation du 23 juin 2010. La Société immobilière ayant été radiée au Registre du commerce du canton de Genève en date du 7 septembre 2010, l'Administration a requis sa réinscription. Celle-ci a été ordonnée par le Tribunal de première instance du canton de Genève le 14 octobre 2011. A la suite d'une ordonnance du 17 novembre 2011 du Tribunal administratif fédéral invitant l'Administration à se procurer le dossier fiscal complet des années 1999 à 2002 des actionnaires, l'Administration a produit un courrier de l'Administration fiscale du canton de Genève du 23 décembre 2011 ainsi qu'un échange de courriels des 12 et 13 janvier 2012 entre les deux administrations comportant des informations sur le départ de Suisse des deux actionnaires concernées. Le 19 mars 2012, le Tribunal administratif fédéral a rendu l'arrêt suivant, les frais étant intégralement mis à la charge des recourants: 1. Le recours des recourants est partiellement admis, dans la mesure où il est recevable; pour le surplus il est rejeté. 2. Le dispositif de la décision sur réclamation prise le 23 juin 2010 par l'AFC est modifié comme suit: 1. Le chiffre 2 de ladite décision est modifié dans ce sens que la recourante 1 doit payer un montant de CHF 75'356.65, plus intérêt moratoire de 5 % dès le 30 janvier 2002 et les frais de la poursuite n° 05 107138 S de l'Office des poursuites de Genève de CHF 110.85. 2. Le chiffre 3 de ladite décision est modifié dans ce sens que le recourant 2 est solidairement responsable avec la recourante 1 du paiement de l'impôt, des intérêts et de frais figurant sous chiffre 2.1 ci-avant. 3. Le chiffre 4 de ladite décision est modifié dans ce sens que l'opposition formée à l'encontre du commandement de payer dans la poursuite n° 05 107138 S de l'Office des poursuites de Genève est levée à concurrence de CHF 75'356.65, plus intérêt moratoire de 5 % dès le 30 janvier 2002 et les frais de la poursuite n° 05 107138 S de l'Office des poursuites de Genève de CHF 110.85. Le Tribunal administratif fédéral a retenu, en substance, que le versement de l'excédent de liquidation n'avait pas pu échoir avant la fin de la liquidation de la Société immobilière, soit au plus tôt à la fin de l'année 2001. Les actionnaires n'étant plus domiciliées en Suisse au 31 décembre 2001, l'obligation fiscale ne pouvait être exécutée par le biais de la procédure de déclaration. En outre, il a retenu que B._ n'avait pas entrepris tout ce que l'on pouvait raisonnablement attendre de lui pour exécuter la créance fiscale, de sorte que sa responsabilité solidaire devait être admise. Enfin, le Tribunal administratif fédéral a considéré que l'intérêt moratoire sur la créance d'impôt anticipé était dû dès le 30 janvier 2002 seulement, ce qui conduisait à l'admission très partielle du recours. C. Par acte du 7 mai 2012, la Société immobilière et B._ déposent un recours en matière de droit public au Tribunal fédéral. A titre principal, ils requièrent, sous suite de frais et dépens, qu'il soit constaté que la Société immobilière ne doit pas payer CHF 75'356.65 d'impôt anticipé plus des intérêts moratoires à 5 % l'an dès le 30 janvier 2002, les procédures de déclaration devant être admises concernant F._ et E._, que B._ n'est pas solidairement responsable du paiement de l'impôt anticipé, et que l'opposition formée à l'encontre du commandement de payer dans la poursuite n° 05 107318 S de l'Office des poursuites de Genève n'est pas levée, dite poursuite devant être radiée. Subsidiairement, les recourants requièrent le renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants. L'Administration conclut au rejet du recours, sous suite de frais, au terme d'une détermination circonstanciée. Le Tribunal administratif fédéral a renoncé à se déterminer.