Faits: A. Y._ exploite une agence d'"escort girls" appelée "E._". Lors d'un contrôle externe portant sur les périodes fiscales allant du 1er trimestre 2004 au 4ème trimestre 2008, effectué en février 2009, l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale) a constaté ce qui suit: - Y._ exploitait depuis plus de cinq ans l'agence précitée; - un site Internet était mis à disposition des clients; - des annonces étaient régulièrement insérées dans les journaux; - pour obtenir un rendez-vous avec une "escort girl", le client devait contacter l'agence, qui prenait contact avec l'"escort girl" correspondant à la demande formulée par le client, fixait le prix et organisait le rendez-vous; - l'"escort girl" encaissait la contre-prestation due par le client et rétrocédait 30% à Y._; - le livre de caisse se limitait à un tableau "Excel" sur lequel étaient reportés journalièrement les montants nets correspondant aux commissions reçues des "escort girls"; - les contre-prestations versées par le client en faveur de l'agence n'étaient reportées sur aucun document; - aucune comptabilité n'était tenue; - les recettes mentionnées dans les déclarations fiscales de Y._ ne correspondaient pas à celles indiquées dans les tableaux "Excel" remis. Estimant que les conditions de l'assujettissement à la TVA étaient remplies dès le 1er janvier 2004 et que les contre-prestations versées par les clients à l'agence devaient être soumises à la TVA dans leur intégralité, l'Administration fédérale a assujetti Y._ avec effet rétroactif au 1er janvier 2004 et lui a réclamé un montant d'impôt de 78'302 fr. pour la période allant du 1er janvier 2004 au 31 décembre 2008 (décompte complémentaire no aaa du 16 février 2009). Y._ a contesté le décompte complémentaire précité. Le prénommé n'ayant pas remis de décomptes pour les périodes allant du 1er janvier au 30 juin 2009, l'Administration fédérale, procédant par voie d'estimation, lui a adressé le 26 février 2010 le décompte complémentaire no bbb fixant l'impôt dû à 10'000 fr. Y._ a contesté également ce décompte complémentaire. B. L'assujettissement et les montants d'impôt dus ont été confirmés par décision formelle du 17 juin 2010. La réclamation formée contre ce prononcé a été partiellement admise par décision du 25 janvier 2011. Au vu de pièces et informations complémentaires fournies par Y._, l'Administration fédérale a émis deux avis de crédit de respectivement 4'879 et 8'498 fr. Saisi d'un recours contre cette décision, le Tribunal administratif fédéral l'a rejeté par arrêt du 15 février 2012. Il a considéré que, contrairement à ce que prétendait Y._, les "escort girls" n'étaient pas indépendantes du point de vue du droit de la TVA. C'était par conséquent à bon droit que leurs chiffres d'affaires avaient été intégralement attribués au prénommé. Par ailleurs, le Tribunal administratif fédéral a confirmé les modalités de la taxation par estimation effectuée par l'Administration fédérale. C. Agissant par la voie du recours en matière de droit public, Y._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 15 février 2012 et de renvoyer le dossier au Tribunal administratif fédéral, afin qu'il statue à nouveau sur les frais et dépens de la procédure devant lui et sur sa radiation du registre des contribuables TVA. A titre subsidiaire, il conclut à ce que la cause soit renvoyée à l'Administration fédérale pour nouvelle décision dans le sens des considérants. Au préalable, il requiert que son recours soit doté de l'effet suspensif. Sur le fond, il critique le point de vue du Tribunal administratif fédéral selon lequel les "escort girls" de son agence ne seraient pas indépendantes au sens du droit de la TVA. L'autorité précédente renonce à se déterminer sur le recours, alors que l'Administration fédérale propose de le rejeter. Par ordonnance présidentielle du 4 mai 2012, la requête d'effet suspensif a été admise.