Faits:
A. Y._ exploite une agence d'"escort girls" appelée "E._".
Lors d'un contrôle externe portant sur les périodes fiscales allant du 1er trimestre 2004 au 4ème trimestre 2008, effectué en février 2009, l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale) a constaté ce qui suit:
- Y._ exploitait depuis plus de cinq ans l'agence précitée;
- un site Internet était mis à disposition des clients;
- des annonces étaient régulièrement insérées dans les journaux;
- pour obtenir un rendez-vous avec une "escort girl", le client devait contacter l'agence, qui prenait contact avec l'"escort girl" correspondant à la demande formulée par le client, fixait le prix et organisait le rendez-vous;
- l'"escort girl" encaissait la contre-prestation due par le client et rétrocédait 30% à Y._;
- le livre de caisse se limitait à un tableau "Excel" sur lequel étaient reportés journalièrement les montants nets correspondant aux commissions reçues des "escort girls";
- les contre-prestations versées par le client en faveur de l'agence n'étaient reportées sur aucun document;
- aucune comptabilité n'était tenue;
- les recettes mentionnées dans les déclarations fiscales de Y._ ne correspondaient pas à celles indiquées dans les tableaux "Excel" remis.
Estimant que les conditions de l'assujettissement à la TVA étaient remplies dès le 1er janvier 2004 et que les contre-prestations versées par les clients à l'agence devaient être soumises à la TVA dans leur intégralité, l'Administration fédérale a assujetti Y._ avec effet rétroactif au 1er janvier 2004 et lui a réclamé un montant d'impôt de 78'302 fr. pour la période allant du 1er janvier 2004 au 31 décembre 2008 (décompte complémentaire no aaa du 16 février 2009).
Y._ a contesté le décompte complémentaire précité.
Le prénommé n'ayant pas remis de décomptes pour les périodes allant du 1er janvier au 30 juin 2009, l'Administration fédérale, procédant par voie d'estimation, lui a adressé le 26 février 2010 le décompte complémentaire no bbb fixant l'impôt dû à 10'000 fr.
Y._ a contesté également ce décompte complémentaire.
B. L'assujettissement et les montants d'impôt dus ont été confirmés par décision formelle du 17 juin 2010.
La réclamation formée contre ce prononcé a été partiellement admise par décision du 25 janvier 2011. Au vu de pièces et informations complémentaires fournies par Y._, l'Administration fédérale a émis deux avis de crédit de respectivement 4'879 et 8'498 fr.
Saisi d'un recours contre cette décision, le Tribunal administratif fédéral l'a rejeté par arrêt du 15 février 2012. Il a considéré que, contrairement à ce que prétendait Y._, les "escort girls" n'étaient pas indépendantes du point de vue du droit de la TVA. C'était par conséquent à bon droit que leurs chiffres d'affaires avaient été intégralement attribués au prénommé. Par ailleurs, le Tribunal administratif fédéral a confirmé les modalités de la taxation par estimation effectuée par l'Administration fédérale.
C. Agissant par la voie du recours en matière de droit public, Y._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'annuler l'arrêt du 15 février 2012 et de renvoyer le dossier au Tribunal administratif fédéral, afin qu'il statue à nouveau sur les frais et dépens de la procédure devant lui et sur sa radiation du registre des contribuables TVA. A titre subsidiaire, il conclut à ce que la cause soit renvoyée à l'Administration fédérale pour nouvelle décision dans le sens des considérants. Au préalable, il requiert que son recours soit doté de l'effet suspensif. Sur le fond, il critique le point de vue du Tribunal administratif fédéral selon lequel les "escort girls" de son agence ne seraient pas indépendantes au sens du droit de la TVA.
L'autorité précédente renonce à se déterminer sur le recours, alors que l'Administration fédérale propose de le rejeter.
Par ordonnance présidentielle du 4 mai 2012, la requête d'effet suspensif a été admise.

Considérant en droit:
1. 1.1 Dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par le Tribunal administratif fédéral (cf. <ref-law>), le présent recours est en principe recevable comme recours en matière de droit public. Interjeté par une partie directement touchée par la décision attaquée et qui a un intérêt digne de protection à son annulation ou sa modification (cf. <ref-law>), il a, en effet, été déposé dans le délai (cf. <ref-law>) et la forme (cf. <ref-law>) prévus par la loi et ne tombe sous le coup d'aucune des clauses d'exception de l'<ref-law>.
1.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente, sauf si ceux-ci ont été retenus de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 4.3 p. 63) - ou en violation du droit au sens de l'<ref-law> (cf. art. 105 al. 1 et 2 LTF) et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Lorsque le recourant entend s'en prendre aux faits ressortant de l'arrêt attaqué, il doit établir de manière précise la réalisation de ces conditions. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356 et les arrêts cités). Par ailleurs, l'<ref-law> dispose qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (al. 1).
1.3 Dans la mesure où le recourant présente sa propre version des faits, sans exposer en quoi les conditions rappelées ci-dessus seraient réalisées, ou allègue des faits nouveaux, son recours est irrecevable. Le Tribunal de céans procédera à l'examen de la décision attaquée sur la seule base des faits qui y sont retenus.
2. La loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (RO 2000 1300 et les modifications ultérieures; ci-après: aLTVA), entrée en vigueur le 1er janvier 2001, a été abrogée avec effet au 31 décembre 2009 par la nouvelle loi fédérale du 12 juin 2009 régissant la taxe sur la valeur ajoutée (LTVA; RS 641.20). Sous réserve d'exceptions, les normes de l'ancien droit ainsi que leurs dispositions d'exécution sont applicables à tous les faits et rapports juridiques ayant pris naissance avant leur abrogation (<ref-law>). L'aLTVA s'applique dès lors au présent litige, qui porte sur les périodes fiscales allant du 1er trimestre 2004 au 2ème trimestre 2009.
3. Aux termes de l'art. 21 al. 1 aLTVA, est assujetti à l'impôt quiconque, même sans but lucratif, exerce de manière indépendante une activité commerciale ou professionnelle en vue de réaliser des recettes, à condition que ses livraisons, ses prestations de services et ses prestations à lui-même effectuées sur territoire suisse dépassent globalement 75'000 fr. par an.
Exerce une telle activité de manière indépendante la personne qui fournit ses prestations en son nom, en apparaissant comme prestataire vis-à-vis de l'extérieur. Dès lors qu'elle remplit ces conditions, cette personne est en principe considérée comme un assujetti distinct et les prestations qu'elle fournit lui sont attribuées aux fins de l'assujettissement et de l'imposition (arrêt 2C_742/2008 consid. 5.2 et les références, in Archives 79 p. 260, RF 64/2009 p. 604). Pour caractériser l'activité indépendante en droit de la TVA, il est possible de se référer aux critères applicables en droit des impôts directs - où il s'agit principalement de distinguer l'activité indépendante de la gestion de la fortune privée, du hobby et de l'exercice d'une activité lucrative dépendante -, même si la finalité différente des deux catégories d'impôts limite l'harmonisation de la notion (arrêt 2C_399/2011 du 13 avril 2012, destiné à la publication, consid. 2.4.2). Le fait de supporter le risque économique, d'agir et d'apparaître sous son propre nom vis-à-vis des tiers, ainsi que la liberté d'accepter ou non une tâche et de s'organiser en vue d'exécuter celle-ci dénotent ainsi une activité indépendante. En outre, le fait d'employer du personnel, d'effectuer des investissements importants, de disposer de ses propres locaux (commerciaux), d'avoir différents partenaires d'affaires et d'être indépendant du point de vue de l'économie d'entreprise et de l'organisation du travail jouent également un rôle. La qualification doit intervenir en appréciant l'ensemble des aspects pertinents (arrêts 2C_518/2007 et 2C_519/2007 du 11 mars 2008 consid. 2.2, in Archives 77 p. 567, RF 63/2008 p. 706; 2C_399/2011, précité, consid. 2.4.2 et les références). Le statut au plan des assurances sociales et en matière d'impôts directs, de même que les relations contractuelles de droit privé constituent des indices, mais ne sont pas déterminants à eux seuls (arrêt 2A.47/2006 du 6 juillet 2006 consid. 3.2 et les références, in RF 61/2006 p. 825; Mollard/Oberson/Tissot Benedetto, Traité TVA, 2009, chap. 3 nos 38 s.).
4. 4.1 L'autorité précédente a retenu que c'était l'agence qui apparaissait sur le site Internet et les divers supports publicitaires comme fournisseur des prestations de services d'"escort". Les "escort girls" figuraient certes - sous leurs pseudonymes - sur le site Internet du salon, mais ne pouvaient être contactées, du moins pour un premier rendez-vous, que par l'intermédiaire de l'agence, soit par téléphone, soit par courrier électronique. L'agence fixait également les tarifs applicables, qui figuraient sur le site Internet. Elle recrutait les "escort girls" et décidait lesquelles pouvaient travailler pour elle. Elle convenait en outre de la date et du lieu des rendez-vous avec les clients, les "escort girls" demeurant libres d'accepter ou non un rendez-vous. L'agence ne semblait pas imposer d'horaire, ni de lieu de rencontre et n'établissait ainsi pas de "planning" pour les "escort girls". Celles-ci restaient toutefois dans une certaine mesure soumises aux instructions du recourant et à l'organisation mise en place par l'agence, car, si elles refusaient (systématiquement) les rendez-vous proposés par celle-ci, elles couraient le risque de ne plus pouvoir travailler pour elle et de perdre ainsi les avantages en termes de revenus qui en découlaient. En outre, les "escort girls" étaient tenues d'informer l'agence de leurs rencontres avec les clients et étaient soumises à une interdiction de concurrence. L'agence prenait également des dispositions en vue d'assurer que les clients s'acquittent des montants dus en contrepartie des prestations d'"escort": le site Internet indiquait que "les prestations de nos escorts sont payables en espèces ou par carte de crédit, au début de la rencontre"; de plus, une avance de 50% du prix de la prestation convenue, plus les frais de transport était exigée, si une "escort girl" devait se déplacer "en dehors d'un rayon d'action raisonnable (en général plus de 100 km)". De cette manière, ni l'agence ni l'"escort girl" ne courait un réel risque de perte, sauf si le client faisait opposition au débit de sa carte de crédit.
4.2 Le recourant fait valoir que les clients veulent rencontrer une "escort girl" particulière, de sorte que c'est celle-ci qui doit être considérée comme prestataire et non l'agence. Cette dernière ne nouerait aucune relation contractuelle avec le client et jouerait un simple rôle d'intermédiaire. Sa situation pourrait être comparée à celle d'une centrale de taxis, laquelle n'est pas considérée, au plan de la TVA, comme le fournisseur des prestations de transport des taxis. S'agissant de l'organisation de l'agence et plus particulièrement de sa faculté de refuser certaines "escort girls", le recourant soutient qu'à cet égard il peut être comparé à un apporteur d'affaires dans le domaine de l'assurance ou de la finance, qui ne souhaite faire de la publicité que pour une entreprise sérieuse et compétente. Cette faculté résulterait en outre de son obligation en vertu de la loi genevoise sur la prostitution du 17 décembre 2009 (RS/GE I 2 49) de veiller à ce que les personnes exerçant la prostitution respectent les dispositions légales. Par ailleurs, le recourant fait valoir que ce sont les "escort girls" et non pas lui qui supportent le risque économique lié à l'absence d'activité: si celles-ci n'arrivent pas à acquérir des clients et à les fidéliser, elles courent le risque de ne pas avoir de revenus, puisque lui-même ne leur garantit aucune rémunération. A cela s'ajoute qu'elles risquent de ne pas être rémunérées pour leurs prestations si le client fait opposition au débit de sa carte de crédit. Quant à sa propre rémunération, elle dépendrait (depuis 2008) du temps que le client passe avec l'"escort girl" et non du chiffre d'affaires réalisé par cette dernière. A cela s'ajouterait une commission de 10% sur les montants dont les clients s'acquittent par carte de crédit. Le recourant reproche en outre à l'autorité précédente de n'avoir pas suffisamment instruit la cause, en violation de la maxime inquisitoire, en ce qui concerne son statut et celui des "escort girls" en matière d'AVS et d'impôts directs.
4.3 Le fait que le recourant choisit les jeunes femmes qui travaillent comme "escort girls" dans le cadre de son agence et qu'il fixe les tarifs des prestations, ainsi que certaines modalités du paiement de la contre-prestation, revêt une importance particulière. Les tarifs (et les modalités en question) figurent sur le site Internet du recourant, de sorte qu'ils apparaissent comme les tarifs de l'agence. Il ne s'agit en outre pas seulement de prix indicatifs ("Richtpreise"), comme dans l'affaire à la base de l'arrêt du Tribunal administratif fédéral A- 5875/2009 du 16 juin 2010 (consid. 5.2), où il a (néanmoins) été jugé que les "escort girls" avaient un statut dépendant en droit de la TVA, ce qui s'impose a fortiori en présence de prix fixes, comme en l'espèce. Le recourant tente de relativiser l'importance de sa faculté de choisir les "escort girls" en se référant à ses obligations découlant de la législation genevoise sur la prostitution. Or, si celle-ci lui impose il est vrai certaines vérifications (âge, statut en droit des étrangers, cf. art. 19 let. b de la loi précitée), il est vraisemblable que le choix intervienne surtout sur la base de critères "commerciaux" devant assurer le "niveau" de l'agence et le maintien des tarifs pratiqués.
De manière générale, c'est l'agence qui figure sur les supports publicitaires. Le site Internet de celle-ci présente certes les "escort girls", mais seuls leurs pseudonymes sont indiqués, alors que, par le biais du registre du commerce, le recourant apparaît vers l'extérieur sous son nom comme exploitant de l'agence. Par ailleurs, les clients doivent passer par l'agence pour avoir en tout cas un premier rendez-vous avec l'"escort girl" de leur choix.
Au plan de l'organisation de l'activité, la publicité - effectuée par l'agence - revêt une importance particulière s'agissant de prestations d'ordre sexuel (cf. arrêt du Tribunal administratif fédéral A-5875/2009, précité, consid. 5.3). Par ailleurs, le recourant choisit les jeunes femmes qui peuvent travailler pour l'agence et fixe les tarifs ainsi que certaines modalités du paiement de la contre-prestation, comme il a été dit. Les "escort girls" ne sont certes pas tenues de donner suite à un rendez-vous, mais cela s'explique moins par la volonté de leur laisser toute liberté dans l'exercice de leur activité que par la nécessité pour le recourant d'organiser l'agence de manière à ne pas tomber sous le coup des dispositions pénales réprimant l'encouragement de la prostitution (<ref-law>). Pour ce qui est du risque économique supporté par les "escort girls", il est à tout le moins réduit par la publicité effectuée par l'agence (cf. arrêt 2C_518/2007 et 2C_519/2007, précité, consid. 3.3.3). Le fait que celles-ci n'ont pas un revenu garanti constitue certes un indice d'activité indépendante, mais n'est pas décisif, car, dans l'appréciation globale à laquelle il y a lieu de procéder, les circonstances qui viennent d'être évoquées et qui indiquent au contraire une condition dépendante apparaissent comme prépondérantes (cf. arrêt 2C_518/2007 et 2C_519/2007, précité, consid. 3.2 et 3.3.2).
Quant à la comparaison de la situation du recourant avec celle d'une centrale de taxis, elle repose sur des faits (une telle centrale "dicterait" les tarifs des prestations de transport, etc.) qui ne ressortent pas de la décision attaquée et sont, partant, irrecevables. Il n'est en outre pas établi ni même allégué qu'une centrale de taxis choisirait les chauffeurs avec qui elle travaille, comme le recourant le fait avec les "escort girls" de son agence. L'importance de la personne du prestataire - le client de l'agence voulant rencontrer telle "escort girl", alors que celui qui appelle une centrale de taxis ne demande généralement pas un chauffeur particulier - n'est pas déterminante, car il en va de même dans d'autres activités (p. ex. salon de coiffure comptant plusieurs employés), sans que cela implique nécessairement un statut indépendant (cf. arrêt 2C_518/2007 et 2C_519/2007, précité, consid. 3.3.2).
Le recourant ne saurait par ailleurs être vu comme un simple intermédiaire entre les "escort girls" et les clients. Une telle qualification suppose en effet un rapport de représentation directe au sens de l'art. 11 al. 1 aLTVA, le représentant devant agir expressément au nom et pour le compte du représenté. En pratique, la représentation directe expresse en matière de TVA est soumise à des exigences de documentation (mandat écrit, décomptes de provisions; cf. arrêt 2C_518/2007 et 2C_519/2007, précité, consid. 3.3.4), dont il n'a jamais été allégué qu'elles auraient été remplies en l'espèce. En outre, l'importance de la rémunération du recourant (30% du montant versé par le client en tout cas jusqu'en 2008, date à partir de laquelle le recourant aurait été selon ses dires rémunéré d'une autre manière, en fonction du temps passé avec le client, ce qui n'implique toutefois pas nécessairement une baisse de son revenu) donne à penser que celui-ci ne se limite pas à jouer un rôle d'intermédiaire (cf. arrêt du Tribunal administratif fédéral A-5875/2009, précité, consid. 5.5).
S'agissant de son statut au plan de l'AVS et des impôts directs, le recourant s'est contenté d'allégations (seule la part lui revenant des recettes provenant des prestations de nature sexuelle des "escort girls" aurait été soumise aux impôts directs; les cotisations AVS auraient été prélevées sur la même quote-part, l'autorité compétente reconnaissant par là de fait le statut indépendant des "escort girls"), sans produire ni même offrir de moyens de preuve. Du reste, l'autorité précédente pouvait considérer, au vu des autres circonstances dénotant une activité dépendante, que ces éléments n'étaient pas de nature à l'amener à une autre conclusion; elle pouvait ainsi renoncer à instruire sur ces aspects, sans violer la maxime inquisitoire.
En conclusion, c'est bien l'agence du recourant qui apparaît vis-à-vis de l'extérieur comme le fournisseur des prestations d'"escort", les "escort girls" ne se présentant qu'à travers elle. Compte tenu également de l'organisation mise en place, ces dernières sont vues comme faisant partie de l'entreprise du recourant, de sorte que seul celui-ci exerce une activité indépendante au sens du droit de la TVA et qu'il se justifie de lui attribuer les prestations fournies par les "escort girls" dans le cadre de l'agence. Le recours est mal fondé à cet égard.
5. 5.1 Le recourant fait valoir que l'interdiction de concurrence retenue par l'autorité précédente ne vaut qu'après la fin du contrat conclu avec chacune des "escort girls" et en outre seulement pour les clients qui sont passés par l'agence. Sous réserve de ce qui précède, les "escort girls" seraient libres d'exercer leurs activités en dehors de l'agence. Le recourant reproche à l'autorité précédente de n'avoir pas suffisamment instruit la cause à cet égard et d'avoir ainsi violé son droit d'être entendu. Les faits en question seraient en effet déterminants, dès lors que, selon le principe de l'unité de l'entreprise consacré par la jurisprudence, les "escort girls" ne pourraient être assujetties personnellement pour les prestations fournies à l'extérieur sans l'être également pour celles effectuées par le biais de l'agence.
5.2 Comme cela ressort de l'arrêt 2C_742/2008 (consid. 5.3), le principe de l'unité de l'entreprise sert à fixer l'étendue de l'assujettissement d'un contribuable donné, lequel est assujetti pour l'ensemble de ses activités (indépendantes), la qualité de sujet fiscal n'étant pas divisible (Mollard/Oberson/Tissot Benedetto, op. cit., chap. 3 no 55). Ce principe ne permet en revanche pas de déterminer si l'on est en présence d'un ou de plusieurs contribuables, question qui s'examine au regard de la manière dont les personnes concernées apparaissent - ou non - vis-à-vis des tiers et d'après l'organisation adoptée en vue de fournir les prestations (cf. consid. 3.1 ci-dessus). Or, selon ces critères, seul le recourant exerce une activité indépendante au sens du droit de la TVA et il se justifie de lui attribuer les prestations fournies par les "escort girls" dans le cadre de l'agence qu'il exploite (voir consid. 4.3 ci-dessus). A supposer qu'il soit avéré, le fait que certaines "escort girls" exercent leurs activités également en dehors de l'agence ne saurait rien y changer sous l'angle du principe de l'unité de l'entreprise. Par conséquent, l'autorité précédente pouvait se dispenser d'instruire sur le point de l'interdiction de concurrence, sans violer le droit d'être entendu du recourant.
6. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>) et n'a pas droit à des dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée, et au Tribunal administratif fédéral, Cour I.
Lausanne, le 23 juillet 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin