Faits : Faits : A. X._, né en 1935, exploite une entreprise de taxi à B._. Il est titulaire d'une concession A et possède deux véhicules: une VW Passat CL immatriculée VD XXX, mise en circulation le 1er juin 1995, et une VW Passat Comfortable, immatriculée VD YYY et mise en circulation le 11 mai 2000. Il emploie un chauffeur enregistré auprès du Service intercommunal des taxis de C._. Le 14 octobre 2002, X._ a rempli un questionnaire pour l'enregistrement comme contribuable TVA. Il a également complété une formule "informations complémentaires pour entreprises de taxis", d'où il ressortait que la somme des kilomètres parcourus avec les deux véhicules était de 60'000 pour chacune des années 2000 et 2001, à quoi venaient s'ajouter 8'000 km par année de trajets privés. Il a joint les bilans et comptes d'exploitation pour les années 1996 à 2001. Par courrier du 29 octobre 2002, l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou l'intimée) a communiqué à X._ que, sur la base de ses renseignements, il ne remplissait pas les conditions d'assujettissement à la TVA et que, par conséquent, elle ne l'inscrivait pas dans le registre des contribuables. Dans le courant du mois de juin 2003, l'Administration fédérale a pris contact avec X._ en vue de procéder à un contrôle sur place. Dans un courrier daté du 5 juillet 2003, X._ a relevé que ce procédé était "incompatible" avec le courrier du 29 octobre 2002 et a exigé que l'Administration fédérale lui en indique par écrit les motifs. Le 8 juillet 2003, lorsque les inspecteurs de l'Administration fédérale se sont présentés à son domicile, X._ a refusé de les recevoir. Dans un courrier du 11 août 2003, l'Administration fédérale a présenté les dispositions légales relatives au contrôle et à l'obligation de fournir des renseignements, en invitant X._ à se prêter à la tenue d'un contrôle sur place. Pour le cas où celui-ci s'y opposerait, elle a évoqué la possibilité de faire application de l'art. 60 LTVA (taxation par voie d'estimation). Dans une écriture du 15 septembre 2003, X._ a informé l'Administration fédérale qu'il n'était "pour l'instant pas disposé à recevoir" les inspecteurs. Dans une écriture du 15 septembre 2003, X._ a informé l'Administration fédérale qu'il n'était "pour l'instant pas disposé à recevoir" les inspecteurs. B. Le 26 septembre 2003, l'Administration fédérale a procédé à une estimation du chiffre d'affaires de X._ pour les périodes fiscales allant du 1er janvier 1998 au 30 juin 2003 (1er trimestre 1998 au 2ème trimestre 2003). Pour ce faire, elle a déterminé le nombre total de kilomètres parcourus, déduit les trajets effectués à titre privé puis multiplié le nombre de kilomètres restants par le rendement kilométrique moyen dans la région concernée, soit en l'occurrence la Ville de C._. Afin de déterminer le nombre total de kilomètres parcourus, elle s'est basée sur le kilométrage du véhicule immatriculé VD XXX lors de l'expertise auprès du Service des automobiles et de la navigation du canton de Vaud. Le véhicule en question avait 231'127 km le 7 décembre 1998 et 350'471 km le 22 mars 2001, ce qui correspondait à 52'074 km par année. En déduisant une part privée de 8'800 km ([B._ - C._ = 5 km · 2 · 360 jours = 3'600 pour les trajets domicile - lieu de travail] + [forfait de 100 km · 4 semaines = 400 pour les vacances] + [forfait de 100 km · 48 semaines = 4'800 pour les autres trajets privés]), elle est arrivée à 43'274 km parcourus à titre professionnel par année. S'agissant du véhicule immatriculé VD YYY, qui n'avait pas été expertisé dans l'intervalle, l'Administration fédérale ne disposait d'aucun élément. Elle a par conséquent repris les résultats obtenus pour le véhicule VD XXX. En ajoutant à partir de juin 2000 les kilomètres afférents à ce second véhicule, elle a obtenu, compte tenu d'un rendement kilométrique de 2 fr. 50 jusqu'en janvier 2002 et de 2 fr. 70 à partir de février 2002, un chiffre d'affaires brut de 108'185 fr. pour chacune des années 1998 et 1999, 171'294 fr. pour 2000, 216'370 fr. pour 2001, 232'238 fr. pour 2002 et 116'840 fr. pour les deux premiers trimestres 2003. En appliquant à ces montants le taux de dette fiscale nette applicable aux entreprises de taxi, soit 4% pour 1998 et 4,6% dès 1999, elle a obtenu un montant d'impôt net compris entre 4'327 fr. 40 (1998) et 10'682 fr. 90 (2002). Au vu des résultats de l'estimation, l'Administration fédérale a considéré que X._ remplissait les conditions de l'assujettissement obligatoire à compter du 1er janvier 1998 et l'a immatriculé dans le registre des contribuables TVA avec effet rétroactif à cette date. Elle a de plus établi les décomptes complémentaires no 210703 et 210704, en distinguant entre les périodes fiscales durant lesquelles l'ordonnance du 22 juin 1994 régissant la taxe sur la valeur ajoutée (OTVA; RO 1994 II 1464 ss et les modifications ultérieures) était applicable et celles écoulées sous l'empire de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (loi sur la TVA, LTVA, entrée en vigueur le 1er janvier 2001; RS 641.20): le premier, d'un montant de 17'183 fr. concernait les périodes allant du 1er trimestre 1998 au 4ème trimestre 2000, le second, d'un montant de 26'010 fr., se rapportait à celles allant du 1er trimestre 2001 au 2ème trimestre 2003. Par courrier du 23 octobre 2003, X._, désormais représenté par un mandataire professionnel, a contesté son assujettissement ainsi que les décomptes complémentaires précités. Il a notamment fait valoir qu'avant de procéder à une taxation par estimation, l'Administration fédérale aurait dû rendre une décision formelle sur le point de savoir si les conditions d'un contrôle sur place étaient réunies, comme il l'avait requis dans son courrier du 5 juillet 2003. Il a derechef demandé que l'Administration fédérale statue formellement sur cette question. Par deux décisions du 15 juin 2004, l'Administration fédérale a confirmé l'assujettissement de X._ à partir du 1er janvier 1998 ainsi que les décomptes complémentaires précités. X._ a formé une réclamation à l'encontre de ces prononcés. Il a ultérieurement produit un récapitulatif des kilomètres parcourus durant les années 2002 et 2003 avec les véhicules immatriculés VD YYY et VD XXX, document basé sur les relevés hebdomadaires établis par son employé. Selon ces pièces, en 2002, son employé avait effectué 45'082 km avec le véhicule VD YYY et lui-même 13'082 km. A cela venaient s'ajouter 367 km parcourus avec le véhicule de remplacement VD XXX. En 2003, son employé avait effectué 43'732 km avec le véhicule VD YYY et lui-même 2'770 km. Le véhicule VD XXX avait parcouru 2'430 km. Par décisions du 21 novembre 2005, l'Administration fédérale a rejeté la réclamation. Elle a relevé que seuls les bilans et comptes d'exploitation des années 1996 à 2001 lui avaient été remis. Elle n'avait eu accès à aucun livre de base de la comptabilité, à aucun livre auxiliaire tel que le livre de caisse, ni à aucune pièce justificative telle que les disques des tachygraphes et les rapports journaliers. Or, les livrets de travail et rapports journaliers étaient indispensables pour établir le caractère probant de la comptabilité (notamment du livre de caisse). Les disques des tachygraphes permettaient de leur côté de vérifier l'exactitude des écritures passées à la main dans les rapports journaliers. Dans ces conditions, la détermination des chiffres d'affaires par estimation était justifiée. De plus, l'Administration fédérale maintenait son estimation des chiffres d'affaires, du moment que le contribuable n'avait remis ni disques des tachygraphes ni livrets de travail. Les récapitulatifs produits pour les années 2002 et 2003 ne permettaient en effet nullement de suppléer à l'absence de ces documents comptables. X._ a déféré ces décisions à la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours). Il a joint à un courrier ultérieur six factures de garage indiquant le kilométrage du véhicule VD YYY et datant des années 2002 et 2003, en soutenant que ces pièces corroboraient l'exactitude des relevés hebdomadaires établis par son employé. Dans sa détermination sur le recours, l'Administration fédérale a relevé que l'examen des factures produites par le recourant conduisait à admettre qu'elle avait fait preuve de modération dans l'estimation des kilomètres effectués avec le véhicule VD YYY. En effet, il ressortait des factures du 19 mars 2002 et du 28 mai 2003 que le véhicule avait parcouru 61'514 km durant cette période de 435 jours, soit en moyenne 141,4 km par jour. Annuellement (360 jours), cela équivalait à 50'908 km, alors que son estimation était seulement de 43'274 km. Le recours a été rejeté par décision du 24 août 2006. La Commission de recours a considéré qu'il était justifié de procéder à une estimation des chiffres d'affaires. Elle a également confirmé l'estimation des chiffres d'affaires effectuée par l'Administration fédérale, en rejetant les griefs du recourant concernant le nombre total de kilomètres parcourus, le nombre de kilomètres parcourus à titre privé ainsi que le rendement kilométrique. Le recours a été rejeté par décision du 24 août 2006. La Commission de recours a considéré qu'il était justifié de procéder à une estimation des chiffres d'affaires. Elle a également confirmé l'estimation des chiffres d'affaires effectuée par l'Administration fédérale, en rejetant les griefs du recourant concernant le nombre total de kilomètres parcourus, le nombre de kilomètres parcourus à titre privé ainsi que le rendement kilométrique. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, principalement, d'annuler la décision attaquée et, subsidiairement, de renvoyer la cause à l'autorité intimée pour qu'elle procède à une nouvelle "appréciation de l'estimation", le tout sous suite de frais et dépens. Il soutient que les conditions d'une taxation par estimation n'étaient pas réunies dans son cas et qu'au surplus l'estimation de l'autorité intimée est manifestement erronée. A l'appui de ses conclusions, il produit des factures de garage relatives au véhicule VD XXX. La Commission de recours a renoncé à déposer des observations. L'Administration fédérale conclut au rejet du recours, sous suite de frais et dépens.