Faits : Faits : A. X._ a exploité comme entrepreneur individuel une salle de jeux électriques à prépaiement avec buvette annexe. Il était propriétaire d'une partie des jeux seulement, les autres appartenant à des tiers. Inscrit au registre du commerce le 11 octobre 1994, il en a été radié le 1er septembre 2004, par suite de cessation de l'exploitation. Le 29 septembre 2003, l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée (ci-après: l'Administration fédérale ou l'autorité intimée) a procédé à un contrôle, afin de déterminer si le prénommé devait être immatriculé au registre des assujettis à la taxe sur la valeur ajoutée (ci-après: TVA). Ayant constaté que la comptabilité n'avait pas été tenue correctement, elle a procédé à une estimation du chiffre d'affaires pour les périodes fiscales allant du 1er janvier 1998 au 30 juin 2003 (1er trimestre 1998 au 2ème trimestre 2003). Au vu des résultats de l'estimation, elle a considéré que X._ remplissait les conditions de l'assujettissement obligatoire à compter du 1er janvier 1998 au moins et l'a immatriculé dans le registre des contribuables TVA avec effet rétroactif à partir de cette date. Elle a de plus établi les décomptes complémentaires nos 121845 et 121846, selon lesquels le prénommé devait au titre de la TVA respectivement 12'538 fr. (pour les périodes fiscales allant du 1er trimestre 1998 au 4ème trimestre 2000) et 12'771 fr. (périodes fiscales allant du 1er trimestre 2001 au 2ème trimestre 2003). Dans une écriture du 10 octobre 2003, X._ a contesté son assujettissement. Par courrier du 27 octobre 2003, l'Administration fédérale a informé X._ qu'elle l'avait radié du registre des contribuables TVA avec effet au 30 septembre 2003. Par courrier du 27 octobre 2003, l'Administration fédérale a informé X._ qu'elle l'avait radié du registre des contribuables TVA avec effet au 30 septembre 2003. B. Le 19 janvier 2004, l'Administration fédérale a confirmé l'assujettissement de X._ ainsi que les décomptes complémentaires précités, en rendant deux décisions, portant l'une sur les périodes fiscales durant lesquelles l'ordonnance du 22 juin 1994 régissant la taxe sur la valeur ajoutée (OTVA; RO 1994 II 1464 ss et les modifications ultérieures) était applicable et l'autre sur les périodes fiscales écoulées sous l'empire de la loi fédérale du 2 septembre 1999 régissant la taxe sur la valeur ajoutée (loi sur la TVA, LTVA, entrée en vigueur le 1er janvier 2001; RS 641.20). Le 10 février 2004, X._ a formé une réclamation à l'encontre de ces prononcés. Dans cette écriture, il s'est aussi étonné de sa radiation du registre des contribuables avec effet au 30 septembre 2003. Par courrier du 23 février 2004, l'Administration fédérale a accusé réception de la réclamation et informé que la radiation du registre des contribuables provenait d'une "malencontreuse erreur", qui allait être rectifiée au plus vite par la réinscription de X._. La réclamation a été partiellement admise par décisions du 1er décembre 2004: pour estimer les recettes des ventes de nourriture, boissons et cigarettes, l'Administration fédérale a appliqué une marge globale aux achats, toutes marchandises confondues, au lieu de marges différentes pour chacune des catégories de produits, comme elle l'avait fait lors du contrôle. Elle a ainsi ramené les montants d'impôt dus pour les périodes fiscales en cause à respectivement 12'113 fr. 10 et 11'934 fr. 70. X._ a déféré ces décisions à la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours), laquelle a rejeté le recours par décision du 19 juillet 2006. Cette autorité a considéré qu'au vu des lacunes dans la tenue de la comptabilité de X._, il était justifié de procéder à une estimation des chiffres d'affaires. Elle a également confirmé l'estimation des chiffres d'affaires effectuée par l'Administration fédérale. Après déduction de l'impôt préalable - lequel n'était pas contesté par le recourant -, le montant d'impôt dépassait 4'000 fr. pour chacune des années 1998 à 2002 (inclusivement), à l'exception de 1999. Dès lors que cette limite était régulièrement dépassée durant les années en question, X._ ne pouvait bénéficier de l'exemption des art. 19 al. 1 lettre a OTVA et 25 al. 1 lettre a LTVA et était assujetti à l'impôt à compter du 1er janvier 1998. X._ a déféré ces décisions à la Commission fédérale de recours en matière de contributions (ci-après: la Commission de recours), laquelle a rejeté le recours par décision du 19 juillet 2006. Cette autorité a considéré qu'au vu des lacunes dans la tenue de la comptabilité de X._, il était justifié de procéder à une estimation des chiffres d'affaires. Elle a également confirmé l'estimation des chiffres d'affaires effectuée par l'Administration fédérale. Après déduction de l'impôt préalable - lequel n'était pas contesté par le recourant -, le montant d'impôt dépassait 4'000 fr. pour chacune des années 1998 à 2002 (inclusivement), à l'exception de 1999. Dès lors que cette limite était régulièrement dépassée durant les années en question, X._ ne pouvait bénéficier de l'exemption des art. 19 al. 1 lettre a OTVA et 25 al. 1 lettre a LTVA et était assujetti à l'impôt à compter du 1er janvier 1998. C. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, principalement, d'annuler la décision attaquée et, subsidiairement, de renvoyer la cause à l'autorité intimée pour nouvelle décision. Il fait grief à l'autorité intimée d'avoir admis à tort que sa comptabilité n'était pas probante, d'avoir abusé de son pouvoir d'appréciation en procédant à l'estimation de ses chiffres d'affaires et de l'avoir assujetti à tort. La Commission de recours a renoncé à déposer des observations. L'Administration fédérale conclut au rejet du recours, sous suite de frais et dépens.