Sachverhalt:
A. X._ unterhält als Einzelunternehmer einen Taxibetrieb in der Region Basel. Die Eidgenössische Steuerverwaltung, Hauptabteilung Mehrwertsteuer (hiernach: ESTV), trug X._ gemäss Schreiben vom 8. Dezember 2009 rückwirkend auf den 1. Januar 2005 ins Register der Mehrwertsteuerpflichtigen ein, nachdem sie ihn vorgängig zur Einreichung verschiedener Unterlagen aufgefordert hatte. Die geschuldete Steuer ermittelte sie ermessensweise, nachdem sich die buchhalterischen Aufzeichnungen von X._ als unzureichend erwiesen hatten. Mit Ergänzungsabrechnung vom 8. Dezember 2009 für die Zeit vom 1. Januar 2005 bis 31. Dezember 2008 forderte die ESTV von X._ Fr. 31'143.-- nebst Verzugszins nach.
Nach Prüfung zusätzlich eingereichter Unterlagen reduzierte die ESTV ihre Steuerforderung um Fr. 7'601.-- und bestätigte mit Verfügung vom 10. März 2010 die Steuernachforderung im Betrag von insgesamt Fr. 23'542.--.
B. Die gegen diese Verfügung erhobene Einsprache hiess die ESTV am 25. März 2011 teilweise gut, indem sie feststellte, X._ sei seit dem 1. Januar 2006 steuerpflichtig und er schulde der ESTV für die Steuerperioden 1. Quartal 2006 bis 4. Quartal 2008 insgesamt Fr. 15'678.-- Mehrwertsteuer zuzüglich Verzugszins. Die gegen den Einspracheentscheid erhobene Beschwerde hiess das Bundesverwaltungsgericht mit Urteil vom 24. Januar 2012 im Umfang von Fr. 100.-- gut und wies sie im Übrigen ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 2. März 2012 beantragt X._, das Urteil des Bundesverwaltungsgerichts vom 24. Januar 2012 sowie den Einspracheentscheid vom 25. März 2011 aufzuheben. Eventualiter sei die für den Zeitraum vom 1. Quartal 2007 bis und mit 4. Quartal 2008 zu bezahlende Mehrwertsteuer auf höchstens Fr. 6'588.-- nebst Zins festzusetzen.
Das Bundesverwaltungsgericht hat - mit verspäteter Eingabe - auf Vernehmlassung verzichtet. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Angefochten ist ein Endentscheid des Bundesverwaltungsgerichts in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG). Als Steuerpflichtiger ist der Beschwerdeführer zur Ergreifung dieses Rechtsmittels legitimiert (<ref-law>). Soweit mit dem Rechtsmittel die Aufhebung des Einspracheentscheids der ESTV verlangt wird, kann darauf nicht eingetreten werden (Devolutiveffekt; vgl. <ref-law>; <ref-ruling> E. 1.4 S. 144 mit Hinweis).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht geltend gemacht werden (<ref-law>). Die Rechtsschriften an das Bundesgericht haben die Begehren und deren Begründung zu enthalten, wobei in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 1 und 2 BGG); der blosse Verweis auf Ausführungen in vorinstanzlichen Rechtsschriften oder Akten reicht nicht aus (vgl. <ref-ruling> E. 3.1 S. 399 f.). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.4 Am 1. Januar 2010 sind das Bundesgesetz über die Mehrwertsteuer vom 12. Juni 2009 (Mehrwertsteuergesetz, MWSTG; SR 641.20) sowie die dazugehörige Verordnung vom 27. November 2009 (MWSTV; SR 641.201) in Kraft getreten. Die materielle Beurteilung des vorliegenden Sachverhalts richtet sich jedoch gemäss <ref-law> noch nach dem Bundesgesetz vom 2. September 1999 über die Mehrwertsteuer (aMWSTG; AS 2000 1300).
2. 2.1 Die Mehrwertsteuer ist als Selbstveranlagungssteuer konzipiert (Art. 46 aMWSTG; zuvor schon Art. 38 Abs. 1 der Verordnung vom 22. Juni 1994 über die Mehrwertsteuer [aMWSTV; AS 1994 1464]). Als solche stellt sie hohe Anforderungen an die steuerpflichtigen Personen, werden ihnen doch im Veranlagungsbereich wesentliche Aufgaben übertragen. Nach der Praxis zu Art. 38 Abs. 1 aMWSTV und Art. 46 aMWSTG gilt, dass den steuerpflichtigen Personen die "volle und alleinige Verantwortung für die richtige und vollständige umsatzsteuerrechtliche Behandlung der vorkommenden Geschäftsfälle" obliegt (zuletzt Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.1; 2C_650/2011 vom 16. Februar 2012 E. 2.5.2; 2C_350/2011 vom 17. Oktober 2011 E. 2.2, in: StR 67/2012 S. 75; 2C_554/2010 vom 21. September 2011 E. 4.1, in: StR 67/2012 S. 73; SANDRA KNOPP PISI, Das Selbstveranlagungsprinzip bei der Mehrwertsteuer - insbesondere die Bedeutung der Abrechnung mit oder ohne Vorbehalt, in: ASA 74 S. 389 ff., insb. S. 392). Die Aufgabe der ESTV beschränkt sich unter der Herrschaft dieser beiden Erlasse auf den Bezug und die Kontrolle der Steuer im Hinblick auf deren Richtigkeit und Vollständigkeit (auch dazu Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.1 und 2C_650/2011 vom 16. Februar 2012 E. 2.5.2; s.a. Urteil 2C_382/2007 vom 23. November 2007 E. 4.2, in: StR 63/2008 S. 290).
2.2 Aus dem Wesen der Mehrwertsteuer als Selbstveranlagungssteuer ergeben sich buchhalterische Aufgaben, so namentlich die Aufzeichnungspflicht im Sinn von Art. 58 Abs. 1 aMWSTG bzw. Art. 47 Abs. 1 aMWSTV. Danach hat die steuerpflichtige Person ihre Geschäftsbücher ordnungsgemäss zu führen und derart einzurichten, dass sich aus ihnen die für die Feststellung der Steuerpflicht sowie für die Berechnung der Steuer und der abziehbaren Vorsteuern massgebenden Tatsachen leicht und zuverlässig ermitteln lassen (Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.2.1; 2C_429/2009 vom 9. November 2009 E. 3; 2C_171/2008 vom 30. Juli 2008 E. 3; <ref-ruling> E. 5 S. 450).
Welche Aufzeichnungen zur fortlaufenden Feststellung der einzelnen Vermögensteile notwendiger- oder sinnvollerweise zu führen sind, hängt von der Art und Grösse des Betriebes ab. Die Führung eines Kassabuchs ist gerade auch für Kleinbetriebe unabdingbar. Wer überwiegend Einnahmen aus formlos geschlossenen Verträgen erzielt, in der Regel bar bezahlt wird und nicht regelmässig Rechnungen oder zumindest Quittungen auszustellen hat, ist ohne Einschränkung zur Führung eines Kassabuches verpflichtet. Dieses bildet den Dreh- und Angelpunkt der Aufzeichnungen. Soll das Kassabuch für die Richtigkeit des erfassten Bargeldverkehrs Beweis erbringen, ist unerlässlich, dass die Bareinnahmen und -ausgaben in ihm fortlaufend, lückenlos und zeitnah aufgezeichnet werden und durch Kassenstürze regelmässig - in bargeldintensiven Betrieben täglich - kontrolliert werden. Nur auf diese Weise ist gewährleistet, dass die erfassten Bareinnahmen den Gegebenheiten entsprechen. Die zentrale Bedeutung eines korrekt geführten Kassabuchs ist allen Steuerarten gleichermassen eigen (Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.2.2 und 2A.384/2003 vom 29. Januar 2004 E. 3 zur direkten Bundessteuer; 2A.657/2005 vom 9. Juni 2006 E. 3 zum harmonisierten kantonalen Steuerrecht; 2A.109/2005 vom 10. März 2006 E. 2.2 zur Mehrwertsteuer).
2.3 Eine formell richtige Buchhaltung ist vermutungsweise auch materiell richtig (Urteil 2C_592/2007 vom 22. Januar 2008 E. 2.3). Im Umkehrschluss ist die ESTV nach Art. 60 aMWSTG (ebenso wie zuvor aufgrund von Art. 48 aMWSTV) verpflichtet, eine pflichtgemässe Schätzung der massgebenden Zahlen vorzunehmen, wenn entweder überhaupt keine oder nur unvollständige Aufzeichnungen vorliegen (Verstoss gegen die formellen Buchführungsvorschriften) oder die ausgewiesenen Ergebnisse mit dem wirklichen Sachverhalt offensichtlich nicht übereinstimmen können (Verstoss gegen die materiellen Buchführungsregeln; vgl. Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.3; 2C_59/2011 vom 1. Juni 2011 E. 3.2, in: StR 66/2011 S. 799; 2C_171/2008 vom 30. Juli 2008 E. 3; 2C_170/2008 vom 30. Juli 2008 E. 4, in: StR 64/2009 S. 35).
2.4 Das Bundesgericht ist an eine Ermessenseinschätzung gebunden, wenn sie auf einer richtigen und vollständigen Tatbestandsermittlung und auf einer sachgemässen Abwägung der Gesamtheit der für die Veranlagung massgebenden Verhältnisse beruht. Es prüft derartige Schätzungen nur zurückhaltend und auf offensichtliche Fehler und Irrtümer hin, wobei es der steuerpflichtigen Person obliegt, die Unrichtigkeit der Schätzung zu beweisen. Ist sie es, die Beschwerde ans Bundesgericht führt, darf sie sich somit nicht darauf beschränken, die Kalkulationsgrundlagen der Ermessensveranlagung allgemein zu kritisieren; sie muss vielmehr nachweisen, dass die von der ESTV vorgenommene Schätzung offensichtlich unrichtig ist (vgl. etwa Urteile 2C_835/2011 vom 4. Juni 2012 E. 2.4; 2C_426/2008 vom 18. Februar 2009 E. 5.2, in: StR 64/2009 S. 605, ASA 79 S. 608; 2C_171/2008 vom 30. Juli 2008 E. 4.2; 2A.437/2005 vom 3. Mai 2006 E. 3.3, in: StR 61/2006 S. 819; 2A.109/2005 vom 10. März 2006 E. 2.3, in: StR 61/2006 S. 558).
3. 3.1 Die Vorinstanz kommt zum Schluss, die Buchhaltung des Beschwerdeführers sei bereits deshalb fehlerhaft, weil kein genügendes Kassabuch vorhanden sei. Es würden die sachverhaltsmässigen Grundlagen zur Beantwortung der Frage fehlen, ob eine Steuerpflicht vorliege. Demnach seien die Voraussetzungen für eine Ermessenseinschätzung gegeben gewesen und die ESTV sei nicht nur berechtigt, sondern auch verpflichtet gewesen, eine solche vorzunehmen.
3.2 Diese Ausführungen der Vorinstanz sind korrekt. Sie stehen im Einklang mit der ständigen Rechtsprechung des Bundesgerichts und es kann entgegen dem Vorbringen des Beschwerdeführers keine Rede davon sein, dass die Beurteilung der Vorinstanz gegen das Prinzip von Treu und Glauben verstossen würde. Der Beschwerdeführer legt nicht dar, dass er seinen Aufzeichnungspflichten korrekt nachgekommen ist. Ob die für die Veranlagung der direkten Steuern zuständigen Veranlagungsbehörden die Aufzeichnungen des Beschwerdeführers als genügend anerkannten oder nicht, ist im vorliegenden MWST-Verfahren nicht entscheidend.
4. 4.1 Die Vorinstanz kommt weiter zum Schluss, die Schätzung der Anzahl geschäftlich gefahrener Kilometer durch die ESTV erweise sich als rechtmässig. Die ESTV stütze ihre Schätzung auf die vorhandenen objektiven Beweismittel (soweit möglich auf Fahrtenschreiberscheiben und Prüfberichte der Motorfahrzeugkontrolle). Im Weiteren führte sie aus, die für private Zwecke in Abzug gebrachte Anzahl Kilometer (grundsätzlich 100 km pro Arbeitswoche, zusätzliche Kilometer soweit durch Fahrtenschreiberscheiben belegt) scheine dem Gericht angemessen und entspreche auch dem Vorgehen der ESTV in anderen, ähnlich gelagerten Fällen.
4.2 Hinsichtlich dieser Feststellungen macht der Beschwerdeführer geltend, die von der Motorfahrzeugkontrolle erhobenen Kilometerstände der einzelnen Fahrzeuge seien nicht massgeblich. Die gefahrenen Kilometer seien anhand der Fahrtenschreiberscheiben bzw. der Tachographen nachgewiesen. Das Fahrzeug mit dem Kontrollschild "..." sei ausschliesslich privat verwendet worden.
Der Beschwerdeführer hat diese Rügen im Wesentlichen bereits vor der Vorinstanz vorgetragen. Diese hat die Vorbringen eingehend geprüft und dargelegt, weshalb die ESTV zu Recht nicht bloss auf die Fahrtenschreiberscheiben abstellte, sondern auch die Kilometerangaben der Motorfahrzeugkontrolle beizog. Sie hat sich mit dem Vorbringen auseinandergesetzt, wonach das Fahrzeug "..." ausschliesslich privat verwendet worden sei. Sie hat weiter dargelegt, weshalb die Behauptung nicht glaubhaft sei, wonach der Beschwerdeführer nur für private Zwecke gefahren sei und hat sich in diesem Zusammenhang auch mit den eingereichten Bestätigungen Dritter eingehend auseinandergesetzt und diese sorgfältig gewürdigt. Im Weiteren hat sie die Berechnungen und Schätzung der ESTV im Detail nachvollzogen und geprüft. Für Einzelheiten kann auf die Ausführungen im vorinstanzlichen Urteil verwiesen werden.
4.3 Der Beschwerdeführer vermag mit seinen Vorbringen nicht aufzuzeigen, dass die Feststellungen und Schlussfolgerungen der Vorinstanz, welche insbesondere die von der ESTV vorgenommene Schätzung bestätigten, offensichtlich unrichtig sind. Das Bundesgericht ist deshalb an die Schätzung der ESTV gebunden.
5. 5.1 Die Vorinstanz kommt sodann zum Schluss, die ESTV habe bei ihrer Schätzung des Kilometeransatzes die Besonderheiten des Beschwerdeführers in Bezug auf den Ort (Stadt Basel), die Fahrzeuge (normale Taxi) und die Taxikonzession (A-Konzession) berücksichtigt. Da der Beschwerdeführer im Übrigen den selben Tarifen unterstehe wie die von der ESTV bei ihrer Datenerhebung berücksichtigten Taxifahrer, würden sich hinsichtlich der Umsatzerzielung pro Kilometer keine erkennbaren Unterschiede ergeben und für eine Abweichung vom Durchschnittswert von Fr. 2.15/km bestehe kein Anlass.
5.2 Der Beschwerdeführer macht geltend, die von der ESTV ins Recht gelegte Erhebung über Umsatzschätzungen der Taxibetriebe in der Stadt Basel sei ihm nie zugestellt worden. Insoweit sei das rechtliche Gehör verletzt worden. Zudem sei bereits in der Einsprache erklärt worden, weshalb ein Taxibetrieb, welcher bei einer günstigen, kleinen Telefonzentrale angeschlossen sei, mehr Leerfahrten habe als ein anderer Betrieb, weshalb der Ansatz von Fr. 2.15 pro Kilometer zu hoch sei. Dabei sei der Beweisantrag gestellt worden, eine amtliche Erkundigung beim Taxibüro Basel einzuholen.
5.3 Den Ausführungen des Beschwerdeführers kann nicht gefolgt werden. Die ESTV hat im Einspracheentscheid (E. 4) das Zustandekommen der Erfahrungszahlen aufgezeigt und zudem das Spezialdossier bezüglich Erfahrungszahlen ihrer Vernehmlassung vor der Vorinstanz beigelegt. Der Beschwerdeführer hätte also jederzeit darin Einblick nehmen können. Im weiteren vermag der Beschwerdeführer nicht aufzuzeigen, dass die von der ESTV vorgenommene Schätzung offensichtlich unrichtig ist, basiert diese doch auf einer Erhebung mit 38 Datensätzen, wobei alle Arten von Fahrten inbegriffen sind. Mit einer vom Beschwerdeführer beantragten Erkundigung beim Taxibüro Basel liesse sich diese Datenbasis nicht entkräften, weshalb es nicht zu beanstanden ist, wenn die Vorinstanz diese Erkundigung nicht vorgenommen hat. Dementsprechend ist es folgerichtig, den Beschwerdeführer, der anhand ordnungsgemäss geführter Unterlagen seine Situation hätte dokumentieren können, wie den statistischen Durchschnitt zu besteuern. Auch an die diesbezügliche Schätzung durch die ESTV ist das Bundesgericht gebunden.
6. Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Zur Begründung kann ergänzend auf die zutreffenden Ausführungen im angefochtenen Urteil verwiesen werden.
Dem Ausgang entsprechend wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 6. September 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner