Sachverhalt:
A. X._ betreibt als Einzelunternehmer einen Taxibetrieb in der Stadt Basel. Nach Abklärungen, welche die Eidgenössische Steuerverwaltung, Hauptabteilung Mehrwertsteuer, gegenüber X._ vorgenommen hatte, teilte die Eidgenössische Stuerverwaltung diesem mit, dass sie ihn rückwirkend ab 1. Januar 2005 (recte: 2002) im Register der Mehrwertsteuerpflichtigen eingetragen habe (Schreiben vom 1. November 2007). Gleichzeitig stellte sie ihm mit Ergänzungsabrechnung (EA) 117835 vom 1. November 2007 für die Mehrwertsteuern 1. Quartal 2002 bis 4. Quartal 2006 den Betrag von Fr. 25'616.00 in Rechnung. Nach Bestreitung der Steuerpflicht und der Steuerforderung durch X._ und nach weiteren Abklärungen durch die Eidgenössische Steuerverwaltung bestätigte diese mit Entscheid vom 12. Februar 2008 die Steuerpflicht ab 1. Januar 2002, belastete zusätzlich Mehrwertsteuern im Betrag von Fr. 2'842.45 (EA 117867) und bestätigte die Steuerforderungen.
Im Einspracheverfahren forderte die Eidgenössische Steuerverwaltung X._ auf, die gesamte Buchhaltung einschliesslich Kassabücher, Tagesrapporte und Monatszusammenstellungen über die Einnahmen der Jahre 2001- 2006 einzureichen. Zudem verlangte sie eine Aufstellung über die an jedem Tag gefahrenen Privatkilometer mit Angabe des Grundes für jede Privatfahrt.
Mit Einspracheentscheid vom 5. August 2011 hiess die Eidgenössische Steuerverwaltung die Einsprache teilweise gut, bestätigte die Steuerpflicht ab 1. Januar 2002 und setzte die Mehrwertsteuer neu auf Fr. 27'125.00 zuzüglich Verzugszins fest.
B. Eine Beschwerde von X._ wies das Bundesverwaltungsgericht mit Urteil vom 3. Mai 2012 ab.
C. Hiergegen führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Bundesverwaltungsgerichts vom 3. Mai 2012 sei aufzuheben und es sei festzustellen, dass er für die Jahre 2002 bis 2006 nicht steuerpflichtig sei. Eventualiter sei die Sache zur Ergänzung des Sachverhalts und neuer Entscheidung an die Vorinstanz zurückzuweisen.
Die Hauptabteilung Mehrwertsteuer der Eidgenössische Steuerverwaltung beantragt Abweisung der Beschwerde. Das Bundesverwaltungsgericht verzichtete auf Vernehmlassung.
Einem Antrag des (neubestellten) Vertreters des Beschwerdeführers, die Beschwerde nach Ablauf der Beschwerdefrist zu ergänzen, wurde nicht stattgegeben, da die Beschwerdefrist eine gesetzliche sei und nicht erstreckt werden könne. Der Vertreter erhielt jedoch Gelegenheit, zu den eingegangenen Vernehmlassungen Stellung zu nehmen.

Erwägungen:
1. 1.1 Die vorliegende Beschwerde gegen den Entscheid des Bundesverwaltungsgerichts betreffend die Mehrwertsteuer ist zulässig, der Beschwerdeführer ist durch den angefochtenen Entscheid in schutzwürdigen Interessen betroffen (Art. 82 lit. a, Art. 86 Abs. 1 lit. a, Art. 89 Abs. 1, Art. 90 BGG).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (vgl. Art. 42 Abs. 2, Art. 97 Abs. 1, Art. 106 Abs. 2 BGG) - vorbehältlich offensichtlicher Fehler - nur die in seinem Verfahren geltend gemachten Rechtswidrigkeiten (<ref-ruling> E. 1.1 S. 104 f.; <ref-ruling> E. 1.4.1 S. 254). Die Sachverhaltsfeststellungen durch die Vorinstanz binden das Bundesgericht, soweit sie nicht offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG).
1.3 Zu beurteilen ist hier die Mehrwertsteuer der Jahre 2002 bis 2006. Gemäss Art. 112 Abs. 1 und 2 des am 1. Januar 2010 in Kraft getretenen Bundesgesetzes über die Mehrwertsteuer vom 12. Juni 2009 (MWSTG; SR 641.20) finden in materieller Hinsicht noch das alte Bundesgesetz über die Mehrwertsteuer vom 2. September 1999 (aMWSTG; AS 2000 1300) und die zugehörigen Ausführungsbestimmungen Anwendung.
2. 2.1 Gemäss Art. 21 Abs. 1 aMWSTG ist steuerpflichtig, wer eine mit der Erzielung von Einnahmen verbundene gewerbliche oder berufliche Tätigkeit selbständig ausübt, sofern seine Lieferungen oder Dienstleistungen und sein Eigenverbrauch im Inland jährlich gesamthaft 75'000 Franken übersteigen. Die Steuerpflicht beginnt nach Ablauf des Kalenderjahres, in dem der massgebende Umsatz erzielt worden ist (Art. 28 Abs. 1 aMWSTG). Der Steuerpflichtige muss sich innert 30 Tagen nach Beginn der Steuerpflicht spontan schriftlich (unaufgefordert) bei der Eidgenössischen Steuerverwaltung anmelden (Art. 56 Abs. 1 aMWSTG) und innert 60 Tagen nach Ablauf der Abrechnungsperiode unaufgefordert in der vorgeschriebenen Form über die Steuer und die Vorsteuer abrechnen (Art. 46 aMWSTG). Er hat seine Geschäftsbücher ordnungsgemäss zu führen und so einzurichten, dass sich daraus die für die Feststellung der Steuerpflicht und für die Berechnung der Steuer und abziehbaren Vorsteuern massgebenden Tatsachen leicht und zuverlässig ermitteln lassen (Art. 58 Abs. 1 aMWSTG). Die Geschäftsbücher sowie Belege, Geschäftspapiere und sonstigen Aufzeichnungen sind während zehn Jahren aufzubewahren (Art. 58 Abs. 2 aMWSTG).
2.2 Die Eidgenössische Steuerverwaltung hat gestützt auf Art. 58 Abs. 1 aMWSTG bereits in der Wegleitung 2001 zur Mehrwertsteuer (Rz. 878 ff.) nähere Bestimmungen allgemeiner Natur zur Buchführung und Aufbewahrung der Geschäftsbücher und Belege erlassen. Danach sind die Geschäftsbücher so zu führen, dass sich daraus die ausgeführten Lieferungen und Dienstleistungen und die darauf entfallende Mehrwertsteuer sowie der gesamte Aufwand und die abziehbaren Vorsteuern lückenlos und detailliert ergeben (Wegleitung 2001 Rz. 882). Sämtliche Einnahmen und Ausgaben sind mit den erforderlichen Texten in chronologischer Reihenfolge in Kassa-, Postcheck- oder Bankbüchern (oder in die entsprechenden Konti) einzutragen. Diese Eintragungen müssen fortlaufend addiert und saldiert werden und die Saldi regelmässig auf ihre Übereinstimmung mit dem ebenfalls zu kontrollierenden Bargeldbestand geprüft werden (Wegleitung 2001 Rz. 884). Die einzelnen Geschäftsvorfälle (hier die Taxifahrten) müssen demnach anhand von Belegen von der Eintragung in die Hilfs- und Grundbücher bis zur Mehrwertsteuer-Abrechnung und umgekehrt leicht und zuverlässig verfolgt werden können (Wegleitung 2001 Rz. 890).
2.3 Nur wenn der Steuerpflichtige seiner Aufzeichnungs- und Aufbewahrungspflicht nicht nachgekommen ist oder sich aus seinen Geschäftsbüchern und Unterlagen die für die Bestimmung der Steuer massgebenden Einzelheiten nicht ergeben oder wenn die Buchhaltung aus anderen (formellen) Gründen keine Gewähr für die Richtigkeit bietet, ist die Eidgenössische Steuerverwaltung auf eine Schätzung der steuerbaren Umsätze sowie der Steuer und der Vorsteuern befugt und verpflichtet (sog. Ermessenseinschätzung). Dabei hat sie diejenige Schätzungsmethode zu wählen, die den individuellen Verhältnissen im Betrieb des Steuerpflichtigen soweit als möglich Rechnung trägt, auf plausiblen Angaben beruht und deren Ergebnisse der wirklichen Situation möglichst nahe kommen. Das Bundesgericht prüft derartige Schätzungen nur mit Zurückhaltung auf offensichtliche Fehler und Irrtümer hin, wobei es dem Steuerpflichtigen obliegt, die Unrichtigkeit der Schätzung zu beweisen (zum Ganzen, Urteil 2A.109/2005 vom 29. August 1991 E. 3a, in: ASA 61 S. 815, RDAF 1993 S. 397, für die Warenumsatzsteuer; s. auch Urteile 2A.253/2005 vom 3. Februar 2006 E. 4.1, in: RDAF 2007 II 318; 2C_835/2011 vom 4. Juni 2012 E. 2.3 f., in: StR 67/2012 S. 709 [Zusammenfassung]).
3. Das Bundesgericht hatte sich schon verschiedentlich mit der Mehrwertsteuerpflicht von Taxifahrern namentlich im Raum Lausanne sowie in der Stadt und Region Basel zu befassen (Urteile 2A.297/2005 vom 3. Februar 2006 E. 3 und 4.1, in: ASA 76 S. 779; 2A.253/2005 vom 3. Februar 2006 E. 3.1 f., in: RDAF 2007 II 318, StR 61/2006 S. 556 [Zusammenfassung]; 2C_835/2011 vom 4. Juni 2012 E. 2, in: StR 67/2012 S. 709 [Zusammenfassung]; s. ferner 2C_206/2012 vom 6. September 2012 E. 2; 2C_429/2009 vom 9. November 2009 E. 3; 2A.569/2006 vom 28. Februar 2007 E. 3, in: StR 62/2007 S. 591 [Zusammenfassung]; 2A.109/2005 vom 10. März 2006 E. 2, in: StR 61/2006 S. 558 [Zusammenfassung]). Die Vorinstanz hat die Voraussetzungen sowie die gesetzlichen Bestimmungen, nach denen die Eidgenössische Steuerverwaltung berechtigt ist, sowohl den für die Begründung der subjektiven Steuerpflicht massgebenden Jahresumsatz (Art. 21 Abs. 1 aMWSTG) wie auch die für die Berechnung der Steuer massgebenden Umsätze ermessensweise zu bestimmen, zutreffend dargelegt. Es kann auf die Ausführungen im angefochtenen Entscheid und die vorerwähnten Urteile verwiesen werden.
4. Vorliegend forderte die Eidgenössische Steuerverwaltung den Beschwerdeführer mit Schreiben vom 19. September 2007 auf, zur Überprüfung einer allfälligen Mehrwertsteuerpflicht Kopien der Bilanzen- und Erfolgsrechnungen sowie der Aufwands- und Ertragskonti einzureichen. Zu diesem Schritt war die Eidgenössische Steuerverwaltung zur Abklärung der Steuerpflicht und der steuerbaren Umsätze nach dem Gesagten zweifellos befugt. In weiteren Schreiben vom 1. November 2007 und 18. Dezember 2007 verlangte die Eidgenössische Steuerverwaltung zusätzliche Unterlagen ein. In der Folge reichte der Beschwerdeführer die Kontrollkarten und die Scheiben zum Fahrtenschreiber der Jahre 2005 und 2006 sowie Servicerechnungen seines Fahrzeugs ein. Im Einspracheverfahren verlangte die Eidgenössische Steuerverwaltung die Einreichung der gesamten Buchhaltung und namentlich der Kassabücher (sowie Tagesrapporte und Monatszusammenstellungen) über die Einnahmen der Jahre 2001 bis 2006. Da es sich bei den Taxigewerben naturgemäss um bargeldintensive Betriebe handelt, kommt dem Kassabuch, das täglich nachgeführt werden muss, besondere Bedeutung zu. Gemäss den Ausführungen im Einspracheentscheid (S. 11) konnte aber der Beschwerdeführer weder Kassabücher noch Tagesrapporte vorlegen. Die Eidgenössische Steuerverwaltung sah sich damit ausserstande, die einzelnen Geschäftsvorfälle (Taxifahrten) - auch nur stichprobenweise - vom Einzelbeleg über die Buchhaltung bis zur Mehrwertsteuerberechnung nachzuvollziehen. Bei dieser Sachlage ist nicht zu beanstanden, dass die Eidgenössische Steuerverwaltung die massgebenden Umsätze aufgrund der vorhandenen Belege nach Ermessen hilfsweise unter Zugrundelegung von Erfahrungszahlen ermittelt hat. Entgegen der Ansicht des Beschwerdeführers setzt eine Ermessensveranlagung auch nicht voraus, dass der Steuerpflichtige in gravierender Weise gegen formelle Buchhaltungsvorschriften verstossen hat. Grund für die Ermessensveranlagung bildet allein der Umstand, dass trotz durchge-führter Untersuchung durch die Verwaltung - es gilt die Untersuchungsmaxime - der Sachverhalt nicht ausreichend erhellt werden konnte und somit ein Bereich der Unsicherheit verbleibt, der aber durch plausible Annahmen und Schätzungen ergänzt und ausgefüllt werden muss, weil die Steuerpflicht eine allgemeine ist. Massgebend ist für die Steuerverwaltung der Stand der Untersuchung im Einspracheverfahren, weshalb die Verwaltung - entgegen der Ansicht des Beschwerdeführers - auch noch im Einspracheverfahren Untersuchungshandlungen vornehmen und Abklärungen treffen durfte.
5. Was der Beschwerdeführer gegen die Umsatzkalkulation vorbringt, ist nicht geeignet, die Ermessensveranlagung und den Entscheid der Vorinstanz in Frage zu stellen: Die Eidgenössische Steuerverwaltung hat für die Berechnung auf die vom Fahrtenschreiber gesammelten Daten abgestellt. Daraus konnten die jährlich gefahrenen Kilometer ermittelt werden, von denen die privat verwendeten Kilometer abgezogen werden mussten. Die verbliebene Kilometerzahl wurde mit einem Erfahrungswert, im Falle des Beschwerdeführers Fr. 2.10 für den Zeitraum bis 2003 und Fr. 2.15 für den Zeitraum danach, multipliziert, was den jeweiligen Umsatz ergab (Einspracheentscheid S. 12 Ziff. 3.3). Da sich der Beschwerdeführer darüber beklagt hatte, dass der Kilometeransatz für ihn nicht nachvollziehbar sei, hat die Vorinstanz im angefochtenen Urteil (E. 3.4.3.1 ff. und 3.5) nochmals dargelegt, wie die Kilometeransätze ermittelt wurden und welche Besonderheiten im Fall des Beschwerdeführers zu beachten waren. Dennoch bezeichnet der Beschwerdeführer erneut den Kilometeransatz als nicht nachvollziehbar und unangemessen hoch, ohne dies jedoch im Einzelnen zu belegen. Zum Einwand des Beschwerdeführers, wonach er über keinen fixen Standplatz verfüge, überdurchschnittlich viel Leerfahrten zu verzeichnen habe und keine Zuschlagstarife und Bestellungszuschläge berechne, hat bereits die Vorinstanz Stellung genommen und darauf hingewiesen, dass diese Vorbringen weder substantiiert noch durch entsprechende Unterlagen belegt seien (angefochtenes Urteil E. 3.4.4).
6. Was die Privatfahrten anbelangt, wurde der Beschwerdeführer im Einspracheverfahren aufgefordert, die privat gefahrenen Kilometer substantiiert mit Angabe des Datums und des Grundes anzugeben unter Vorlage der Belege (Tankbelege, Kreditkartenrechnungen, Bestätigung von Verwandten etc.). Die Vorinstanz hat ausführlich begründet, weshalb die pauschal angerechneten 100 Kilometer pro Woche angemessen seien und der Beschwerdeführer den Nachweis einer höheren Zahl von Privatfahrten nicht erbracht habe. Sie hat auch zu den eingereichten Bestätigungen Stellung genommen und ausgeführt, dass diese nicht den Beweis für einen höheren Privatanteil zu erbringen vermögen, zumal der Beschwerdeführer noch über ein zweites Auto verfüge. Auch diesbezüglich gelingt es dem Beschwerdeführer nicht, die Ermessensveranlagung als offensichtlich unrichtig erscheinen zu lassen.
7. Nach dem Gesagten ist die Beschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist. Die Kosten des bundesgerichtlichen Verfahrens sind dem Beschwerdeführer aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Dieser hat zwar ein Gesuch um unentgeltliche Rechtspflege gestellt, seine Bedürftigkeit aber nicht nachgewiesen und in der Folge den Gerichtskostenvorschuss gemäss Vorschussverfügung geleistet. Das Gesuch ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Steuerverwaltung und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 6. Dezember 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann