Sachverhalt:
A. Mit Ausschreibung im Schengener Informationssystem vom 8. Juni 2010 ersuchte Deutschland um Verhaftung zwecks Auslieferung von X._ zur Strafverfolgung wegen Steuerhinterziehung. Am 30. September 2012 wurde X._ am Flughafen Zürich festgenommen und mit Verfügung des Bundesamts für Justiz (BJ) in provisorische Auslieferungshaft versetzt. Mit Verfügung vom 2. Oktober 2012 ordnete das BJ die Auslieferungshaft an.
Mit Schreiben vom 16. Oktober 2012 ersuchte das Justizministerium von Baden-Württemberg das BJ um Auslieferung von X._. Das BJ bewilligte das Gesuch am 12. Dezember 2012. Eine dagegen von X._ erhobene Beschwerde wies die Beschwerdekammer des Bundesstrafgerichts am 2. April 2013 ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 12. April 2013 beantragt X._, der Entscheid des Bundesstrafgerichts sei aufzuheben, die Auslieferung an Deutschland sei zu verweigern und er selbst sei aus der Auslieferungshaft zu entlassen.
Das BJ beantragt, auf die Beschwerde sei nicht einzutreten, da kein besonders bedeutender Fall nach <ref-law> vorliege. Das Bundesstrafgericht hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hält in seiner Replik an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1. 1.1 Gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unter den in <ref-law> genannten Voraussetzungen zulässig. Im vorliegenden Fall geht es um eine Auslieferung und damit um ein Sachgebiet, bei dem die Beschwerde nach <ref-law> insoweit möglich ist. Weiter ist erforderlich, dass es sich um einen besonders bedeutenden Fall handelt.
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen (<ref-ruling> E. 1.3.1 S. 160 mit Hinweisen). Ein besonders bedeutender Fall ist mit Zurückhaltung anzunehmen (<ref-ruling> E. 2.4 S. 144 mit Hinweis).
Ein besonders bedeutender Fall kann auch bei einer Auslieferung nur ausnahmsweise angenommen werden. In der Regel stellen sich insoweit keine Rechtsfragen, die der Klärung durch das Bundesgericht bedürfen, und kommt den Fällen auch sonst wie keine besondere Tragweite zu (<ref-ruling> E. 1.3.4 S. 161).
Bei der Beantwortung der Frage, ob ein besonders bedeutender Fall gegeben ist, steht dem Bundesgericht ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.3.1 S. 160 mit Hinweis).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet und es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.2 Vorliegend handelt es sich nicht um einen besonders bedeutenden Fall. Die Vorinstanz hat die Voraussetzungen der Auslieferung geprüft und ist zum Schluss gekommen, diese seien offensichtlich erfüllt. Das ist nicht zu beanstanden. Die Vorinstanz hat sich insbesondere mit der Voraussetzung der beidseitigen Strafbarkeit bezüglich der Mehrwertsteuerhinterziehung und der gewerbsmässigen Tatbegehung auseinandergesetzt. Dabei hat sie auch die Höhe der angedrohten Mindeststrafe für das gewerbsmässige Verüben von Widerhandlungen gegen das Mehrwertsteuerrecht berücksichtigt (vgl. <ref-ruling> E. 3a S. 132 f. mit Hinweis). Auf die entsprechenden Erwägungen im angefochtenen Entscheid kann verwiesen werden. Rechtsfragen von grundsätzlicher Bedeutung stellen sich nicht. Auch sonst ist der Fall nicht von aussergewöhnlicher Tragweite. Für das Bundesgericht besteht daher kein Anlass, die Sache an die Hand zu nehmen.
2. Auf die Beschwerde ist nicht einzutreten.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 7. Mai 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold