Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ wurde mit Urteil des Amtsgerichts Freiburg im Breisgau vom 7. November 2011 wegen Betäubungsmitteldelikten zu einer bedingten Freiheitsstrafe von zwei Jahren verurteilt. Da er der damit verbundenen Pflicht, dem Bezirksverein für soziale Rechtspflege in Freiburg EUR 1'000.-- zu bezahlen, nur teilweise nachkam, widerrief das Amtsgericht mit Beschluss vom 4. Juni 2013 die Strafaussetzung zur Bewährung. Der geleistete Betrag wurde als ein Monat auf den Freiheitsentzug angerechnet. Der Beschluss erwuchs am 27. Juni 2013 in Rechtskraft.
Mit Schreiben vom 30. September 2019 ersuchte Deutschland die Schweiz um Verhaftung von A._ zwecks Auslieferung zur Vollstreckung der Freiheitsstrafe. Am 5. November 2019 wurde er im Kanton Schwyz festgenommen und am 8. November 2019 ordnete das Bundesamt für Justiz (BJ) die Auslieferungshaft an.
Eine von A._ dagegen erhobene Beschwerde wies das Bundesstrafgericht mit Entscheid vom 10. Dezember 2019 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 20. Dezember 2019 beantragt A._, der Entscheid des Bundesstrafgerichts sei aufzuheben und er selbst sei umgehend aus der Auslieferungshaft zu entlassen, eventualiter in Verbindung mit einer Ersatzmassnahme.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Gemäss <ref-law> ist gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen die Beschwerde nur zulässig, wenn er unter anderem eine Auslieferung betrifft und es sich um einen besonders bedeutenden Fall handelt (Abs. 1). Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (Abs. 2; <ref-ruling> E. 1 S. 104 ff. mit Hinweisen).
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen. Ein besonders bedeutender Fall ist deshalb mit Zurückhaltung anzunehmen. Dem Bundesgericht steht insofern ein weiter Ermessensspielraum zu (zum Ganzen: <ref-ruling> E. 1.2 S. 104 f. mit Hinweisen).
Gemäss <ref-law> ist in der Begründung der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass ein besonders bedeutender Fall nach Art. 84 vorliegt, so ist auszuführen, warum diese Voraussetzung erfüllt ist (<ref-ruling> E. 1.5 S. 107 mit Hinweisen).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet. Es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.2. Gemäss <ref-law> sind auf dem Gebiet der internationalen Rechtshilfe in Strafsachen Zwischenentscheide nicht anfechtbar. Vorbehalten bleiben Beschwerden gegen Entscheide unter anderem über die Auslieferungshaft, sofern die Voraussetzungen von Abs. 1 erfüllt sind. Dies trifft zu, denn der erlittene Freiheitsentzug kann nicht mehr rückgängig gemacht werden (<ref-ruling> E. 1.1 S. 22).
Auch ein Entscheid über die Auslieferungshaft ist jedoch nur anfechtbar, wenn ein besonders bedeutender Fall nach <ref-law> gegeben ist (<ref-ruling> E. 1.2 S. 22 mit Hinweisen).
1.3. Vorliegend handelt es sich nicht um einen besonders bedeutenden Fall.
Der Beschwerdeführer behauptet, der Beschluss des Amtsgerichts Freiburg im Breisgau vom 4. Juni 2013 sei ihm "nicht resp. nicht korrekt" zugestellt worden. Der angefochtene Entscheid enthält dazu keine Ausführungen und der Beschwerdeführer behauptet nicht, diesen angeblichen schweren Mangel des Verfahrens im Ausland vor dem Bundesstrafgericht geltend gemacht zu haben. Er selbst legt eine Empfangsbestätigung vor, die sich auf ein Schreiben vom 5. Juni 2013 und einen Beschluss des Amtsgerichts Freiburg im Breisgau vom 5. Juni 2013 bezieht. Angesichts des Umstands, dass er keine näheren Angaben dazu macht, um welchen anderen Beschluss es sich dabei handelt, erscheint nicht ausgeschlossen, dass ein blosser Kanzleifehler in der Datumsbezeichnung vorliegt. Jedenfalls kann gestützt auf die Vorbringen des Beschwerdeführers die Auslieferung nicht als offensichtlich unzulässig bezeichnet werden (<ref-law> [SR 351.1]).
Weiter bestreitet der Beschwerdeführer die Fluchtgefahr. Er macht jedoch nicht geltend, dass die Vorinstanz diesbezüglich von der einschlägigen bundesgerichtlichen Rechtsprechung abgewichen wäre oder dass in anderer Hinsicht rechtliche Grundsatzfragen von besonderer Bedeutung zu behandeln wären. Die haftrechtlichen Erwägungen der Vorinstanz stützen sich auf die massgeblichen Rechtsquellen und die einschlägige Gerichtspraxis. Es besteht kein Anlass dafür, dass das Bundesgericht sich nochmals damit befasst. Dass das Bundesstrafgericht der Auffassung des Beschwerdeführers nicht gefolgt ist, begründet keinen besonders bedeutenden Fall im Sinne von <ref-law>.
Für das Bundesgericht besteht daher kein Anlass, die Sache an die Hand zu nehmen.
2.
Auf die Beschwerde ist nicht einzutreten.
Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 30. Dezember 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold