Sachverhalt:
A.
Der kosovarische Staatsangehörige A._ wurde mit Urteil des Amtsgerichts Freiburg im Breisgau vom 7. November 2011 wegen Betäubungsmitteldelikten zu einer bedingten Freiheitsstrafe von zwei Jahren verurteilt. Da er der damit verbundenen Pflicht, dem Bezirksverein für soziale Rechtspflege in Freiburg EUR 1'000.-- zu bezahlen, nur teilweise nachkam, widerrief das Amtsgericht mit Beschluss vom 4. Juni 2013 die Strafaussetzung zur Bewährung. Der geleistete Betrag wurde als ein Monat auf den Freiheitsentzug angerechnet. Der Beschluss erwuchs am 27. Juni 2013 in Rechtskraft.
Mit Schreiben vom 30. September 2019 ersuchte Deutschland die Schweiz um Verhaftung von A._ zwecks Auslieferung zur Vollstreckung der Freiheitsstrafe. Am 5. November 2019 wurde er im Kanton Schwyz festgenommen und am 8. November 2019 ordnete das Bundesamt für Justiz (BJ) die Auslieferungshaft an. Die von A._ dagegen erhobenen Rechtsmittel blieben erfolglos (vgl. Urteil 1C_668/2019 vom 30. Dezember 2019).
Das BJ bewilligte am 27. November 2019 die Auslieferung für die dem deutschen Auslieferungsgesuch zugrunde liegenden Straftaten. Eine von A._ dagegen erhobene Beschwerde wies das Bundesstrafgericht mit Entscheid vom 22. Januar 2020 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 6. Februar 2020 beantragt A._, der Entscheid des Bundesstrafgerichts sei aufzuheben und er selbst umgehend aus der Auslieferungshaft zu entlassen. Eventualiter sei die Auslieferung bis zur Entscheidung über sein Gnadengesuch an die Oberstaatsanwaltschaft von Freiburg im Breisgau aufzuschieben. Darüber hinaus beantragt er, der Beschwerde sei aufschiebende Wirkung zu geben.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unter den in <ref-law> genannten Voraussetzungen zulässig. Im vorliegenden Fall geht es um eine Auslieferung und damit um ein Sachgebiet, bei dem die Beschwerde nach <ref-law> insoweit möglich ist. Weiter ist erforderlich, dass es sich um einen besonders bedeutenden Fall handelt.
Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (<ref-law>; <ref-ruling> E. 1 S. 104 ff. mit Hinweisen).
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen. Ein besonders bedeutender Fall ist deshalb mit Zurückhaltung anzunehmen. Dem Bundesgericht steht insofern ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.2 S. 104 f. mit Hinweisen).
Ein besonders bedeutender Fall kann auch bei einer Auslieferung nur ausnahmsweise angenommen werden. In der Regel stellen sich insoweit keine Rechtsfragen, die der Klärung durch das Bundesgericht bedürfen, und kommt den Fällen auch sonst wie keine besondere Tragweite zu (<ref-ruling> E. 1.3.4 S. 161).
Gemäss <ref-law> ist in der Begründung der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass ein besonders bedeutender Fall nach <ref-law> vorliegt, so ist auszuführen, warum diese Voraussetzung erfüllt ist (<ref-ruling> E. 1.5 S. 107 mit Hinweisen).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet und es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.2. Das Gesuch, die Auslieferung bis zur Entscheidung über das Gnadengesuch aufzuschieben, ist abzuweisen. <ref-law> sieht vor, dass das Bundesgericht - abgesehen von einem hier nicht gegebenen Ausnahmefall - den Nichteintretensentscheid innert 15 Tagen seit Abschluss eines allfälligen Schriftenwechsels fällt, wenn es eine Beschwerde auf dem Gebiet der internationalen Rechtshilfe in Strafsachen als unzulässig erachtet.
1.3. Wie bereits im Auslieferungshaftverfahren behauptet der Beschwerdeführer, der Beschluss des Amtsgerichts Freiburg im Breisgau vom 4. Juni 2013 sei ihm "nicht resp. nicht korrekt" zugestellt worden. Er verweist auf eine Empfangsbestätigung, die sich auf ein Schreiben vom 5. Juni 2013 und einen Beschluss des Amtsgerichts Freiburg im Breisgau vom 5. Juni 2013 bezieht. Das Bundesgericht hat sich mit diesem Vorbringen bereits in seinem Urteil 1C_668/2019 vom 30. Dezember 2019 auseinandergesetzt. Auf die dortigen Ausführungen kann verwiesen werden. Der Beschwerdeführer macht auch im vorliegenden Verfahren keine näheren Angaben dazu, um welchen anderen Beschluss es sich dabei handelt, obwohl das Bundesgericht bereits damals erwog, ein Versehen bei der Datumsbezeichnung könne nicht ausgeschlossen werden.
Dass aus einem anderen Grund ein besonders bedeutender Fall gegeben wäre, ist nicht ersichtlich. Die Beschwerde ist deshalb unzulässig.
2.
Auf die Beschwerde ist somit nicht einzutreten. Damit wird das Gesuch um aufschiebende Wirkung gegenstandslos. Der Beschwerde kommt im vorliegenden Fall ohnehin schon von Gesetzes wegen aufschiebende Wirkung zu (<ref-law>).
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-2 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 13. Februar 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold