Sachverhalt:
A.
B._ alias A._, kroatischer Staatsbürger, reiste am Freitag, 25. Juni 2021, bei St. Margrethen in die Schweiz ein. Die Kantonspolizei St. Gallen nahm ihn gestützt auf eine "Interpol Red Notice" der United Nations Interim Administration Mission in Kosovo (UNMIK) fest. Das Bundesamt für Justiz (BJ) ordnete am 26. Juni 2021 provisorisch Auslieferungshaft an zum Vollzug eines kosovarischen Strafurteils wegen versuchten und vollendeten Mordes (Vollstreckung einer Restfreiheitsstrafe von 8 Jahren und 8 Monaten). Das BJ erliess nach einer Hafteinvernahme am 28. Juni 2021 den Auslieferungshaftbefehl.
Die Republik Kosovo stellte am 29. Juni 2021 ein Auslieferungsgesuch unter Beilage des Strafurteils des Bezirksgerichts Prizren vom 10. April 2006 und der Feststellung der kosovarischen Strafvollzugsbehörden betreffend die Strafverbüssung. A._ sei im Jahr 2016 von einem Hafturlaub nicht wieder in die Strafanstalt zurückgekehrt. Mit Entscheid vom 2. September 2021 bewilligte das BJ die Auslieferung.
Eine von A._ dagegen erhobene Beschwerde hiess das Bundesstrafgericht mit Entscheid vom 21. April 2022 teilweise gut und machte die Auslieferung von der Bedingung abhängig, dass eine von der zuständigen kosovarischen Behörde abgegebene Garantieerklärung mit folgendem Inhalt vorliegt:
"1. Die Haftbedingungen des Ausgelieferten dürfen nicht unmenschlich oder erniedrigend im Sinne von Art. 3 EMRK sein; seine physische und psychische Integrität wird gewahrt.
2. Der Ausgelieferte darf nicht in den Anstalten Dubrava oder Pej ë /Pe c inhaftiert und nicht im Grundregime ( ' basic regime ') untergebracht sein.
3. Die Gesundheit des Ausgelieferten wird sichergestellt. Der Zugang zu genügender medizinischer Betreuung, insb. zu notwendigen Medikamenten, wird gewährleistet.
4. Die diplomatische Vertretung der Schweiz ist berechtigt, den Ausgelieferten jederzeit und unangemeldet ohne jegliche Überwachungsmassnahmen zu besuchen. Der Ausgelieferte hat das Recht, sich jederzeit an die diplomatische Vertretung der Schweiz zu wenden.
5. Die Behörden des ersuchenden Staates geben der diplomatischen Vertretung der Schweiz den Ort der Inhaftierung des Ausgelieferten bekannt. Wird er in ein anderes Gefängnis verlegt, informieren sie die diplomatische Vertretung der Schweiz unverzüglich über den neuen Ort der Inhaftierung.
6. Der Ausgelieferte hat das Recht, mit seinem Wahl- oder Offizialverteidiger uneingeschränkt und unbewacht zu verkehren.
7. Die Angehörigen des Ausgelieferten haben das Recht, ihn im Gefängnis zu besuchen."
Im Übrigen wies es die Beschwerde ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 5. Mai 2022 beantragt A._ in der Sache, der Entscheid des Bundesstrafgerichts sei aufzuheben und er selbst umgehend aus der Haft zu entlassen. In verfahrenrechtlicher Hinsicht beantragt er, das Beschwerdeverfahren sei bis zur Beantwortung seines Gesuchs um Strafvollzugsübernahme durch die Republik Kroatien zu sistieren. Zudem seien keine Gerichtskosten zu erheben und der Beschwerde die aufschiebende Wirkung zu erteilen.
Es wurde kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
1.1. Gemäss <ref-law> i.V.m. <ref-law> (SR 273) kann der Richter aus Gründen der Zweckmässigkeit das Verfahren aussetzen, insbesondere wenn das Urteil von der Entscheidung in einem anderen Rechtsstreit beeinflusst werden kann. Die beantragte Sistierung würde jedoch dem im Rechtshilfeverfahren geltenden Gebot der raschen Erledigung (<ref-law> [SR 351.1]) zuwiderlaufen. Das Gesuch ist deshalb abzuweisen.
1.2. Gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unter den in <ref-law> genannten Voraussetzungen zulässig. Im vorliegenden Fall geht es um eine Auslieferung und damit um ein Sachgebiet, bei dem die Beschwerde nach <ref-law> insoweit möglich ist. Weiter ist erforderlich, dass es sich um einen besonders bedeutenden Fall handelt.
Ein besonders bedeutender Fall liegt insbesondere vor, wenn Gründe für die Annahme bestehen, dass elementare Verfahrensgrundsätze verletzt worden sind oder das Verfahren im Ausland schwere Mängel aufweist (<ref-law>; <ref-ruling> E. 1 mit Hinweisen).
<ref-law> bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen. Ein besonders bedeutender Fall ist deshalb mit Zurückhaltung anzunehmen. Dem Bundesgericht steht insofern ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.2 mit Hinweisen).
Ein besonders bedeutender Fall kann auch bei einer Auslieferung nur ausnahmsweise angenommen werden. In der Regel stellen sich insoweit keine Rechtsfragen, die der Klärung durch das Bundesgericht bedürfen, und kommt den Fällen auch sonst wie keine besondere Tragweite zu (<ref-ruling> E. 1.3.4).
Gemäss <ref-law> ist in der Begründung der Rechtsschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass ein besonders bedeutender Fall nach <ref-law> vorliegt, so ist auszuführen, warum diese Voraussetzung erfüllt ist (<ref-ruling> E. 1.5 mit Hinweisen).
Nach <ref-law> entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet und es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.3. Der Beschwerdeführer bringt zum einen vor, es stelle sich die Frage, inwiefern unter geltendem nationalem und internationalem Recht die Schweiz einen EU-Bürger an einen Drittstaat ausliefern darf. Es sei nicht einzusehen, weshalb die Schweiz die Republik Kroatien nicht anfrage, ob sie die Strafvollstreckung übernehme. Inwiefern der angefochtene Entscheid, der die ihm zugrundeliegenden Rechtsnormen nennt, in dieser Hinsicht gegen Bundesrecht oder Völkerrecht (Art. 95 lit. a und b BGG) verstossen soll, legt der Beschwerdeführer jedoch nicht dar und ist auch nicht ersichtlich.
Zum andern macht der Beschwerdeführer geltend, der Strafvollzug im Kosovo bedrohe seine Gesundheit. Das BJ holte von der Republik Kosovo diplomatische Zusicherungen hinsichtlich der menschenrechtskonformen Behandlung des Beschwerdeführers ein. Die Vorinstanz verlangte zusätzliche Garantien und ging dabei sowohl auf die besonderen Bedürfnisse des gesundheitlich angeschlagenen Beschwerdeführers als auch auf die Haftbedingungen in einzelnen Gefängnissen und die abgestuften Haftregime ein. Dabei stützte sie sich auf die neuste bundesgerichtliche Rechtsprechung zur Rechtshilfe an die Republik Kosovo (angefochtener Entscheid, E. 4.4). Darüber hinaus berücksichtigte sie den seither publizierten Bericht des Europäischen Komitees zur Verhütung von Folter vom 23. September 2021, der konkrete Fortschritte zur Verbesserung des Strafvollzugs in der Republik Kosovo aufzeige. Ihr Vorgehen steht in Einklang mit der bundesgerichtlichen Rechtsprechung (<ref-ruling> E. 6.7 ff.). Wenn sie die Auslieferung nach Abgabe der entsprechenden Garantien durch die Republik Kosovo als zulässig angesehen hat, ist das nicht zu beanstanden. Auf ihre Erwägungen kann verwiesen werden (<ref-law>). Ein besonders bedeutender Fall ist auch insoweit nicht gegeben.
2.
Auf die Beschwerde ist deshalb nicht einzutreten. Damit wird das Gesuch um aufschiebende Wirkung gegenstandslos. Der Beschwerde kommt im vorliegenden Fall ohnehin schon von Gesetzes wegen aufschiebende Wirkung zu (<ref-law>).
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Zwar beantragt er, er sei von deren Bezahlung zu befreien (<ref-law>). Er legt jedoch seine finanziellen Verhältnisse nicht offen, weshalb das Gesuch abzuweisen ist (vgl. Urteile 2C_297/2020 vom 8. Mai 2020 E. 3; 1B_389/2015 vom 7. Januar 2016 E. 5.4; je mit Hinweisen).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold