Sachverhalt:
A.
Am 8. April 2016 ersuchte Rumänien die Schweiz um Auslieferung von A._ zur Vollstreckung einer Freiheitsstrafe. Nachdem Rumänien verschiedene Ergänzungen nachgereicht hatte, wurde er am 15. September 2016 gestützt auf einen Auslieferungshaftbefehl des Bundesamts für Justiz (BJ) festgenommen.
Mit Auslieferungsentscheid vom 27. Oktober 2016 bewilligte das BJ die Auslieferung. Dagegen erhob A._ am 28. November 2016 Beschwerde ans Bundesstrafgericht.
Mit Schreiben vom 29. November 2016 zog Rumänien das Auslieferungsersuchen zurück, worauf das BJ mit Faxschreiben vom 12. Dezember 2016 das Bundesstrafgericht über die sofort verfügte Haftentlassung informierte. Tags darauf erklärte das BJ, das Auslieferungsverfahren sei nun gegenstandslos geworden. Mit Schreiben vom 7. Februar 2017 beantragte A._, die Verfahrenskosten seien vom Staat zu tragen und es sei ihm eine Genugtuung für die erstandene Haft auszurichten. Mit Schreiben vom 29. März 2017 und vom 18. April 2017 erkundigte er sich beim Bundesstrafgericht über den Stand des Verfahrens.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 15. Mai 2017 ans Bundesgericht beantragt A._, es sei festzustellen, dass das Bundesstrafgericht eine Rechtsverweigerung bzw. -verzögerung begangen habe. Das Bundesstrafgericht sei anzuweisen, innert einer gerichtlich bestimmten Frist einen Entscheid zu fällen.
Das BJ hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Das Bundesstrafgericht legt in seiner Vernehmlassung dar, dass aufgrund der Gegenstandslosigkeit des Verfahrens nur noch über die Kosten- und Entschädigungsfolgen zu entscheiden sei. Dies erfordere eine inhaltliche Auseinandersetzung mit der Beschwerde, da auf den mutmasslichen Verfahrensausgang abzustellen sei. Jedoch sei der Fall weniger dringlich als andere. Es sei davon auszugehen, dass der Entscheid innert einer Woche versandt werden könne.
C.
Mit Entscheid vom 6. Juni 2017 schrieb das Bundesstrafgericht das Verfahren als gegenstandslos geworden vom Geschäftsverzeichnis ab. Zudem hielt es fest, dass die Beschwerde als aussichtslos hätte beurteilt werden müssen und das Gesuch um unentgeltliche Rechtspflege deshalb abzuweisen sei. Die Gerichtsgebühr auferlegte es dementsprechend dem Beschwerdeführer.
Mit Schreiben vom 16. Juni 2017 hielt der Beschwerdeführer daran fest, dass die Rechtsverzögerung festzustellen sei.
In der Folge teilte das Bundesgericht den Verfahrensbeteiligten mit, das Verfahren scheine gegenstandslos geworden zu sein, und räumte ihnen Gelegenheit zur Stellungnahme ein. Das Bundesstrafgericht verzichtete darauf. Das BJ liess sich vernehmen, ohne einen förmlichen Antrag zu stellen. Der Beschwerdeführer hielt in seiner Stellungnahme fest, er widersetze sich der Abschreibung des Verfahrens nicht. Da davon auszugehen sei, dass er mit seiner Beschwerde obsiegt hätte, seien ihm keine Gerichtskosten aufzuerlegen und habe er Anspruch auf eine Parteientschädigung.
Erwägungen:
1.
1.1. Gemäss Art. 94 BGG kann gegen das unrechtmässige Verweigern oder Verzögern eines anfechtbaren Entscheids Beschwerde geführt werden. Die vorliegende Beschwerde wegen Rechtsverweigerung bzw. -verzögerung betrifft das Gebiet der internationalen Rechtshilfe in Strafsachen, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG gegeben ist.
1.2. Angesichts des Umstands, dass das Bundesstrafgericht am 6. Juni 2017 einen Entscheid gefällt hat, besitzt der Beschwerdeführer kein aktuelles praktisches Interesse mehr an seiner Beschwerde wegen Rechtsverweigerung bzw. -verzögerung (Art. 89 Abs. 1 lit. c BGG). Er widersetzt sich denn auch einer Abschreibung des Verfahrens nicht. Das Verfahren wird deshalb mit einzelrichterlichem Entscheid vom Geschäftsverzeichnis abgeschrieben (Art. 32 Abs. 2 BGG; vgl. BGE 137 I 120 E. 2.2 S. 123, 296 E. 4.3 S. 299 ff.; je mit Hinweisen).
2.
2.1. Erklärt das Bundesgericht einen Rechtsstreit als gegenstandslos, entscheidet es mit summarischer Begründung über die Prozesskosten aufgrund der Sachlage vor Eintritt des Erledigungsgrundes (Art. 71 BGG in Verbindung mit Art. 72 BZP). Bei der Beurteilung der Kosten- und Entschädigungsfolgen ist somit in erster Linie auf den mutmasslichen Ausgang des Prozesses abzustellen (BGE 142 V 551 E. 8.2 S. 568; 125 V 373 E. 2a S. 374 f.; je mit Hinweisen).
2.2. Gemäss Art. 84 BGG ist auf dem Gebiet der internationalen Rechtshilfe in Strafsachen die Beschwerde nur zulässig, wenn es sich um einen besonders bedeutenden Fall handelt. Das Bundesgericht befasst sich im Bereich der internationalen Rechtshilfe in Strafsachen somit ausschliesslich mit besonders bedeutenden Fällen, was das ausdrückliche Ziel des Gesetzgebers war (vgl. das ebenfalls eine Rechtsverweigerungsbeschwerde betreffende Urteil 1C_189/2012 vom 18. April 2012 E. 1.2 mit Hinweis).
Mit dem Rückzug des Rechtshilfeersuchens durch Rumänien hatte der Beschwerdeführer keine Auslieferung mehr zu befürchten. Zudem wurde er unverzüglich aus der Haft entlassen. Es ging ausschliesslich noch um die Festlegung der Kosten- und Entschädigungsfolgen. Unter diesen Umständen ist nicht von einer Verletzung elementarer Verfahrensgrundsätze auszugehen (Art. 84 Abs. 2 BGG), wenn das Bundesstrafgericht für die Durchführung eines Schriftenwechsels und für seinen Entscheid insgesamt knapp sechs Monate benötigte. Ein besonders bedeutender Fall liegt nicht vor.
2.3. Aufgrund der Sachlage vor Eintritt des Erledigungsgrundes wäre auf die Beschwerde daher nicht einzutreten gewesen.
Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Verbeiständung. Das Gesuch ist aufgrund der Aussichtslosigkeit des Rechtsmittels abzuweisen (Art. 64 Abs. 1 BGG). Demnach sind die Verfahrenskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG) und keine Parteikosten zuzusprechen (Art. 68 BGG).
Demnach verfügt der Präsident:
1.
Die Beschwerde wird als gegenstandslos geworden vom Geschäftsverzeichnis abgeschrieben.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4.
Es wird keine Parteientschädigung zugesprochen.
5.
Diese Verfügung wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 24. Juli 2017
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold