Sachverhalt:
A.
Mit Ausschreibung vom 1. August 2017 im Schengener Informationssystem (SIS) ersuchten die polnischen Behörden um Fahndung und Verhaftung des polnischen Staatsangehörigen A._ zwecks Auslieferung im Hinblick auf die Vollstreckung diverser Freiheitsstrafen.
Am 1. Dezember 2017 wurde A._ in der Schweiz angehalten und mit Haftanordnung des Bundesamtes für Justiz (BJ) in provisorische Auslieferungshaft versetzt. Anlässlich seiner Einvernahme erklärte er, mit einer Auslieferung an Polen nicht einverstanden zu sein. Mit Auslieferungshaftbefehl vom 4. Dezember 2017 verfügte das BJ die Auslieferungshaft.
Mit Schreiben vom 15. Dezember 2017 reichte das polnische Justizministerium ein formelles Auslieferungsersuchen in Bezug auf einen Auslieferungsantrag des Amtsgerichts Bytom ein und wies darauf hin, dass noch Ergänzungen folgen würden. Insbesondere mit Schreiben vom 2. Januar 2018 ergänzte es das Ersuchen mit einem Auslieferungsantrag des Amtsgerichts Chorzów.
A._ nahm zum Auslieferungsersuchen Stellung. Mit Schreiben vom 3. Mai 2018 brachte er vor, er habe tags zuvor mit dem Amtsgericht Chorzów telefoniert. Anlässlich des Telefonats sei ihm unter anderem beschieden worden, dass sämtliche Urteile gegen ihn vollstreckt würden, auch wenn für einen Teil der Urteile die Auslieferung nicht bewilligt würde.
Mit Auslieferungsentscheid vom 7. Mai 2018 verfügte das BJ die Auslieferung für die dem Urteil des Amtsgerichts Chorzów vom 18. Oktober 2011 zugrunde liegenden Straftaten. Im Übrigen wies es das Auslieferungsersuchen ab.
Am 6. Juni 2018 ordnete das BJ gegen eine Kaution von Fr. 20'000.-- und Schriftenhinterlegung die Haftentlassung an.
Eine von A._ gegen den Auslieferungsentscheid erhobene Beschwerde wies das Bundesstrafgericht mit Entscheid vom 4. September 2018 ab, soweit es darauf eintrat (Dispositiv-Ziff. 2). Den Antrag, das Beschwerdeverfahren bis zum Vorliegen eines rechtskräftigen Entscheids über das in Polen hängige Begnadigungsverfahren betreffend das Urteil des Amtsgerichts Chorzów vom 18. Oktober 2011 zu sistieren, lehnte es ab (Dispositiv-Ziff. 1).
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 17. September 2018 beantragt A._, Ziff. 2 des Dispositivs des Entscheids des Bundesstrafgerichts sei aufzuheben und das Auslieferungsersuchen abzuweisen. Zudem sei ihm eine Genugtuung von Fr. 200.-- pro Tag ungerechtfertigter Auslieferungshaft zuzusprechen. Eventualiter sie die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Das BJ beantragt, auf die Beschwerde nicht einzutreten.

Erwägungen:
1.
1.1. Gegen einen Entscheid auf dem Gebiet der internationalen Rechtshilfe in Strafsachen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten unter den in Art. 84 BGG genannten Voraussetzungen zulässig. Im vorliegenden Fall geht es um eine Auslieferung und damit um ein Sachgebiet, bei dem die Beschwerde nach Art. 84 Abs. 1 BGG insoweit möglich ist. Weiter ist erforderlich, dass es sich um einen besonders bedeutenden Fall handelt.
Art. 84 BGG bezweckt die wirksame Begrenzung des Zugangs zum Bundesgericht im Bereich der internationalen Rechtshilfe in Strafsachen (<ref-ruling> E. 1.3.1 S. 160 mit Hinweisen). Ein besonders bedeutender Fall ist mit Zurückhaltung anzunehmen (<ref-ruling> E. 2.4 S. 144 mit Hinweis).
Ein besonders bedeutender Fall kann auch bei einer Auslieferung nur ausnahmsweise angenommen werden. In der Regel stellen sich insoweit keine Rechtsfragen, die der Klärung durch das Bundesgericht bedürfen, und kommt den Fällen auch sonst wie keine besondere Tragweite zu (<ref-ruling> E. 1.3.4 S. 161).
Bei der Beantwortung der Frage, ob ein besonders bedeutender Fall gegeben ist, steht dem Bundesgericht ein weiter Ermessensspielraum zu (<ref-ruling> E. 1.3.1 S. 160 mit Hinweis).
Nach Art. 109 BGG entscheidet die Abteilung in Dreierbesetzung über Nichteintreten auf Beschwerden, bei denen kein besonders bedeutender Fall vorliegt (Abs. 1). Der Entscheid wird summarisch begründet und es kann ganz oder teilweise auf den angefochtenen Entscheid verwiesen werden (Abs. 3).
1.2. Zwar geht es um eine Auslieferung und damit ein Sachgebiet, bei dem die Beschwerde insoweit nach Art. 84 BGG möglich ist. Nach der zutreffenden Ansicht des BJ handelt es sich jedoch um keinen besonders bedeutenden Fall.
Der Beschwerdeführer rügt, vom Amtsgericht Chorzów am 18. Oktober 2011 in Abwesenheit verurteilt worden zu sein. Das Bundesstrafgericht hat hierzu festgehalten, dass die Abwesenheit des Angeklagten und seines Verteidigers kein Auslieferungshindernis darstelle, wenn das Abwesenheitsurteil das Ergebnis eines Vergleichs sei. Dies steht in Einklang mit der bundesgerichtlichen Rechtsprechung (<ref-ruling> E. 6.3 S. 61). Der Beschwerdeführer macht zwar geltend, der Abschluss eines Vergleichs sei im betreffenden Urteil nicht erwähnt bzw. die dort zitierte Bestimmung der polnischen Strafprozessordnung sei im Auslieferungsverfahren nicht übersetzt worden, doch stellt er nicht in Abrede, einen Vergleich abgeschlossen zu haben. Der Anspruch auf einen Verteidiger gemäss Art. 6 Abs. 3 lit. c EMRK und Art. 14 Abs. 3 lit. d UNO-Pakt II (SR 0.103.2) ist zudem verzichtbar.
Zutreffend ist auch die Ansicht des Bundesstrafgerichts, dass der Widerruf des Strafaufschubs wegen erneuter Straffälligkeit als solcher nicht in den Anwendungsbereich von Art. 6 EMRK fällt (<ref-ruling> E. 2.2 S. 272 mit Hinweisen). Es befasste sich deshalb zu Recht nicht mit der Kritik des Beschwerdeführers am Beschluss des Amtsgerichts Chorzów vom 24. Juni 2013, mit dem die Vollstreckung der im Urteil vom 18. Oktober 2011 zur Bewährung ausgesetzten Freiheitsstrafe angeordnet worden war.
Schliesslich ist der Grundsatz der Spezialität in Art. 14 des Europäischen Auslieferungsübereinkommens vom 13. Dezember 1957 (SR 0.353.1) ausdrücklich verankert. Das Einholen einer annahmebedürftigen Auflage im Sinne von Art. 80p IRSG erübrigt sich in dieser Hinsicht. Dass der Beschwerdeführer behauptet, eine namentlich nicht genannte Person am Amtsgericht Chorzów habe ihm beschieden, es würden auch Urteile vollstreckt, für welche die Auslieferung nicht bewilligt worden sei, ändert daran nichts. Dasselbe gilt für die vom Beschwerdeführer geäusserten allgemeinen Bedenken gegenüber der Unabhängigkeit der polnischen Justiz, da unklar bleibt, inwiefern diese im vorliegenden Fall zum Tragen kommen könnten.
Rechtsfragen von grundsätzlicher Bedeutung stellen sich nicht. Auch sonst ist der Fall nicht von aussergewöhnlicher Tragweite. Für das Bundesgericht besteht daher kein Anlass, die Sache an die Hand zu nehmen.
2.
Auf die Beschwerde ist aus den genannten Gründen nicht einzutreten. Damit wird das Gesuch um aufschiebende Wirkung gegenstandslos. Der Beschwerde kommt im vorliegenden Fall ohnehin schon von Gesetzes wegen aufschiebende Wirkung zu (Art. 103 Abs. 2 lit. c BGG).
Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (Art. 64 BGG).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt André Kuhn wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Bundesamt für Justiz, Fachbereich Auslieferung, und dem Bundesstrafgericht, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 22. Oktober 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold