Sachverhalt:
A.
Am 30. April 2011 verurteilte das Strafgericht Basel-Stadt X._ wegen gewerbsmässigen Betrugs zu einer bedingten Freiheitsstrafe von 14 Monaten bei einer Probezeit von 2 Jahren.
Infolge Rückzugs der gegen dieses Urteil erhobenen Berufung von X._ schrieb das Appellationsgericht des Kantons Basel-Stadt das Berufungsverfahren am 4. April 2014 als erledigt ab. Es entrichtete seinem amtlichen Verteidiger ein Honorar aus der Gerichtskasse und verpflichtete X._ in Anwendung von <ref-law> zur Rückzahlung dieser Kosten.
B.
X._ führt Beschwerde in Strafsachen mit dem Antrag, das Urteil des Appellationsgerichts des Kantons Basel-Stadt sei insofern aufzuheben, als es ihn zur Rückerstattung der Kosten für die amtliche Verteidigung verpflichte.
C.
Das Appellationsgericht des Kantons Basel-Stadt beantragt die Abweisung der Beschwerde. Die Staatsanwaltschaft des Kantons Basel-Stadt verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Der Beschwerdeführer rügt eine Verletzung seines rechtlichen Gehörs. Er sei in Anwendung von <ref-law> zur Rückzahlung der Kosten für seine amtliche Verteidigung verurteilt worden, ohne dass dies im Urteil begründet werde. Die Rückerstattungspflicht gehe einzig aus dem Urteilsdispositiv hervor. Die Vorinstanz hätte nachvollziehbar darlegen müssen, inwiefern seine aktuellen wirtschaftlichen Verhältnisse es erlauben würden, die fragliche Entschädigung zurückzuzahlen. Dies habe sie unterlassen. Im Übrigen sei ihm die Rückzahlungspflicht auch materiell zu Unrecht auferlegt worden. Sein momentanes Einkommen lasse eine Rückerstattung der Verteidigungskosten nicht zu.
1.2.
1.2.1. Aufgrund der aus dem Anspruch auf rechtliches Gehör (<ref-law>) fliessenden Begründungspflicht (<ref-law>) ist das Gericht gehalten, sein Urteil zu begründen. Es kann sich auf die für den Entscheid wesentlichen Punkte beschränken, muss jedoch wenigstens kurz die Überlegungen nennen, von denen es sich hat leiten lassen und auf die sich sein Urteil stützt. Die Begründung muss so abgefasst sein, dass der Betroffene in voller Kenntnis der Tragweite des Entscheids die Sache weiterziehen kann und der Rechtsmittelinstanz die Überprüfung der Rechtsanwendung möglich ist (vgl. <ref-ruling> E. 2.2; <ref-ruling> E. 2.2; je mit Hinweis).
1.2.2. Dem angefochtenen Urteil ist nicht zu entnehmen, aus welchen Gründen und gestützt auf welche Unterlagen die Vorinstanz den Beschwerdeführer dazu verpflichtet, ihr die Kosten für seine amtliche Verteidigung zurückzuzahlen. Aufgrund der mangelhaften Begründung kann das Bundesgericht die Rechtmässigkeit dieser Verpflichtung nicht überprüfen. Die Rüge des Beschwerdeführers erweist sich als zutreffend. Das vorinstanzliche Urteil ist ungenügend begründet und verletzt sein rechtliches Gehör.
Daran vermögen auch die Ausführungen der Vorinstanz in ihrer Vernehmlassung nichts zu ändern. Eine Heilung der vorliegenden Verletzung des rechtlichen Gehörs kommt im bundesgerichtlichen Verfahren nicht in Betracht (vgl. <ref-ruling> E. 2.3.2 mit Hinweisen).
1.3. Die Beschwerde ist gutzuheissen. Ziffer IV. Abs. 14 des angefochtenen Urteils ist in Bezug auf die Verpflichtung des Beschwerdeführers zur Rückerstattung der Kosten für die amtliche Verteidigung aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Die Vorinstanz wird zu begründen haben, weshalb sie die entsprechenden Voraussetzungen als gegeben erachtet und insbesondere auch prüfen müssen, ob ihr Entscheid sich mit seinen finanziellen Verhältnissen bzw. der aktuellen diesbezüglichen Beweislage vereinbaren lässt.
2.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>). Der Kanton Basel-Stadt hat dem Beschwerdeführer eine angemessene Parteientschädigung auszurichten (<ref-law>). Damit wird sein Gesuch um unentgeltliche Rechtspflege gegenstandslos. Praxisgemäss ist die Parteientschädigung dem Rechtsvertreter des Beschwerdeführers auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 4. April 2014 wird hinsichtlich Ziffer IV. Absatz 14 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Es werden keine Kosten erhoben.
3.
Der Kanton Basel-Stadt hat dem Rechtsvertreter des Beschwerdeführers, Advokat Alain Joset, für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 3'000.-- auszurichten.
4.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 5. Mai 2015
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Denys
Die Gerichtsschreiberin: Siegenthaler