Sachverhalt:
A.
M._ (geboren 1956) war seit 1982 als Bauarbeiter bei der Implenia Bau AG beschäftigt. Ab Mitte November 2007 war er zufolge eines radikulären Reiz- und motorischen Ausfallsyndroms L5 links bei Diskushernie LW4/5 links zu 100 % arbeitsunfähig. Im Januar 2008 musste er sich einer Rückenoperation unterziehen. In der Folge nahm er keine Arbeitstätigkeit mehr auf. Ende März 2008 meldete er sich bei der IV-Stelle Basel-Stadt zum Leistungsbezug an. Nach Beizug medizinischer Berichte, unter anderem der ärztlichen Atteste zuhanden der Taggeldversicherung und rheumatologischer Gutachten des Dr. med. B._ vom 6. Januar 2009 und 2. März 2010 sowie beruflichen Abklärungen und Massnahmen (u.a. Frühinterventionsmassnahme in Form von Bewerbungstraining) sprach die IV-Stelle M._ gestützt auf einen Invaliditätsgrad von 41 % eine Viertelsrente ab November 2008 zu (Verfügungen vom 29. April und vom 7. Mai 2010).
Die hiegegen erhobene Beschwerde des M._ hiess das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 28. März 2011 gut, hob die beiden Verfügungen auf und wies die Sache zur weiteren Abklärung und zum Erlass einer neuen Verfügung "im Sinne der Erwägungen" an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._ vom 16. August 2011, verfügte die IV-Stelle am 8. Mai 2012, dass der Versicherte Anspruch auf eine ganze befristete Invalidenrente für die Zeit ab November 2008 bis und mit April 2009 habe; ab Mai 2009 betrage der Invaliditätsgrad 35 %, was keinen Rentenanspruch mehr begründe.
B.
Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 24. September 2012 gut und wies die Sache in Aufhebung der Verfügung vom 8. Mai 2012 zum Erlass einer neuen Verfügung im Sinne der Erwägungen an die IV-Stelle zurück.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle Basel-Stadt, in Aufhebung des kantonalen Gerichtsentscheides sei dem Versicherten eine befristete ganze Invalidenrente von Oktober (recte: November) 2008 bis und mit Mai 2009 auszurichten und für die Zeit danach ein Rentenanspruch zu verneinen.
M._ lässt die Abweisung der Beschwerde unter Gewährung der unentgeltlichen Verbeiständung für das bundesgerichtliche Verfahren beantragen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde an das Bundesgericht ist zulässig gegen Endentscheide, das heisst gegen Entscheide, die das Verfahren abschliessen (<ref-law>), und gegen Teilentscheide, die nur einen Teil der gestellten Begehren behandeln, wenn diese unabhängig von den anderen beurteilt werden können, oder die das Verfahren nur für einen Teil der Streitgenossen und Streitgenossinnen abschliessen (<ref-law>). Gegen selbstständig eröffnete Vor- und Zwischenentscheide ist hingegen die Beschwerde nur zulässig, wenn sie die Zuständigkeit oder den Ausstand betreffen (<ref-law>), einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>). Rückweisungsentscheide, mit denen eine Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen wird, sind Zwischenentscheide, die nur unter den genannten Voraussetzungen beim Bundesgericht angefochten werden können (BGG 133 V 477 E. 4.2 S. 481). Anders verhält es sich nur dann, wenn der unteren Instanz, an welche zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der Umsetzung des oberinstanzlich Angeordneten dient (<ref-ruling> E. 1.1 S. 143; <ref-ruling> E. 1.3 S. 127).
1.2. Durch den angefochtenen kantonalen Entscheid wird die IV-Stelle in Abweichung zu ihrer Rentenverfügung vom 8. Mai 2012 verpflichtet, dem Versicherten auch für die Zeit ab Juni 2009 gestützt auf einen Invaliditätsgrad von 41 % eine Rente zuzusprechen sowie eine ganze Invalidenrente für den Monat Mai 2009. Damit verbleibt der IV-Stelle kein Entscheidungsspielraum mehr und die Rückweisung dient nur noch der Umsetzung des vom kantonalen Gericht Angeordneten. Der IV-Stelle erwächst dadurch ein nicht wieder gutzumachender Nachteil, weshalb auf die Beschwerde einzutreten ist (<ref-law>).
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
3.
3.1. Die materielle Rechtskraft eines gerichtlichen Entscheides erstreckt sich auf das, was Streitgegenstand des Verfahrens gebildet hat und materiell gewürdigt und entschieden worden ist. Inwieweit ein (erster) Rückweisungsentscheid die Verwaltungsbehörde und, im Falle einer erneuten Anfechtung, auch die kantonale Rechtsmittelinstanz bindet, ergibt sich aus dem Urteilsdispositiv (<ref-ruling> E. 4a S. 477) und den erklärenden Erwägungen ( GRISEL, Traité de droit administratif, S. 882; GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl., S. 247 N 36 in fine; GYGI, Bundesverwaltungsrechtspflege, S. 323; KÖLZ, Kommentar zum Verwaltungsrechtpflegegesetz des Kantons Zürich, S. 242). Folglich sind auch die Motive, auf welche sich das Dispositiv seinem rechtlichen Gehalt nach abstützt, für die Behörde, an welche die Sache zurückgeht, verbindlich (Urteil 9C_350/2011 vom 3. Januar 2012 E. 4.1). Solange jedoch über den Streitgegenstand als solchen nicht formell rechtskräftig entschieden worden ist, verbietet sich grundsätzlich die Annahme, einzelne Elemente der streitigen Sache seien bereits formell und materiell rechtskräftig erledigt (Urteil I 157/00 vom 8. November 2001 E. 1b; ZAK 1986 S. 60 E. 1c mit Hinweisen).
3.2.
3.2.1. In seinem ersten Rückweisungsentscheid vom 28. März 2011, welches die Rechtmässigkeit der ursprünglichen Rentenverfügungen vom 29. April und 7. Mai 2010 (Viertelsrente ab November 2008) zu beurteilen hatte, hatte das kantonale Gericht was folgt erwogen:
"Zusammenfassend ist deshalb festzuhalten, dass aufgrund der vorliegenden ärztlichen Unterlagen Zweifel daran bestehen, dass dem Beschwerdeführer - wie von der IV-Stelle angenommen - ab Juni 2008 eine 75%ige Arbeitsfähigkeit in leichter, wechselbelastender Arbeit ohne repetitives Bücken und Heben von schweren Lasten zugemutet werden kann. Um diese Zweifel auszuräumen, ist der Beschwerdeführer nochmals zu begutachten. Dabei hat der - vorzugsweise bislang mit dem Fall nicht vertraute - Gutachter auf der Basis neuer bildgebender Unterlagen, seiner klinischen Untersuchung sowie unter Würdigung der bislang erhobenen medizinischen Akten seine Einschätzungen zum Verlauf der Arbeitsunfähigkeit ab November 2007 darzulegen. Auf der Grundlage dieser ärztlichen Beurteilung hat die IV-Stelle anschliessend nochmals über den Rentenanspruch des Beschwerdeführers zu verfügen."
Dieser Erwägung entsprechend hatte das kantonale Gericht die ursprünglichen Rentenverfügungen vom 29. April 2010 und vom 7. Mai 2010 integral aufgehoben und die Sache zur weitern Abklärung und zum Erlass einer neuen Verfügung im Sinne der Erwägungen an die IV-Stelle zurückgewiesen. Die entsprechende Ziffer im Dispositiv lautete:
"In Gutheissung der Beschwerde werden die Verfügungen der Beschwerdebeklagten vom 29. April 2010 und 7. Mai 2010 aufgehoben und die Sache zur weiteren Abklärung und zum Erlass einer neuen Verfügung im Sinne der Erwägungen an die Beschwerdebeklagte zurückgewiesen."
3.2.2. Im zweiten, nunmehr vor Bundesgericht angefochtenen Rückweisungsentscheid vom 24. September 2012 erwog das kantonale Gericht, es habe in seinem ersten Urteil "den Invaliditätsgrad von 41 % nicht in Frage gestellt". Es habe vielmehr "einzig berechtigte Zweifel" daran gehabt, dass bereits ab Juni 2008 wieder eine 75%ige Leistungsfähigkeit bestanden haben soll. Zusammenfassend bedeute dies, dass dem Versicherten von November 2008 bis Ende Mai 2009 eine ganze Rente und überdies ab 1. Juni 2009 auf der Grundlage eines Invaliditätsgrades von 41 % - entsprechend den Motiven der ursprünglichen Verfügung vom 29. April 2010 - eine unbefristete Viertelsrente zustehe.
3.3. Die beschwerdeführende IV-Stelle bestreitet, dass der erste Rückweisungsentscheid einen rechtsverbindlichen unbefristeten Viertelsrentenanspruch enthalte.
Der Beschwerdegegner geht davon aus, dass das kantonale Gericht in seinem zweiten Entscheid vom 24. September 2012 richtigerweise von einer Verbesserung des Gesundheitszustandes im Februar 2009 ausgegangen sei und daher zu Recht einen Viertelsrentenanspruch ab Juni 2009 bejaht habe.
3.4. Streitig ist somit, ob der Versicherte über Mai 2009 hinaus einen Anspruch auf eine Viertelsrente der Invalidenversicherung hat und damit zusammenhängend die Frage, ob der erste Rückweisungsentscheid vom 28. März 2011 den Invaliditätsgrad des Beschwerdegegners und den Anspruch auf eine Viertelsrente ab Juni 2009 verbindlich und rechtskräftig festgesetzt hat.
Im ersten Rückweisungsentscheid hatte das kantonale Gericht keine verbindlichen Sachverhaltsfeststellungen betreffend die Arbeitsunfähigkeit für die Zeit nach dem 1. Mai 2009 gemacht. Zwar hat es bezogen auf diese Zeit medizinische Einschätzungen wiedergegeben, ohne betreffend die Arbeitsunfähigkeit verbindliche Feststellungen zu treffen; es hat auch keinen für die Invaliditätsbemessung erforderlichen Einkommensvergleich vorgenommen. Vielmehr hat es die angefochtenen Rentenverfügungen von April und Mai 2010, die eine Viertelsrente ab November 2008 gestützt auf eine Invalidität von 41 % zugesprochen hatten, integral aufgehoben und die IV-Stelle angewiesen, nach erneuter medizinischer Abklärung neu zu verfügen. Von einer rechtskonformen und rechtskräftigen Invaliditätsbemessung bzw. Rentenzusprache für die Zeit ab Juni 2009 kann somit nicht die Rede sein. Die anderslautende Auffassung des kantonalen Gerichts verletzt die erwähnten Grundsätze der materiellen Rechskraft (E. 3.1 hievor) und damit Bundesrecht.
4.
4.1. Nach <ref-law> entscheidet das Bundesgericht in der Sache selbst oder es weist diese an eine untere Instanz zurück, wenn es die Beschwerde gutheisst. Das Bundesgericht entscheidet mithin nicht nur kassatorisch, sondern kann den Streitpunkt auch reformatorisch neu regeln. Die vorliegende Sach- und Rechtslage lässt eine solche direkte Beurteilung zu, da die übrigen Einwände des Beschwerdegegners unbegründet sind (<ref-ruling> E. 3 S. 26).
4.2. Nach dem Gutachten des Dr. med. J._, Facharzt FMH für Rheumatologie und Innere Medizin, vom 16. August 2011 ist dem Beschwerdegegner seit 6. Februar 2009 eine leidensangepasste Tätigkeit (nicht über 10 kg heben, stossen oder ziehen, nicht dauernd sitzen, oder in Zwangshaltungen vornübergebeugt oder nur repetitiv bückend arbeiten) zumutbar bei voller Arbeitszeit mit einer Leistungseinschränkung von 20 %. Ausgehend von dieser Arbeitsfähigkeit ist der Einkommensvergleich der IV-Stelle in ihrer Verfügung vom 8. Mai 2012 nicht zu beanstanden. Er ist denn auch vom Beschwerdegegner weder vor der Vorinstanz noch im bundesgerichtlichen Verfahren beanstandet worden. Die IV-Stelle ging von einem Valideneinkommen von Fr. 71'214.- im Jahr 2009 aus gestützt auf das Jahreseinkommen 2008 des Beschwerdegegners bei seiner letzten Arbeitgeberin. Das Invalideneinkommen bestimmte sie anhand der Tabellen der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) in Berücksichtigung einer Leistungseinschränkung von 20 % mit Fr. 46'541.- (LSE 2008, TA1 Männer, Anforderungsniveau 4, Umrechnung von 40 auf 41,6 Wochenstunden und unter Berücksichtigung der Nominallohnentwicklung zwischen den Jahren 2008/2009). Auch der von der IV-Stelle vorgenommene Abzug vom Tabellenlohn von 5 % liegt im Rahmen des pflichtgemässen Ermessens. Es resultiert ein Invaliditätsgrad, der unter der rentenerheblichen Grenze von 40 % liegt. Die Invaliditätsbemessung der IV-Stelle mit Verfügung vom 8. Mai 2012 ist mithin bundesrechtskonform. Soweit die Vorinstanz die Befristung der ganzen Rente auf Ende Mai 2009 festsetzte, ist ihr zuzustimmen. Die Beschwerde ist in diesem Punkt unbegründet. Ab 1. Juni 2009 hat der Beschwerdegegner somit keinen Rentenanspruch mehr.
4.3. Gegenstand der Verfügung vom 8. Mai 2012 war auch noch eine Rückforderung für in der Zeit vom 1. November 2008 bis 31. März 2012 ohne Rechtsgrund zu viel ausbezahlter IV-Leistungen im Betrag von Fr. 8'694.-. Mit diesem Teilaspekt der Verfügung vom 8. Mai 2012 setzt sich die vorinstanzliche Beschwerde weder im Antrag noch in der Begründung auseinander. Es besteht daher kein Grund, näher auf die Rückerstattungsfrage einzugehen.
5.
Mit Ausnahme des Rentenbetreffnisses für den Monat Mai 2009 obsiegt die IV-Stelle. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem Beschwerdegegner aufzuerlegen (<ref-law>). Eine Parteientschädigung ist nicht geschuldet (<ref-law>). Dem Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren kann entsprochen werden (<ref-law>; <ref-ruling> E. 4a S. 202). Es wird jedoch ausdrücklich auf <ref-law> hingewiesen, wonach er der Gerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 24. September 2012 wird aufgehoben, soweit dieser dem Beschwerdegegner eine Viertelsrente ab Juni 2009 zuspricht. Es wird festgestellt, dass der Beschwerdegegner Anspruch auf eine ganze Rente der Invalidenversicherung von November 2008 bis und mit Mai 2009 hat.
2.
Das Gesuch um unentgeltliche Rechtspflege des Beschwerdegegners für das bundesgerichtliche Verfahren wird gutgeheissen und es wird dem Beschwerdegegner Advokatin Raffaella Biaggi als Rechtsbeiständin beigegeben.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes einstweilen auf die Gerichtskasse genommen.
4.
Advokatin Raffaella Biaggi wird aus der Gerichtskasse eine Entschädigung von Fr. 1'000.- ausgerichtet.
5.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Basel-Stadt zurückgewiesen.
6.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. August 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Der Gerichtsschreiber: Nussbaumer