Sachverhalt: A. M._ (geboren 1956) war seit 1982 als Bauarbeiter bei der Implenia Bau AG beschäftigt. Ab Mitte November 2007 war er zufolge eines radikulären Reiz- und motorischen Ausfallsyndroms L5 links bei Diskushernie LW4/5 links zu 100 % arbeitsunfähig. Im Januar 2008 musste er sich einer Rückenoperation unterziehen. In der Folge nahm er keine Arbeitstätigkeit mehr auf. Ende März 2008 meldete er sich bei der IV-Stelle Basel-Stadt zum Leistungsbezug an. Nach Beizug medizinischer Berichte, unter anderem der ärztlichen Atteste zuhanden der Taggeldversicherung und rheumatologischer Gutachten des Dr. med. B._ vom 6. Januar 2009 und 2. März 2010 sowie beruflichen Abklärungen und Massnahmen (u.a. Frühinterventionsmassnahme in Form von Bewerbungstraining) sprach die IV-Stelle M._ gestützt auf einen Invaliditätsgrad von 41 % eine Viertelsrente ab November 2008 zu (Verfügungen vom 29. April und vom 7. Mai 2010). Die hiegegen erhobene Beschwerde des M._ hiess das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 28. März 2011 gut, hob die beiden Verfügungen auf und wies die Sache zur weiteren Abklärung und zum Erlass einer neuen Verfügung "im Sinne der Erwägungen" an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._ vom 16. August 2011, verfügte die IV-Stelle am 8. Mai 2012, dass der Versicherte Anspruch auf eine ganze befristete Invalidenrente für die Zeit ab November 2008 bis und mit April 2009 habe; ab Mai 2009 betrage der Invaliditätsgrad 35 %, was keinen Rentenanspruch mehr begründe. B. Die hiegegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 24. September 2012 gut und wies die Sache in Aufhebung der Verfügung vom 8. Mai 2012 zum Erlass einer neuen Verfügung im Sinne der Erwägungen an die IV-Stelle zurück. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt die IV-Stelle Basel-Stadt, in Aufhebung des kantonalen Gerichtsentscheides sei dem Versicherten eine befristete ganze Invalidenrente von Oktober (recte: November) 2008 bis und mit Mai 2009 auszurichten und für die Zeit danach ein Rentenanspruch zu verneinen. M._ lässt die Abweisung der Beschwerde unter Gewährung der unentgeltlichen Verbeiständung für das bundesgerichtliche Verfahren beantragen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.