Sachverhalt: A. Der 1973 geborene A._ arbeitete vom 21. März 2007 bis zum 17. Dezember 2008 als Raumpfleger bei der Firma B._ GmbH. Er meldete sich am 8. Oktober 2013 (erneut) wegen einer psychischen Erkrankung bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt zog diverse medizinische Berichte sowie die Akten der SUVA bei und liess den Versicherten durch die Dres. med. C._, Facharzt für Psychiatrie und Psychotherapie FMH, und D._, Facharzt für Rheumatologie FMH, bidisziplinär begutachten. Gestützt auf die Expertisen vom 9./11. September 2014 lehnte die IV-Stelle das Begehren um Ausrichtung einer Invalidenrente mit Verfügung vom 10. November 2014 ab. B. Das Sozialversicherungsgericht des Kantons Basel-Stadt wies eine dagegen geführte Beschwerde mit Entscheid vom 23. März 2015 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei ihm eine ganze Rente auszurichten, eventuell seien weitere Abklärungen vorzunehmen oder die Sache zur Vornahme von Sachverhaltsabklärungen zurückzuweisen. Im weiteren ersucht der Beschwerdeführer um die Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde, während sich das kantonale Gericht und das Bundesamt für Sozialversicherungen nicht vernehmen lassen. Mit Eingabe vom 26. Oktober 2015 liess der Beschwerdeführer dem Bundesgericht auf die Vernehmlassung der Beschwerdegegnerin hin weitere Bemerkungen zukommen.