Sachverhalt: A. K._, geboren 1962, meldete sich am 24. Dezember 2001 unter Hinweis auf chronische, seit Januar 2000 bestehende Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt führte erwerbliche und medizinische Abklärungen durch. Insbesondere veranlasste sie ein Gutachten bei Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 21. Mai 2002. Am 24. Oktober 2002 sprach sie K._ eine ganze Rente ab 1. Mai 2002 zu und bestätigte diesen Anspruch revisionsweise am 28. Juni 2005 und 2. Juni 2008. Im Rahmen einer erneuten Anspruchsüberprüfung des K._ holte die IV-Stelle bei Dr. med. F._ ein weiteres Gutachten vom 15. November 2010 ein. Der Regionale Ärztliche Dienst (RAD; Dr. med. E._) nahm hiezu am 21. Dezember 2010 Stellung. Nach Eingang von Berichten der behandelnden Dres. med. L._, vom 7. Januar 2011, und D._, Psychiatrie und Psychotherapie FMH, vom 12. Januar 2011, sowie Stellungnahmen der RAD-Ärztin E._ vom 18. Februar und 12. Juli 2011 beauftragte die IV-Stelle Dr. med. Jelk, FMH für Rheumatologie und Innere Medizin, Oberwil, mit einem rheumatologischen Gutachten vom 23. September 2011. Nach erneuter Stellungnahme der RAD-Ärztin Dr. med. E._ vom 28. Oktober 2011 und durchgeführtem Vorbescheidverfahren verfügte die IV-Stelle am 27. November 2012 die Herabsetzung der bisherigen ganzen auf eine Viertelsrente ab 1. Januar 2013. B. Die hiegegen erhobene Beschwerde des K._ wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 4. Juni 2013 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides weiterhin die Zusprechung einer ganzen Rente beantragen. Eventualiter sei die Sache zur weiteren medizinischen Abklärung an die IV-Stelle zurückzuweisen.