Sachverhalt:
A.
K._, geboren 1962, meldete sich am 24. Dezember 2001 unter Hinweis auf chronische, seit Januar 2000 bestehende Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt führte erwerbliche und medizinische Abklärungen durch. Insbesondere veranlasste sie ein Gutachten bei Dr. med. F._, FMH Psychiatrie und Psychotherapie, vom 21. Mai 2002. Am 24. Oktober 2002 sprach sie K._ eine ganze Rente ab 1. Mai 2002 zu und bestätigte diesen Anspruch revisionsweise am 28. Juni 2005 und 2. Juni 2008. Im Rahmen einer erneuten Anspruchsüberprüfung des K._ holte die IV-Stelle bei Dr. med. F._ ein weiteres Gutachten vom 15. November 2010 ein. Der Regionale Ärztliche Dienst (RAD; Dr. med. E._) nahm hiezu am 21. Dezember 2010 Stellung. Nach Eingang von Berichten der behandelnden Dres. med. L._, vom 7. Januar 2011, und D._, Psychiatrie und Psychotherapie FMH, vom 12. Januar 2011, sowie Stellungnahmen der RAD-Ärztin E._ vom 18. Februar und 12. Juli 2011 beauftragte die IV-Stelle Dr. med. Jelk, FMH für Rheumatologie und Innere Medizin, Oberwil, mit einem rheumatologischen Gutachten vom 23. September 2011. Nach erneuter Stellungnahme der RAD-Ärztin Dr. med. E._ vom 28. Oktober 2011 und durchgeführtem Vorbescheidverfahren verfügte die IV-Stelle am 27. November 2012 die Herabsetzung der bisherigen ganzen auf eine Viertelsrente ab 1. Januar 2013.
B.
Die hiegegen erhobene Beschwerde des K._ wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Entscheid vom 4. Juni 2013 ab.
C.
K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und unter Aufhebung des angefochtenen Entscheides weiterhin die Zusprechung einer ganzen Rente beantragen. Eventualiter sei die Sache zur weiteren medizinischen Abklärung an die IV-Stelle zurückzuweisen.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Von diesen tatsächlichen Feststellungen kann es nur abweichen, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2.
Streitig ist, ob das kantonale Gericht zu Recht eine anspruchserhebliche Verbesserung des psychischen Gesundheitszustandes des Beschwerdeführers bejaht hat.
2.1. Die Vorinstanz erwog, ausgehend von der differenzierten Beurteilung des Dr. med. F._ vom 15. November 2010 scheine es im Ergebnis einleuchtend und nachvollziehbar, dass sich der psychische Gesundheitszustand des Versicherten gesamthaft verbessert habe und ihm nunmehr - bei weiterhin verminderter Belastbarkeit, Verlangsamung und erhöhtem Pausenbedarf - eine leichte bis mittelschwere Tätigkeit zu 60 % zumutbar sei.
2.2. Der Beschwerdeführer rügt, das kantonale Gericht habe bei der revisionsweisen Rentenherabsetzung auf ein nicht lege artis erstelltes Gutachten abgestellt; es fehle an erheblichen neuen Tatsachen. Er habe gegenüber dem begutachtenden Dr. med. F._ in den Jahren 2002 und 2010 im Wesentlichen identische subjektive Angaben gemacht und auch die Untersuchungsbefunde seien teilweise deckungsgleich gewesen. Gleichwohl habe der Gutachter in der zweiten Expertise eine "weniger weitreichende" Diagnose gestellt. Die 30 %ige Steigerung der Arbeitsfähigkeit werde hauptsächlich mit dem fehlenden leidenden Eindruck begründet, was nahe lege, dass Dr. med. F._ einzig auf seine subjektive Empfindung im Untersuchungszeitpunkt abgestellt habe. Zu Unrecht habe der Arzt auf fremdanamnestische Angaben verzichtet. Das zweite Gutachten des Dr. med. F._ sei eine auf einer 30-minütigen Exploration basierende, nicht nachvollziehbar begründete Momentaufnahme, die zu wenig auf die geklagten Beschwerden eingehe, auf wenig aktuellen Akten beruhe und somit den bundesrechtlichen Beweisanforderungen nicht genüge. Ausserdem sei seine Ehefrau erst nach der Exploration verstorben; ihr Tod habe gemäss Bericht des behandelnden Psychiaters Dr. med. D._ vom 4. September 2012 eine Verschlimmerung der depressiven Störung bewirkt oder diese zumindest nicht verbessert. Eventualiter bemängle er auch die Höhe des Abzuges vom Tabellenlohn, den die Vorinstanz ohne weitere Begründung und in Verletzung von Bundesrecht auf 5 % festgesetzt habe.
3.
3.1. Die vorinstanzliche Beweiswürdigung hält in allen Teilen vor Bundesrecht stand. Anlässlich der ersten psychiatrischen Untersuchung vom 14. Mai 2002 (Expertise vom 21. Mai 2002) schilderte der Versicherte einen weitestgehend passiven Tagesablauf und beschrieb eine Kraftlosigkeit, die es ihm weder erlaube, im Haushalt irgendwelche Arbeiten zu verrichten noch sich mit seinen Kindern abzugeben. Ausserdem sprach er von suizidalen Tendenzen und brach mehrfach in Tränen aus. Am 12. November 2010 (Gutachten vom 15. November 2010) berichtete der Beschwerdeführer zwar erneut, er lege sich tagsüber teilweise ins Bett, es fehle ihm Kraft und Energie und er denke oft an den Tod. Indes war es ihm möglich, nach seinem Auszug aus der ehelichen Wohnung (als Folge einer krankheitsbedingten Wesensveränderung seiner Ehefrau) den Haushalt selbständig zu verrichten, einzukaufen und sporadisch mit seinen Kindern zu kochen. Auch gab er an, manchmal Zeitungen zu lesen, im Fernsehen die Nachrichten zu gucken und tagsüber (nurmehr) eine halbe bis eine ganze Stunde zu schlafen. Der Gutachter führte denn auch aus, es präsentiere sich ihm "ein völlig anderer Explorand, wie im Jahr 2002"; dieser wirke allenfalls subdepressiv verstimmt.
3.2. Es steht ausser Frage, dass der Beschwerdeführer in Zusammenhang mit der 2007 diagnostizierten Krebserkrankung seiner zwischenzeitlich verstorbenen Ehefrau grossen seelischen Belastungen ausgesetzt war. Während dieser Zeit kümmerte er sich aktenkundig sehr um seine Söhne, holte sie möglichst viel zu sich und war unter den schwierigen Bedingungen stets für sie da; auch besuchte er seine Frau im Spital, so oft es ihm möglich war (Bericht der Physiotherapeutin S._ vom 18. Dezember 2012). Dass die Krankheit der Ehefrau und die nach ihrem Versterben ihm allein obliegende Verantwortung für das Gedeihen der Söhne (welche beim Tod der Mutter 23- bzw. 16- und 15-jährig gewesen waren) den Beschwerdeführer bis an seine Grenzen forderte, ist ohne weiteres nachvollziehbar. Er verhielt sich indes auch unter grössten Belastungen keineswegs passiv, sondern kümmerte sich wie dargelegt nach Kräften um seine Söhne. Bei einer mittelgradigen bis schweren depressiven Störung (ICD-10 F33.11), wie sie Dr. med. F._ am 21. Mai 2002 diagnostiziert hatte, wäre ihm ein solcher Einsatz zweifellos gänzlich unmöglich gewesen. Zwar führte der behandelnde Psychiater Dr. med. D._ am 4. September 2012 aus, die chronische therapieresistente Depression erlaube es dem Versicherten nicht einmal, den Haushalt zu erledigen, die Hausarbeiten würden "seit jeher" grösstenteils von den Söhnen erledigt, doch sind diese - im Übrigen bereits nach der vorbescheidweise in Aussicht gestellte Rentenherabsetzung datierenden (Vorbescheid vom 3. August 2012) - Angaben nicht zuletzt mit Blick auf das besondere Vertrauensverhältnis zwischen dem Arzt und dem Beschwerdeführer praxisgemäss besonders sorgfältig zu würdigen. Es ist insbesondere dem Umstand Rechnung zu tragen, dass sich die Angaben des Versicherten gegenüber Dr. med. F._ (vom 12. November 2010) und gegenüber der Physiotherapeutin Sorg (Patientenbericht vom 18. Dezember 2012) bezüglich seines Alltages grösstenteils decken und die berichteten Aktivitäten eine wesentliche Verbesserung des psychischen Gesundheitszustandes gegenüber der im Jahr 2002 geschilderten weitestgehenden Passivität zumindest überwiegend wahrscheinlich machen. Vor diesem Hintergrund hat die Vorinstanz kein Bundesrecht verletzt, wenn sie basierend auf dem Gutachten F._ vom 15. November 2010 eine anspruchsrelevante gesundheitliche Verbesserung bejahte. Die angefochtene Rentenherabsetzung ist bundesrechtskonform.
4.
Was den bereits im vorinstanzlichen Verfahren gerügten Abzug vom Tabellenlohn betrifft, handelt es sich dabei um einen typischen Ermessensentscheid, welcher einer letztinstanzlichen Korrektur nur bei - hier nicht gegebener - rechtsfehlerhafter Ausübung des Ermessens durch das kantonale Gericht zugänglich wäre (<ref-law>). Das kantonale Gericht hat mit in allen Teilen bundesrechtskonformen Erwägungen dargelegt, dass selbst ein Abzug von 20 % an der Anspruchsberechtigung nichts änderte und für den Maximalabzug von 25 % kein Anlass besteht. Das Bundesgericht hat dem nichts beizufügen (<ref-law>).
5.
Die im Sinne von <ref-law> offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
6.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. November 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Bollinger Hammerle