Sachverhalt:
A.
A.a. Der 1953 geborene A._ arbeitete als Hilfsmonteur bei der Firma B._ AG. Bei einem Sturz von einer Leiter zog er sich am 3. April 2001 eine Kontusion des linken Knies mit einer medialen Meniskushinterhornläsion und nachfolgender Arthrose zu. Er meldete sich am 13. Dezember 2001 zur Berufsberatung und Umschulung auf eine neue Tätigkeit bei der Invalidenversicherung an. Die IV-Stelle des Kantons Basel-Stadt (IV-Stelle) bewilligte eine Berufsberatung und gewährte einen drei Monate dauernden Arbeitsversuch (Verfügungen vom 22. März 2002 und vom 14. August 2002). Im Weiteren traf sie verschiedene Abklärungen und zog die Akten der Unfallversicherung bei. Diese richtete A._ gemäss Entscheid des Sozialversicherungsgerichts Basel-Stadt vom 27. Juli 2005 ab dem 1. Dezember 2003 eine Rente aufgrund eines Invaliditätsgrades von 27 % aus. Mit Verfügung vom 30 Juli 2004 sprach die IV-Stelle dem Versicherten eine vom 1. April 2002 bis zum 28. Februar 2003 befristete ganze Invalidenrente zu; ab Dezember 2003 betrage sein Invaliditätsgrad noch 26 %, weshalb er - nach einer drei Monate dauernden Übergangsfrist - keinen Anspruch auf eine Rente mehr habe. A._ liess gegen die Befristung seines Leistungsanspruchs Einsprache erheben.
In der Folge liess die IV-Stelle den Versicherten beruflich (Bericht der beruflichen Abklärungsstelle [BEFAS] des Spitals C._ vom 19. Juni 2006) und medizinisch (Expertise der Academy of Swiss Insurance Medicine am Universitätsspital Basel [asim] vom 5. November 2008) abklären. Auf Grund der daraus gewonnenen Erkenntnisse hiess die IV-Stelle die im August 2004 erhobene Einsprache mit Entscheid vom 9. Februar 2009 in dem Sinne teilweise gut, als sie dem Versicherten ab 1. Dezember 2003, bei einem ermittelten Invaliditätsgrad von 56 %, eine halbe Rente zusprach.
A.b. Das Sozialversicherungsgericht des Kantons Basel-Stadt hob in Gutheissung einer dagegen erhobenen Beschwerde den Einspracheentscheid vom 9. Februar 2009 auf und wies die Sache zu weiteren Abklärungen im Sinne der Erwägungen an die IV-Stelle zurück (Entscheid vom 21. Oktober 2009).
A.c. Die IV-Stelle holte bei der asim ein Verlaufsgutachten vom 31. Dezember 2010 ein. Gestützt darauf gewährte sie dem Versicherten mit Verfügung vom 6. Februar 2013 ab 1. April 2002 bis 29. Februar 2004, ab 1. Januar 2007 bis 30. April 2007 und ab 1. Januar 2009 bis 31. Mai 2009 eine ganze Rente bei einem Invaliditätsgrad von 100 %. Für die Zeiträume vom 1. März 2004 bis zum 31. Dezember 2006, vom 1. Mai 2007 bis 31. Dezember 2008 und ab Juni 2009 habe er bei einem Invaliditätsgrad von 59 % Anspruch auf eine halbe Rente.
B.
Das Sozialversicherungsgericht des Kantons Basel-Stadt wies eine dagegen erhobene Beschwerde mit Entscheid vom 27. August 2013 ab.
C.
A._ lässt dagegen Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der vorinstanzliche Entscheid sei aufzuheben und die Sache zur Anordnung weiterer medizinischer Abklärungen und zum Erlass einer neuen Verfügung betreffend den Rentenanspruch für die Zeit vom 1. März 2004 bis 31. Dezember 2006, vom 1. Mai 2007 bis 31. Dezember 2008 und ab 1. Juni 2009 an die Beschwerdegegnerin zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1.
1.1. Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren beanstandeten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law> in Verbindung mit <ref-law>).
1.2. Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat. Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
1.3. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (<ref-ruling> E. 3.1 S. 44). Eine offensichtlich unrichtige Sachverhaltsfeststellung weist damit die Tragweite von Willkür auf (<ref-ruling> E. 8.1 S. 153; Botschaft des Bundesrates vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001 S. 4338; Markus Schott, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 9 f. zu <ref-law>). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2). Eine Sachverhaltsfeststellung ist etwa dann offensichtlich unrichtig, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteile 9C_851/2012 vom 5. März 2013 E. 2.3.2; 8C_5/2010 vom 24. März 2010 E. 1.2).
2.
Streitig und zu prüfen ist der Anspruch auf eine Rente der Invalidenversicherung.
Das kantonale Gericht hat die Bestimmungen und Grundsätze zu den Begriffen Invalidität (<ref-law>, <ref-law>) und Erwerbsunfähigkeit (<ref-law>), zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (<ref-law>), zum Rentenbeginn, zum Untersuchungsgrundsatz sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten (<ref-ruling> E. 4 S. 261; vgl. ferner <ref-ruling> E. 4 S. 99) zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Der Beschwerdeführer lässt in erster Linie vorbringen, die Verwaltung habe die gemäss Rückweisungsentscheid vom 21. Oktober 2009 zu treffenden Massnahmen zur Abklärung des Sachverhaltes nur mangelhaft vollzogen. Indem die Vorinstanz im angefochtenen Entscheid trotzdem auf die inzwischen getroffenen Abklärungen abgestellt habe, habe sie sich widersprüchlich und damit rechtsverletzend verhalten.
3.2. Das kantonale Gericht traf zunächst die - letztinstanzlich verbindliche (E. 1.2 hievor) - Feststellung, auf das polydisziplinäre Gutachten der asim vom 31. Dezember 2012 (recte: 2010) könne abgestellt werden, da dieses die Anforderungen an beweiskräftige medizinische Erhebungen erfülle. Im weiteren führt es aus, die gemäss Entscheid vom 21. Oktober 2009 von den Gutachtern der asim in der Expertise vom 5. November 2008 nicht klar beantwortete Frage nach der Arbeitsfähigkeit des Versicherten sei nunmehr plausibel und nachvollziehbar beantwortet. Demnach sei dieser in einer leidensangepassten Tätigkeit aus körperlicher Sicht zu 40 % eingeschränkt. Dies gelte sowohl für den Zeitpunkt des Verlaufsgutachtens vom 31. Dezember 2010, als für denjenigen der ersten Begutachtung im Sommer 2008. Schliesslich sei der Bericht des behandelnden Dr. med. D._, Spezialarzt FMH für Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen vom 12. März 2013 nicht geeignet, die Aussagekraft des Gutachtens vom 31. Dezember 2010 zu relativieren.
4.
4.1. Die Einwendungen des Beschwerdeführers stellen weitgehend eine im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1.1 hievor) unzulässige Kritik an der vorinstanzlichen Beweiswürdigung dar. Das betrifft insbesondere die Argumentation, die IV-Stelle habe den Sachverhalt ungenügend und insbesondere nicht den Weisungen gemäss Rückweisungsentscheid vom 21. Oktober 2009 entsprechend abgeklärt.
4.1.1. Soweit das kantonale Gericht nunmehr zur Feststellung gelangte, die damals offenen Fragen und Widersprüche seien geklärt, genügt es nicht, dem Bundesgericht die eigene gegenteilige Auffassung zu unterbreiten, ohne sich mit den entsprechenden Ausführungen im angefochtenen Entscheid auseinanderzusetzen. Diesbezüglich bleibt auch festzuhalten, dass sich die IV-Stelle nicht damit begnügte, ein polydisziplinäres Verlaufsgutachten einzuholen. Vielmehr unterbreitete sie dem fallführenden Oberarzt der asim mit Schreiben vom 29. April 2011 und vom 16. Januar 2012 die gemäss erwähntem Entscheid widersprüchlich gebliebenen Fragen. Diese konnten gemäss angefochtenem Entscheid mit den jeweiligen Antworten vom 17. Mai 2011 und vom 15. März 2012 geklärt werden, sodass das kantonale Gericht nunmehr mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit einen Sachverhalt feststellen konnte. Es bestätigte damit, dass die Vorgaben seines Entscheides vom 21. Oktober 2009 befolgt wurden. Folglich wurde die Bindungswirkung jenes Entscheides gewahrt und damit kein Bundesrecht verletzt.
4.1.2. Damit steht fest, dass es dem Beschwerdeführer zumutbar war, zumindest - wie nachfolgend in Erwägung 4.2 aufgezeigt wird - bis zum Zeitpunkt der Begutachtung, in einer körperlich leichten, leidensangepassten, wechselbelastenden Tätigkeit eine Leistung von 60 % zu erbringen.
4.2. Weiter lässt der Versicherte sinngemäss vorbringen, das Verlaufsgutachten der asim umfasse nur seinen Gesundheitszustand bis Ende Dezember 2010, wohingegen die Verfügung vom 6. Februar 2013 datiere.
4.2.1. Gemäss der im Rahmen der Verlaufsbegutachtung vom 31. Dezember 2010 vorgenommenen rheumatologischen Untersuchung vom 28. Oktober 2010 klage der Explorand über chronische Schmerzen im Bereich des linken Kniegelenks. Diese hätten seit der Vorbegutachtung im November 2008 spürbar zugenommen. Im Vordergrund stünden aber die Rückenschmerzen. Diese Beurteilung deckt sich nicht mit dem Bericht vom 12. März 2013 des Dr. med. D._, der von einem Status nach Totalprothese des linken Kniegelenkes am 8. November 2012 berichtet, wobei dieses mit Erguss geschwollen, leicht gerötet und überwärmt sei. Der Versicherte bewege sich links mit einem Entlastungshinken. Zudem bestehe ein neu aufgetretenes vaskuläres und onkologisches Problem.
4.2.2. Das kantonale Gericht hält den Bericht des Dr. med. D._ vom 2. März 2013 nicht für geeignet, die Aussagekraft des Gutachtens vom 31. Dezember 2010 zu schmälern. Die dort angeführten Diagnosen seien den Gutachtern bekannt gewesen und es gäbe keine Anhaltspunkte, dass diese die Arbeitsfähigkeit beeinflussen würden. Zudem seien für die Ermittlung der Invalidität nicht eine Diagnose, sondern einzig die durch das Krankheitsbild hervorgerufene, nicht durch zumutbare Willensanstrengung vermeidbare Einschränkung des Leistungsvermögens relevant.
4.2.3. Diese Beurteilung ist insofern aktenwidrig, als damit die Verschlechterung des Gesundheitszustandes seit der Begutachtung nicht berücksichtigt wird. Naturgemäss wird im Gutachten vom 31. Dezember 2010 die Versorgung des linken Knies mittels Totalprothese (Operation vom 8. November 2012) nicht erwähnt. Dem Bericht des Dr. med. D._ folgend besteht nunmehr auch eine vaskuläre und onkologische Problematik. Das Verlaufsgutachten kann bezüglich dieser Beschwerden im Verfügungszeitpunkt nicht mehr als aktuell und damit verbindlich bezeichnet werden, da seit den Begutachtungsuntersuchungen im Oktober 2010 bis zum Verfügungserlass im Februar 2013 knapp zweieinhalb Jahre verstrichen sind. Indem sich das Gericht auch für den gesundheitlichen Verlauf seit der Begutachtung trotz gegenteiliger Argumentation des Beschwerdeführers und entsprechendem neuen Arztbericht auf eine veraltete Aktenlage stützte, verletzte es seine Untersuchungspflicht und damit Bundesrecht (E. 1.2 und 1.3 hievor). Der Hinweis, mittels zumutbarer Willensanstrengung sei die aus den geltend gemachten Zusatzdiagnosen herrührende Einschränkung des Leistungsvermögens zu überwinden, ist angesichts der rein somatischen Gesundheitsschäden unhaltbar. Dieser Hinweis kann die unterlassene Abklärung des vollständigen und zeitnahen Verlaufs des Gesundheitszustandes jedenfalls weder erklären noch heilen. Mit den vorhandenen medizinischen Akten lassen sich die Diagnosen und die Arbeitsfähigkeit im Zeitpunkt der Rentenverfügung nicht verlässlich beurteilen.
4.3. Der Einkommensvergleich, den die Vorinstanz gestützt auf das Zumutbarkeitsprofil gemäss Gutachten vom 31. Dezember 2010 vorgenommen hat, wird nicht beanstandet und gibt keinen Anlass zu Weiterungen. Das gleiche gilt für die Zeitpunkte und die Dauer der im Verlauf jeweils vorgenommenen Abstufungen des Invaliditätsgrades. Das führt dazu, dass der angefochtene Entscheid und die Verfügung vom 6. Februar 2013 insofern aufgehoben werden, als sie den Zeitraum nach dem als beweistauglich erachteten Gutachten vom 31. Dezember 2010, somit ab 1. Januar 2011 betreffen. Die Sache wird zur Einholung neuer Arztberichte und eines neuen Gutachtens sowie zum neuen Entscheid an die IV-Stelle zurückgewiesen. In diesem Sinne wird die letztinstanzliche Beschwerde teilweise gutgeheissen.
5.
Bei diesem Verfahrensausgang ist die IV-Stelle kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Basel-Stadt vom 27. August 2013 und die Verfügung der IV-Stelle Basel-Stadt vom 6. Februar 2013 werden aufgehoben. Die Sache wird zu neuer Verfügung an die Beschwerdegegnerin zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Basel-Stadt zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. August 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Ursprung
Die Gerichtsschreiberin: Schüpfer