Sachverhalt:
Sachverhalt:
A. D._ (geb. 1960) war von 1981 bis Ende Dezember 1995 als (selbstständiger) Innendekorateur tätig. Am 9. Februar 1996 meldete er sich wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 30. November 2001 sprach ihm die IV-Stelle Basel-Stadt ab 1. September 1996 bei einem Invaliditätsgrad von 50 % eine halbe IV-Rente zu. Die daraufhin eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 23. September 2002 gut und wies die Sache zur Neubeurteilung an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._, Facharzt FMH für Rheumatologie, vom 16. März 2005, für welchen Dr. med. L._, Facharzt FMH für Neurologie, am 8. März 2005 ein neurologisches Teilgutachten erstellt hatte, ermittelte die IV-Stelle einen Invaliditätsgrad von 55 % und hielt mit Verfügung vom 30. Mai 2005 an der halben IV-Rente ab 1. September 1996 fest. Dies bestätigte sie mit Einspracheentscheid vom 12. September 2006.
A. D._ (geb. 1960) war von 1981 bis Ende Dezember 1995 als (selbstständiger) Innendekorateur tätig. Am 9. Februar 1996 meldete er sich wegen Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 30. November 2001 sprach ihm die IV-Stelle Basel-Stadt ab 1. September 1996 bei einem Invaliditätsgrad von 50 % eine halbe IV-Rente zu. Die daraufhin eingereichte Beschwerde hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 23. September 2002 gut und wies die Sache zur Neubeurteilung an die IV-Stelle zurück. Nach Einholen eines rheumatologischen Gutachtens des Dr. med. J._, Facharzt FMH für Rheumatologie, vom 16. März 2005, für welchen Dr. med. L._, Facharzt FMH für Neurologie, am 8. März 2005 ein neurologisches Teilgutachten erstellt hatte, ermittelte die IV-Stelle einen Invaliditätsgrad von 55 % und hielt mit Verfügung vom 30. Mai 2005 an der halben IV-Rente ab 1. September 1996 fest. Dies bestätigte sie mit Einspracheentscheid vom 12. September 2006.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 22. März 2007 ab.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 22. März 2007 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Sache zur weiteren Abklärung und Neubeurteilung an die IV-Stelle zurückzuweisen. Eventuell sei ihm ab 1. September 1996 eine ganze, ab 1. Januar 2004 allenfalls eine Dreiviertelsrente auszurichten.
Die IV-Stelle Basel-Stadt schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. zur auch unter der Herrschaft des BGG gültigen Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung [<ref-law>] für die Ermittlung des Invaliditätsgrades nach <ref-law> <ref-ruling>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (Seiler/Von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N. 24 zu Art. 97).
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. zur auch unter der Herrschaft des BGG gültigen Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung [<ref-law>] für die Ermittlung des Invaliditätsgrades nach <ref-law> <ref-ruling>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (Seiler/Von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N. 24 zu Art. 97).
2. 2.1 Streitig und zu prüfen ist, ob der Beschwerdeführer ab 1. September 1996 zu mindestens 70 % (bis Ende 2003: zu mindestens 66 2/3 %) invalid ist und somit Anspruch auf eine ganze oder allenfalls ab 1. Januar 2004 eine Dreiviertels-Invalidenrente hat (<ref-law> [hier anwendbar sowohl in der bis 31. Dezember 2003 gültig gewesenen wie auch in der seit 1. Januar 2004 geltenden Fassung]). Die für die diesbezügliche Beurteilung massgebenden Rechtsgrundlagen hat das kantonale Gericht richtig wiedergegeben. Darauf wird verwiesen.
2.2 Der Beschwerdeführer macht im Zusammenhang mit der Einholung des rheumatologischen Gutachtens des Dr. med. J._ vom 16. März 2005 eine Verletzung des rechtlichen Gehörs geltend. Dabei ist unbestritten, dass die IV-Stelle die vom Beschwerdeführer formulierten Ergänzungsfragen irrtümlicherweise dem Gutachter nicht weitergeleitet hatte.
2.2.1 Gemäss <ref-law> haben die Parteien Anspruch auf rechtliches Gehör. Das rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung einer Person eingreift. Dazu gehört insbesondere deren Recht, sich vor Erlass des in ihre Rechtsstellung eingreifenden Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2.2, 127 I 56 E. 2b, 127 III 578 E. 2c, 126 V 131 E. 2b; zu Art. 4 Abs. 1 aBV ergangene, weiterhin geltende Rechtsprechung: <ref-ruling> E. 2a/aa, 124 V 181 E. 1a, 375 E. 3b, je mit Hinweisen).
Im Zusammenhang mit Expertengutachten beinhaltet das rechtliche Gehör insbesondere das Recht, Kenntnis vom Inhalt des Gutachtens zu nehmen, und dem Experten ergänzende Fragen zu stellen. Im Bereich der Sozialversicherung leitet sich dieses Recht aus <ref-law> in Verbindung mit den <ref-law> und <ref-law> und direkt aus <ref-law> ab (vgl. Ueli Kieser, ATSG-Kommentar, Zürich 2003, N. 14 zu Art. 42 und N. 2 zu Art. 44; Ulrich Meyer-Blaser, Rechtliche Vorgaben an die medizinische Begutachtung, in: Schaffhauser/Schlauri (Hrsg.), Rechtsfragen der medizinischen Begutachtung in der Sozialversicherung, St. Gallen 1997, S. 40 ff.; Urteil des Eidgenössischen Versicherungsgerichts vom 12. September 2005 in Sachen S., I 435/05). Verwaltung oder Gericht können jedoch von der Beantwortung der Ergänzungsfragen durch den Experten absehen, wenn davon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 2.1, 125 I 135 E. 6c/cc in fine, 430 E. 7b, 124 V 94 E. 4b, 122 II 469 E. 4a, 122 III 223 E. 3c; erwähntes Urteil S. vom 12. September 2005; vgl. auch SVR 1996 UV Nr. 43 S. 133).
2.2.2 Im Anschluss an den Rückweisungsentscheid des kantonalen Gerichts vom 23. September 2002 hat die IV-Stelle nach Rücksprache mit dem Rechtsvertreter des Beschwerdeführers die Gutachterfragen am 19. August 2004 unter anderem wie folgt formuliert:
"1. Es wird ausdrücklich um eine Neubeurteilung der Arbeitsfähigkeit unter Berücksichtigung der belastungsunabhängigen, massiven, plötzlich und unvorgesehen auftretenden Schmerzschübe und des Taubheitsgefühles im rechten Bein, welches belastungsunabhängig immer wieder plötzlich und unvorhergesehen nachgibt (Sturzgefahr), gebeten. Welche Erwerbstätigkeiten waren dem Versicherten in der Zeit von September 1995 bis Juli 2000 zumutbar?
2. Es wird mit Bezug auf das Gutachten vom 10. Juli 2000 und speziell auch für die aktuelle und umfassende Neubeurteilung ausdrücklich um eine ausführliche Begründung gebeten, falls der Grad der Arbeitsfähigkeit anders eingeschätzt wird, als es die Erfahrung im Rahmen der Verwertung der Restarbeitsfähigkeit zeigt."
2.2.3 Nachdem die ursprünglich angefragte Gutachterin im Anschluss an den Entscheid des kantonalen Gerichts vom 6. April 2004, mit welchem dieses eine Beschwerde gegen die Begutachterstelle wegen Befangenheit als unbegründet abgelehnt hatte, die anderweitige Begutachtung empfohlen hatte, versäumte es die IV-Stelle unbestrittenermassen, die Fragen gemäss Katalog vom 19. August 2004 an den neu mit der Erstellung des Gutachtens beauftragten Dr. med. J._ weiterzuleiten. Der Beschwerdeführer erblickt darin eine Verletzung seines Anspruchs auf rechtliches Gehör sowie einen Verstoss gegen das Vertrauensprinzip und den Grundsatz von Treu und Glauben. Er habe darauf vertrauen dürfen, dass die von der IV-Stelle nach seiner gültigen Mitwirkung verbindlich fixierten Fragen dem Gutachter auch tatsächlich unterbreitet würden. Die Beantwortung dieser Fragen durch den Gutachter stellten deshalb die Grundvoraussetzung für die Beweisverwertung des Gutachtens dar. Die vorinstanzliche Feststellung, die am 19. August 2004 bereinigten Fragen seien im Gutachten beantwortet, obwohl sie dem Gutachter nicht vorgelegen hätten, sei offensichtlich falsch.
2.2.4 Das kantonale Gericht stellte im angefochtenen Entscheid fest, die geklagten Beschwerden seien von den Experten aufgenommen und in der Beurteilung des Gesundheitszustandes berücksichtigt worden. Auf die vom Beschwerdeführer speziell erwähnten plötzlichen Schmerzschübe, das Giving way des rechten Beines sowie die Parästhesien nehme Dr. med. J._ sowohl im Gutachten als auch in den daran anschliessenden Antworten zu den speziellen Fragen der IV-Stelle ausdrücklich Bezug. Hinsichtlich der Fragen vom 19. August 2004 würden sie durch das Gutachten allgemein und den unter VIII. aufgelisteten "speziellen Fragen" beantwortet. Zusammenfassend könne festgehalten werden, dass das Gutachten des Dr. med. J._ einschliesslich des Teilgutachtens von Dr. med. L._ in Kenntnis der Vorakten, nach der Vornahme von Untersuchungen vom 2. und 28. Februar sowie 4. März 2005, in umfassender und schlüssiger Darlegung der medizinischen Situation sowie in Erfüllung der weiteren Anforderungen an ein medizinisches Gutachten erstellt worden sei.
2.2.5 Die Feststellung des kantonalen Gerichts, der Experte habe in seinem Gutachten die Fragen gemäss Katalog vom 19. August 2004 implizit beantwortet, ist nicht offensichtlich unrichtig. Der Beschwerdeführer war bereits früher durch Dr. med. J._ untersucht worden. Im Zusammenhang mit dem neuen Gutachterauftrag hatte Dr. med. J._ sämtliche Vorakten zur Verfügung, insbesondere auch den Rückweisungsentscheid des kantonalen Gerichts vom 23. September 2002. Er sowie der beigezogene Neurologe Dr. med. L._ untersuchten den Beschwerdeführer an drei Terminen. Namentlich geht Dr. med. J._ auf die vom Beschwerdeführer geklagten plötzlichen Schmerzschübe, das Giving way des rechten Beines und die Parästhesien ein. Sein Gutachten beantwortet damit implizit die ihm nicht weitergeleiteten Fragen vom 19. August 2004. Unter diesen Umständen ist weder das rechtliche Gehör des Beschwerdeführers noch der Grundsatz von Treu und Glauben verletzt. Im Sinne einer antizipierten Beweiswürdigung müsste auch davon ausgegangen werden, dass bei nachträglicher Unterbreitung der Fragen die Einschätzung der Arbeitsfähigkeit nicht anders ausfallen würde.
2.3 Streitig ist auch die Ermittlung des Invaliditätsgrades.
2.3.1 Auf der nichtmedizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (<ref-ruling> E. 3.4, 128 V 30 E. 1, 104 V 136 E. 2a und b), einschliesslich derjenigen über die Anwendung der Schweizerischen Lohnstrukturerhebung (LSE; <ref-ruling> E. 4.2.1, 126 V 77 E. 3b/bb, 124 V 322 E. 3b/aa) und der Dokumentation von Arbeitsplätzen (DAP; <ref-ruling> ff.). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Frage, ob Tabellenlöhne anwendbar sind, welches die massgebliche Tabelle ist und ob ein (behinderungsbedingt oder anderweitig begründeter) Leidensabzug vorzunehmen sei. Demgegenüber beschlägt der Umgang mit den Zahlen der massgeblichen LSE-Tabelle und in den Arbeitsplatznachweisen der DAP Tatfragen (<ref-ruling> E. 3.3).
2.3.2 Das kantonale Gericht hat zu Recht die Invalidität nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>, <ref-law>) ermittelt, für die Festsetzung des Invalideneinkommens auf die Tabellenlöhne abgestellt und das Invalideneinkommen nach Vornahme eines Abzugs von 10% auf Fr. 25'987.- festgesetzt. Hinsichtlich des Validenlohns hat das kantonale Gericht festgestellt, der Beschwerdeführer habe als (selbstständiger) Innendekorateur von 1981 bis 1995 ein durchschnittliches Jahreseinkommen von Fr. 29'100.- gemäss den Auszügen aus den Individuellen Konten erzielt. Dieses Einkommen widerspiegle die tatsächlichen Verhältnisse des Beschwerdeführers. Es sei in Jahren verdient worden, in denen die Arbeitskraft des Beschwerdeführers nicht durch körperliche Leiden beeinträchtigt gewesen sei. Es sei davon auszugehen, dass er ohne gesundheitliche Probleme dauernd als selbstständiger Innendekorateur sein Auskommen verdient und sich der Verdienst im Rahmen des Dargelegten bewegt hätte. Wenn die IV-Stelle zur Angleichung des unterdurchschnittlichen Valideneinkommens für den Validenlohn Anforderungsniveau 4 der Tabellenlöhne LSE herangezogen habe, so werde analog zur Parallelisierung (Hinweis auf <ref-ruling>, 225) dem Umstand des unterdurchschnittlich tiefen Verdienstes als gesunde Person Rechnung getragen und das Valideneinkommen auf den Wert des Invalidenlohnes bei einer Vollzeittätigkeit erhöht. Das Abstützen auf das Anforderungsniveau 4 sei deshalb nicht zu beanstanden und das Valideneinkommen von Fr. 57'749.- zu bestätigen.
Diese tatsächlichen Feststellungen sind nicht offensichtlich unrichtig und die rechtlichen Schlussfolgerungen nicht bundesrechtswidrig. Entgegen der Auffassung des Beschwerdeführers ist nicht vom Anforderungsniveau 3 auszugehen: Wenn zu Gunsten des Versicherten beim Valideneinkommen von einem höheren als dem effektiven Einkommen ausgegangen wird, so dient dies dazu, auf beiden Seiten des Einkommensvergleichs die gleichen Gesichtspunkte zu berücksichtigen (<ref-ruling> E. 4.4 S. 225; ZAK 1989 S. 456 E. 3b). Wird beim Invalideneinkommen auf das Niveau 4 abgestellt, so muss dies grundsätzlich auch für das Valideneinkommen gelten. Allein der Umstand, dass der Beschwerdeführer über einen längeren Zeitraum selbstständig erwerbstätig gewesen ist, rechtfertigt das Anforderungsniveau 3 nicht.
2.3.3 Streitig ist schliesslich noch die vom kantonalen Gericht bestätigte Höhe des Abzuges von 10 % von den Tabellenlöhnen (vgl. dazu <ref-ruling>).
2.3.3.1 Die Festlegung der Höhe des Leidensabzugs beschlägt eine typische Ermessensfrage und ist im Lichte der Kognitionsbefugnis (Art. 95 und <ref-law>) letztinstanzlicher Korrektur nur dort zugänglich, wo das kantonale Gericht das Rechtsermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung begangen hat (<ref-ruling> E. 2.2 und S. 399 3.3). Ermessensmissbrauch im besonderen ist gegeben, wenn die Behörde zwar im Rahmen des ihr eingeräumten Ermessens bleibt, sich aber von unsachlichen, dem Zweck der massgebenden Vorschriften fremden Erwägungen leiten lässt oder allgemeine Rechtsprinzipien, wie das Verbot von Willkür und von rechtsungleicher Behandlung, das Gebot von Treu und Glauben sowie den Grundsatz der Verhältnismässigkeit, verletzt (<ref-ruling> E. 1.2 und 123 V 152 E. 2, je mit Hinweisen).
2.3.3.2 In der Festlegung des Abzugs von 10 % ist keine solche Fehlerhaftigkeit zu erblicken, weshalb der angefochtene Entscheid auch in diesem Punkt bundesrechtskonform ist. Mit dem Abzug von 10 % wird dem Umstand Rechnung getragen, dass der Beschwerdeführer nur noch adaptierte Arbeiten ausüben kann. Entgegen seiner Auffassung rechtfertigt der Umstand der Teilzeittätigkeit keinen zusätzlichen Abzug (vgl. auch Urteil A. vom 13. August 2003, U 46/03).
2.4 Bei Gegenüberstellung der beiden Einkommen (Fr. 57'749.- und Fr. 25'987.-) resultiert ein Invaliditätsgrad von unter 60%. Damit besteht kein Anspruch auf eine ganze oder auf eine Dreiviertelsrente.
2.4 Bei Gegenüberstellung der beiden Einkommen (Fr. 57'749.- und Fr. 25'987.-) resultiert ein Invaliditätsgrad von unter 60%. Damit besteht kein Anspruch auf eine ganze oder auf eine Dreiviertelsrente.
3. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Ausgleichskasse Basel-Stadt und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 5. September 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber: