Sachverhalt:
Sachverhalt:
A. Mit Urteil vom 28. Juni 2002, I 495/01, hob das Eidgenössische Versicherungsgericht in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des 1966 geborenen D._ den Entscheid der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel (heute: Sozialversicherungsgericht Basel-Stadt), vom 6. April 2001 auf, weil die im Rahmen des Verwaltungsverfahrens eingeholten und die im Verlauf des vorinstanzlichen Prozesses eingereichten medizinischen Gutachten einander in den Schlussfolgerungen widersprachen. Es wies die Sache an das Sozialversicherungsgericht Basel-Stadt zurück, damit es ein Obergutachten veranlasse. Dieses sollte sich mit den Widersprüchen zwischen den verfügbaren Berichten befassen und dazu Stellung nehmen, inwiefern sich ein beim Versicherten vorliegender psychischer Gesundheitsschaden mit Krankheitswert auf dessen Arbeitsfähigkeit auswirkte. Dabei waren auch die möglichen Ursachen eines psychischen Gesundheitsschadens näher zu beleuchten. Hernach hatte das Gericht über die Beschwerde gegen die den Rentenanspruch ablehnende Verfügung der IV-Stelle Basel-Stadt vom 15. November 1999 neu zu entscheiden.
A. Mit Urteil vom 28. Juni 2002, I 495/01, hob das Eidgenössische Versicherungsgericht in teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des 1966 geborenen D._ den Entscheid der Kantonalen Rekurskommission für die Ausgleichskassen und die IV-Stellen, Basel (heute: Sozialversicherungsgericht Basel-Stadt), vom 6. April 2001 auf, weil die im Rahmen des Verwaltungsverfahrens eingeholten und die im Verlauf des vorinstanzlichen Prozesses eingereichten medizinischen Gutachten einander in den Schlussfolgerungen widersprachen. Es wies die Sache an das Sozialversicherungsgericht Basel-Stadt zurück, damit es ein Obergutachten veranlasse. Dieses sollte sich mit den Widersprüchen zwischen den verfügbaren Berichten befassen und dazu Stellung nehmen, inwiefern sich ein beim Versicherten vorliegender psychischer Gesundheitsschaden mit Krankheitswert auf dessen Arbeitsfähigkeit auswirkte. Dabei waren auch die möglichen Ursachen eines psychischen Gesundheitsschadens näher zu beleuchten. Hernach hatte das Gericht über die Beschwerde gegen die den Rentenanspruch ablehnende Verfügung der IV-Stelle Basel-Stadt vom 15. November 1999 neu zu entscheiden.
B. Nach Wiederaufnahme des Verfahrens bestimmte das kantonale Sozialversicherungsgericht Dr. med. X._, Facharzt FMH für Psychiatrie und Psychotherapie, zum Obergutachter (Verfügung vom 27. September 2002). Dieser reichte seine Expertise am 17. Dezember 2002 ein. Er attestierte dem Versicherten eine Leistungseinschränkung von nicht mehr als 30 %. Am 10. September 2003 wies das Sozialversicherungsgericht die Beschwerde gegen die Verfügung der IV-Stelle vom 15. November 1999 ab, wobei es einen Invaliditätsgrad von 30 % festlegte.
B. Nach Wiederaufnahme des Verfahrens bestimmte das kantonale Sozialversicherungsgericht Dr. med. X._, Facharzt FMH für Psychiatrie und Psychotherapie, zum Obergutachter (Verfügung vom 27. September 2002). Dieser reichte seine Expertise am 17. Dezember 2002 ein. Er attestierte dem Versicherten eine Leistungseinschränkung von nicht mehr als 30 %. Am 10. September 2003 wies das Sozialversicherungsgericht die Beschwerde gegen die Verfügung der IV-Stelle vom 15. November 1999 ab, wobei es einen Invaliditätsgrad von 30 % festlegte.
C. Mit Verwaltungsgerichtsbeschwerde lässt der Versicherte beantragen, der vorinstanzliche Entscheid und die Verfügung der IV-Stelle seien aufzuheben und es sei ihm eine halbe Invalidenrente zuzusprechen; eventualiter sei die Sache zur Zusprechung einer halben Invalidenrente und subeventualiter zur Prüfung des Härtefalls an die Vorinstanz zurückzuweisen.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Invalidenversicherungsbereich geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung (hier: 15. November 1999) eingetretenen Sachverhalt abstellt (<ref-ruling> Erw. 1b), sind die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2).
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Invalidenversicherungsbereich geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 1), und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung (hier: 15. November 1999) eingetretenen Sachverhalt abstellt (<ref-ruling> Erw. 1b), sind die bis zum 31. Dezember 2002 geltenden Bestimmungen anwendbar (<ref-ruling> Erw. 1.2).
2. Der Obergutachter Dr. med. X._ kam am 17. Dezember 2002 zum Schluss, gesamthaft hätten die Beschwerden des Versicherten aus psychiatrischer Sicht sicher einen gewissen Krankheitswert. Das Ausmass der psychischen Störungen könne aber höchstens als leicht bezeichnet werden. Es sei eine leichte depressive Symptomatik im Rahmen einer Anpassungsstörung vorhanden. Diese bewirke, dass der Versicherte emotional weniger stark belastbar sei. Auf Grund der somatoformen Schmerzstörung könne ihm nicht mehr zugemutet werden, einer körperlichen Schwerarbeit nachzugehen, da er sonst die Körperschmerzen unverhältnismässig stark provoziere, was die Leistungsfähigkeit zusätzlich einschränke. Es sei ihm aber jede leichte bis mittelschwere Tätigkeit zumutbar. Bedingt durch die Anpassungsstörung und die dadurch verminderte Belastbarkeit dürfte er bei einer ganztägigen Arbeit etwas verlangsamt sein, was gesamthaft sicher nicht mehr als eine 30-prozentige Leistungseinschränkung rechtfertige. Diese Herabsetzung der Arbeitsfähigkeit bestehe seit Juni 1998.
2. Der Obergutachter Dr. med. X._ kam am 17. Dezember 2002 zum Schluss, gesamthaft hätten die Beschwerden des Versicherten aus psychiatrischer Sicht sicher einen gewissen Krankheitswert. Das Ausmass der psychischen Störungen könne aber höchstens als leicht bezeichnet werden. Es sei eine leichte depressive Symptomatik im Rahmen einer Anpassungsstörung vorhanden. Diese bewirke, dass der Versicherte emotional weniger stark belastbar sei. Auf Grund der somatoformen Schmerzstörung könne ihm nicht mehr zugemutet werden, einer körperlichen Schwerarbeit nachzugehen, da er sonst die Körperschmerzen unverhältnismässig stark provoziere, was die Leistungsfähigkeit zusätzlich einschränke. Es sei ihm aber jede leichte bis mittelschwere Tätigkeit zumutbar. Bedingt durch die Anpassungsstörung und die dadurch verminderte Belastbarkeit dürfte er bei einer ganztägigen Arbeit etwas verlangsamt sein, was gesamthaft sicher nicht mehr als eine 30-prozentige Leistungseinschränkung rechtfertige. Diese Herabsetzung der Arbeitsfähigkeit bestehe seit Juni 1998.
3. 3.1 Die ärztlichen Stellungnahmen zur Arbeits(un)fähigkeit und die Darlegungen zu den einer versicherten Person aus medizinischer Sicht noch zumutbaren Arbeitsfähigkeit weisen, von der Natur der Sache her, Ermessenszüge auf. Für - oft depressiv überlagerte - Schmerzverarbeitungsstörungen gilt dies in besonderem Masse. Dem begutachtenden Psychiater obliegt hier die Aufgabe, durch die ihm zur Verfügung stehenden diagnostischen Möglichkeiten fachkundiger Exploration der Verwaltung (und im Streitfall dem Gericht) aufzuzeigen, ob und inwiefern eine versicherte Person über psychische Ressourcen verfügt, die es ihr erlauben, mit ihren Schmerzen umzugehen. Massgebend ist, ob die betroffene Person, von ihrer psychischen Verfasstheit her besehen, an sich die Möglichkeit hat, trotz ihrer subjektiv erlebten Schmerzen einer Arbeit nachzugehen (Urteile vom 11. November 2002 [I 368/01] Erw. 2.3, Y. vom 5. Juni 2001 [I 266/00] Erw. 1c, S. vom 2. März 2001 [I 650/99] Erw. 2c, B. vom 8. Februar 2001 [I 529/00] Erw. 3c und A. vom 19. Oktober 2000 [I 410/00] Erw. 2b). Die zumutbarerweise verwertbare Arbeitsfähigkeit ist dabei nach einem weitgehend objektivierten Massstab zu beurteilen (vgl. <ref-ruling> Erw. 4c mit Hinweisen; AHI 2001 S. 228 Erw. 2b). Nicht zu berücksichtigen sind Einschränkungen der Leistungsfähigkeit, die nach ärztlicher Einschätzung allein durch Aggravation von psychischen oder körperlichen Beschwerden verursacht sind, da aggravierendes Verhalten als solches als nicht krankheitswertig und damit invaliditätsfremder Faktor gilt (SVR 2003 IV Nr. 1 S. 1).
3.2 Wie die Vorinstanz zu Recht erwägt, erfüllt das Gutachten vom 17. Dezember 2002 die von der Rechtsprechung bezüglich des Beweiswertes ärztlicher Berichte aufgestellten Kriterien (<ref-ruling> Erw. 3a). Dies wird auch in der Verwaltungsgerichtsbeschwerde anerkannt.
3.3 Nach der Beurteilung durch Dr. med. X._ ist dem Beschwerdeführer durch die somatoforme Schmerzstörung eine körperliche Schwerarbeit nicht mehr zumutbar, hingegen theoretisch jede leichte bis mittelschwere Tätigkeit. Die Vorinstanz interpretiert in diesem Punkt das Gutachten richtig. Dagegen ist der in der Verwaltungsgerichtsbeschwerde gezogene Schluss nicht korrekt, dem Beschwerdeführer sei nach der Expertise nur noch eine leichte Tätigkeit zumutbar. Wie die Vorinstanz in diesem Punkt ebenfalls genauer als der Beschwerdeführer angibt, veranschlagte der Gutachter die Arbeitsfähigkeit auf mindestens 70 %, und nicht auf genau 70 %, wie der Beschwerdeführer vorgibt. Es ist damit davon auszugehen, dass die Arbeitsunfähigkeit höchstens 30 % in einer leichten bis mittelschweren Tätigkeit beträgt, und nicht (mindestens) 30 % in einer bloss leichten Beschäftigung.
3.4 Die unterschiedliche Interpretation und Gewichtung der gutachterlichen Aussagen ist deshalb von Relevanz, weil die Vorinstanz dem Beschwerdeführer keinen zusätzlichen leidensbedingten Abzug auf dem auf der Basis einer 30-prozentigen Arbeitsunfähigkeit festgelegten statistischen Lohn zugesteht. Dies, weil sie die vom Experten attestierte 30-prozentige Einschränkung angesichts der Ausführungen im Obergutachten als grosszügig bemessen erachtet. Sie beruft sich zudem auf die höchstrichterliche Rechtsprechung, wonach ein leidensbedingter Abzug vom Tabellenlohn im Sinne von <ref-ruling> praxisgemäss dann Platz greift, wenn der Versicherte selbst bei leichteren Tätigkeiten erheblich beeinträchtigt ist und somit im Vergleich mit einem voll einsatzfähigen Teilzeitbeschäftigten mit geringeren Einkünften rechnen muss (Urteil M. vom 7. Juli 2003 [I 627/02], Erw. 2.1.2 in fine).
3.5 Der Beschwerdeführer rügt die Verweigerung des leidensbedingten Abzuges als bundesrechtswidrig. Er beantragt, auf dem um 30 % reduzierten statistischen Lohn zusätzlich mindestens den nach der Rechtsprechung maximal zulässigen Abzug von 25 % vorzunehmen. Die dazu vorgebrachten Gründe sind jedoch nicht stichhaltig. Der Entscheid, ob bei der Festsetzung des Invalideneinkommens ein leidensbedingter Abzug zu gewähren ist, obliegt der Verwaltung und (im Streitfall) dem Gericht. Vorliegend hat der Gutachter aber bei der Einschätzung der Arbeitsfähigkeit bereits mitberücksichtigt, dass der Beschwerdeführer bei der ihm zumutbaren leichten bis mittelschweren Vollzeittätigkeit etwas verlangsamt sein dürfte. Auf Grund dieser verminderten Leistungsfähigkeit hat er den Grad der Arbeitsfähigkeit auf mindestens 70 % festgesetzt und dadurch bereits einbezogen, dass durch das leidensbedingt eingeschränkte Rendement der in einer 100-Prozent-Stelle erzielbare Lohn tiefer ausfällt. Ein zusätzlicher Abzug aus dem selben Grund rechtfertigt sich nicht.
3.6 Die übrigen nach <ref-ruling> möglichen Gründe für einen Abzug vom statistischen Lohn (Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) sind vorliegend nicht gegeben. Da dem Beschwerdeführer nach dem Obergutachter eine leichte oder mittelschwere Tätigkeit in einer Vollzeitstelle zumutbar ist, rechtfertigt sich insbesondere kein Abzug wegen Teilzeitbeschäftigung. Die in der Verwaltungsgerichtsbeschwerde gemachten Vorbringen über die Schwierigkeiten psychisch kranker Personen bei der Suche nach einem angemessen entlöhnten Arbeitsplatz sind nicht zu erörtern, weil der Beschwerdeführer nach der überzeugenden Expertise von Dr. med. X._ ganz offensichtlich nicht diesem Patientenkreis angehört, wenn der Arzt das Ausmass der psychischen Störungen als höchstens leicht bezeichnet.
3.7 Dass das Sozialversicherungsgericht den von der Rekurskommission gewährten leidensbedingten Abzug von 15 % nicht bestätigt hat, ist nach dem Erörterten ebenfalls korrekt. Der durch das Eidgenössische Versicherungsgericht aufgehobene Entscheid der Rekurskommission bindet das Sozialversicherungsgericht nicht. Das Eidgenössische Versicherungsgericht hat im Rückweisungsentscheid auch keine in diesem Zusammenhang das Sozialversicherungsgericht verpflichtenden Feststellungen getroffen. Dieses war frei, den Einkommensvergleich von Grund auf neu vorzunehmen, und zwar umso mehr, als nun im Gegensatz zum Stadium des früheren Verfahrens die medizinische Sachverhaltsbasis geklärt ist. Im Übrigen weicht das Sozialversicherungsgericht auch in einem weiteren Punkt von der Berechnung der Rekurskommission ab, wenn es den für das Jahr 1998 ermittelten effektiven Validenlohn um rund Fr. 12'500.- auf den statistischen Durchschnittswert anhebt, was sich im Einkommensvergleich erheblich zu Gunsten des Beschwerdeführers auswirkt. Andernfalls würde der korrekt auf 30 % festgesetzte Invaliditätsgrad bei weitem nicht erreicht.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt, der Ausgleichskasse Basel-Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 19. März 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: