Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 18. März 2003 sprach die IV-Stelle Basel-Stadt nach Einholung mehrerer Arztberichte und eines psychiatrischen Gutachtens des Dr. med. S._, Spezialarzt FMH für Psychiatrie und Psychotherapie für Erwachsene (vom 29. November 2002) dem 1962 geborenen O._ ab 1. September 2001 eine halbe Rente der Invalidenversicherung basierend auf einem Invaliditätsgrad von 55 % zu. Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 30. Oktober 2003).
A. Mit Verfügung vom 18. März 2003 sprach die IV-Stelle Basel-Stadt nach Einholung mehrerer Arztberichte und eines psychiatrischen Gutachtens des Dr. med. S._, Spezialarzt FMH für Psychiatrie und Psychotherapie für Erwachsene (vom 29. November 2002) dem 1962 geborenen O._ ab 1. September 2001 eine halbe Rente der Invalidenversicherung basierend auf einem Invaliditätsgrad von 55 % zu. Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 30. Oktober 2003).
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 10. Mai 2004 ab.
B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 10. Mai 2004 ab.
C. O._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Rechtsbegehren, unter Aufhebung des kantonalen Gerichtsentscheides sei der Invaliditätsgrad nach Beizug eines zweiten Gutachtens neu zu beurteilen
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Das kantonale Gericht hat die gesetzlichen Bestimmungen und Grundsätze über die Begriffe der Erwerbsunfähigkeit und Invalidität (Art. 7 und 8 ATSG in Verbindung mit <ref-law>) sowie über die Ermittlung des Invaliditätsgrades (<ref-law>), den Anspruch auf eine Invalidenrente (Art. 28 Abs.1 und 1bis IVG in der bis Ende 2003 gültig gewesenen Fassung) und den Beginn des Rentenanspruchs (<ref-law>) zutreffend dargelegt. Gleiches gilt für die Hinweise zur Aufgabe des Arztes und der Ärztin bei der Invaliditätsbemessung und zur Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsschätzung (vgl. auch <ref-ruling> Erw. 4 mit Hinweisen; AHI 2002 S. 70 Erw. 4b/cc) sowie zum Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 2a mit Hinweis; vgl. ferner AHI 2001 S. 113 f. Erw. 3a). Darauf wird verwiesen. Richtig ist auch, dass die am 1. Januar 2004 in Kraft getretenen Änderungen des IVG (4. IVG-Revision, AS 2003 3837) keine Anwendung finden, da nach dem massgebenden Zeitpunkt des Erlasses des streitigen Einspracheentscheides (hier: vom 30. Oktober 2003) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1.2 mit Hinweis).
1.2 Zu präzisieren ist, dass das am 1. Januar 2003 in Kraft getretene ATSG hinsichtlich der IV-rechtlichen Invaliditätsbemessung keine substantiellen Änderungen gegenüber der bis zum 31. Dezember 2002 gültig gewesenen Normenlage brachte (<ref-ruling>), was zur Folge hat, dass die zur altrechtlichen Regelung ergangene Judikatur grundsätzlich weiterhin anwendbar ist.
1.2 Zu präzisieren ist, dass das am 1. Januar 2003 in Kraft getretene ATSG hinsichtlich der IV-rechtlichen Invaliditätsbemessung keine substantiellen Änderungen gegenüber der bis zum 31. Dezember 2002 gültig gewesenen Normenlage brachte (<ref-ruling>), was zur Folge hat, dass die zur altrechtlichen Regelung ergangene Judikatur grundsätzlich weiterhin anwendbar ist.
2. 2.1 Die Vorinstanz hat in überzeugender Würdigung der medizinischen Aktenlage zu Recht erwogen, dass dem Beschwerdeführer aufgrund seiner gesundheitlichen Beeinträchtigung (Reizdarmsyndrom mit Obstipation, chronische HWS- und LWS-Beschwerden sowie mittelgradige depressive Episode mit Verdacht auf Anpassungsstörung) eine Hilfsarbeitertätigkeit unter Ausschluss von rückenbelastenden Arbeiten zu 50 % zumutbar ist. Sie stützte sich dabei in Bezug auf die somatischen Beschwerden auf den Bericht des Dr. med. D._, Facharzt für Innere Medizin, spez. Arbeitsmedizin FMH, (vom 8. August 2001), welcher dem Beschwerdeführer aus internistischer Sicht eine vollständige Arbeitsfähigkeit mit einer allfälligen Einschränkung gegenüber rückenbelastenden Tätigkeiten attestierte und eine weitere psychiatrische Evaluation empfahl. Dieser Bericht basiert hinsichtlich der geklagten dauernden Bauchschmerzen und der chronischen Obstipation auf verschiedenen spezialärztlichen, insbesondere gastroenterologischen Untersuchungen, welche nirgends ein Korrelat zu den vom Versicherten beschriebenen Symptomen finden liessen. Die beschwerdeweise erneut vorgetragenen erheblichen Schwierigkeiten bei der Darmentleerung wurden dabei berücksichtigt. Mit der Vorinstanz besteht kein Grund, nicht auf diese medizinische Beurteilung abzustellen. Dafür, dass das Leiden, wie der Beschwerdeführer nun erstmals anführt, wahrscheinlich "von seinem schweren Unfall vom Juli 1992" herrührt, ergibt sich aus den Akten kein Anhaltspunkt. Ein entsprechender Autounfall wurde in einigen ärztlichen Berichten - die Anamnese war offenbar schwierig zu erheben - zwar erwähnt, blieb jedoch ohne Einfluss auf die Beurteilung des Gesundheitszustandes. Mithin besteht kein Anlass, die diesbezüglichen SUVA-Akten nachträglich einzuholen. In psychischer Hinsicht ging das kantonale Gericht gestützt auf das Gutachten des Psychiaters Dr. med. Simon (vom 29. November 2002) von einer verbleibenden Arbeitsfähigkeit von 50 % aus und verneinte die geltend gemachte 100 %ige Einschränkung. Die in dieser Expertise enthaltenen Feststellungen beruhen auf zusätzlichen eigenen Abklärungen und sind in Kenntnis der wesentlichen medizinischen Vorakten sowie unter Berücksichtigung der geklagten Beschwerden getroffen worden. Die vom Experten gezogenen Schlussfolgerungen zu Gesundheitszustand und Arbeitsfähigkeit werden nachvollziehbar begründet. Dem kantonalen Gericht ist darin beizupflichten, dass dieses Gutachten alle rechtsprechungsgemässen Kriterien (<ref-ruling> Erw. 3 mit Hinweisen) für eine beweiskräftige ärztliche Entscheidungsgrundlage erfüllt und ihm somit voller Beweiswert zukommt. Mit der Vorinstanz führt auch der Bericht des Psychiaters Dr. med. T._, Spezialarzt FMH für Psychiatrie und Psychotherapie, (vom 5. Juli 2001) nicht zu einer abweichenden Beurteilung. Zwar hat er den Versicherten darin tatsächlich vom 30. September 1999 bis heute zu 100 % arbeitsunfähig geschrieben, hält aber ergänzend fest, dass die diesbezügliche Prognose unsicher sei und empfiehlt eine unabhängige Begutachtung zur Arbeitsfähigkeit. Diese wurde in der Folge durch Dr. med. S._ am 29. November 2002 erstellt. Vor diesem Hintergrund sind von ergänzenden medizinischen Abklärungen keine neuen Erkenntnisse zu erwarten, weshalb auf die beantragte Einholung eines Zweitgutachtens verzichtet wird (antizipierte Beweiswürdigung; <ref-ruling> Erw. 4b; SVR 2001 IV Nr. 10 S. 28 Erw. 4b). Einer allfälligen erheblichen Verschlechterung des Gesundheitszustandes seit dem massgebenden Zeitpunkt des Einspracheentscheides (<ref-ruling> Erw. 1b) wäre im Rahmen eines Revisionsverfahrens Rechnung zu tragen.
2.2 Sämtliche weitern Einwände in der Verwaltungsgerichtsbeschwerde, soweit nicht bereits im vorinstanzlichen Verfahren entkräftet, vermögen nicht zu einem abweichenden Ergebnis zu führen. Insbesondere ist aufgrund der Aktenlage nicht ersichtlich, inwiefern im kantonalen Beschwerdeverfahren Ungereimtheiten von Seiten Dr. med. S._, Dr. med. D._ und der IV-Stelle Basel-Stadt vorliegen, welche zu einer Neubeurteilung führen sollten, wie geltend gemacht wird.
2.3 Nicht zu beanstanden ist schliesslich der von der Vorinstanz durchgeführte Einkommensvergleich, woraus ein Invaliditätsgrad von 55 % resultiert und mithin ein Anspruch auf eine halbe Invalidenrente besteht. Der Beschwerdeführer bringt nichts dagegen vor, noch finden sich entsprechende Hinweise in den Akten, die zu einer abweichenden Beurteilung führen könnten, womit sich weitere Ausführungen erübrigen.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 25. November 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin: