Sachverhalt: Sachverhalt: A. Mit Verfügung vom 18. März 2003 sprach die IV-Stelle Basel-Stadt nach Einholung mehrerer Arztberichte und eines psychiatrischen Gutachtens des Dr. med. S._, Spezialarzt FMH für Psychiatrie und Psychotherapie für Erwachsene (vom 29. November 2002) dem 1962 geborenen O._ ab 1. September 2001 eine halbe Rente der Invalidenversicherung basierend auf einem Invaliditätsgrad von 55 % zu. Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 30. Oktober 2003). A. Mit Verfügung vom 18. März 2003 sprach die IV-Stelle Basel-Stadt nach Einholung mehrerer Arztberichte und eines psychiatrischen Gutachtens des Dr. med. S._, Spezialarzt FMH für Psychiatrie und Psychotherapie für Erwachsene (vom 29. November 2002) dem 1962 geborenen O._ ab 1. September 2001 eine halbe Rente der Invalidenversicherung basierend auf einem Invaliditätsgrad von 55 % zu. Auf Einsprache hin hielt sie an ihrem Standpunkt fest (Einspracheentscheid vom 30. Oktober 2003). B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 10. Mai 2004 ab. B. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 10. Mai 2004 ab. C. O._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Rechtsbegehren, unter Aufhebung des kantonalen Gerichtsentscheides sei der Invaliditätsgrad nach Beizug eines zweiten Gutachtens neu zu beurteilen Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.