Sachverhalt: Mit Verfügung vom 10. September 2002 lehnte die IV-Stelle Basel-Stadt das Gesuch des 1955 geborenen E._ vom 26. September 2000 um Ausrichtung einer Invalidenrente ab, weil er gestützt auf ein interdisziplinäres Gutachten des Spitals X._ bei einem Invaliditätsgrad von 30 % trotz gesundheitlicher Einschränkungen zumutbarerweise in der Lage sei, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Die dagegen gerichtete Beschwerde des E._ hiess das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 27. November 2003 gut, hob die Verfügung der IV-Stelle auf und wies die Sache zur Durchführung einer erneuten "interdisziplinären, d.h. psychiatrischen und rheumatologischen Begutachtung mit anschliessender Gesamtbeurteilung" und zur Neuverfügung an die Verwaltung zurück. Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des kantonalen Gerichtsentscheids. Während E._ auf Abweisung der Verwaltungsgerichtsbeschwerde, eventuell auf Rückweisung der Sache "zum materiellen Entscheid über den im Verfahren vor dem kantonalen Versicherungsgericht gestellten Antrag des Versicherten auf Ausrichtung einer ganzen Invalidenrente mit Wirkung ab 1. September 1999" an die Vorinstanz schliesst, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung.