Sachverhalt: A. Der 1972 geborene B._ meldete sich am 16. September 1997 zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons St. Gallen holte unter anderem das Gutachten der Medizinischen Abklärungsstelle (Medas) am Spital X._ vom 8. Juli 1998 ein, welchem ein psychiatrisches Konsilium des Dr. med. S._ beilag. In der Folge sprach sie dem Versicherten berufliche Massnahmen im Sinne einer Umschulung zum Metallbearbeiter zu, welche im Jahre 2002 abgeschlossen werden konnte. Nachdem der behandelnde Psychiater Dr. med. A._ geltend gemacht hatte, B._ sei nur in geschütztem Rahmen arbeitsfähig, ordnete die IV-Stelle eine psychiatrische Begutachtung durch Dr. med. S._ an, welche am 18. September 2002 erfolgte und eine Arbeitsfähigkeit von 80 % attestierte. Da die Arbeitsvermittlung erfolglos blieb und der Hausarzt Dr. med. V._ eine Arbeitsfähigkeit von lediglich 50 % bescheinigte, teilte die IV-Stelle B._ am 2. Juli 2003 mit, es sei eine erneute medizinische Abklärung durch Dr. med. S._ vorgesehen. Der Versicherte gab der IV-Stelle am 9. Juli 2003 bekannt, er wolle nicht mehr von diesem Psychiater abgeklärt werden, weil er schon zweimal bei ihm gewesen sei und ihn dieser nicht korrekt behandelt habe. Die IV-Stelle hielt mit Schreiben vom 22. Juli 2003 an der Begutachtung durch Dr. med. S._ fest. Gleichzeitig wies sie den Versicherten darauf hin, dass er eine einsprachefähige Verfügung verlangen könne, falls er damit nicht einverstanden sei. Am 25. Juli 2003 teilte B._ mit, es fehle ihm am Vertrauen in Dr. med. S._, da dieser als Serbe gegenüber ihm als Moslem nach den kriegerischen Auseinandersetzungen nicht objektiv sei. Er habe das Gefühl, der Gutachter nehme ihn nicht ernst und gehe zu wenig auf ihn ein. Zudem habe er die Berichte des Hausarztes Dr. med. V._ und des Psychiaters Dr. med. A._ in Zweifel gezogen. Daraufhin erliess die IV-Stelle am 29. Juli 2003 eine Verfügung, mit welcher sie an der Begutachtung durch Dr. med. S._ festhielt. Triftige Einwendungen gegen die begutachtende Person oder die begutachtende Stelle und allfällige Gegenvorschläge seien innerhalb von 10 Tagen bei der IV-Stelle schriftlich einzureichen. Gemäss Rechtsmittelbelehrung konnte gegen die Verfügung innert 30 Tagen bei der Sozialversicherungsanstalt St. Gallen Einsprache erhoben werden. Der Rechtsmittelbelehrung entsprechend erhob B._ am 8. August 2003 Einsprache, mit welcher er die Begutachtung durch einen anderen Psychiater verlangte. Die IV-Stelle überwies die Eingabe zuständigkeitshalber dem Versicherungsgericht des Kantons St. Gallen. B. Das Versicherungsgericht des Kantons St. Gallen ist auf die Eingabe vom 8. August 2003 eingetreten und hat die geltend gemachten Befangenheitsgründe materiell geprüft. Mit Entscheid vom 18. November 2003 hat es die Beschwerde gutgeheissen und die Verfügung vom 29. Juli 2003 aufgehoben mit der Begründung, es liege Befangenheit von Dr. med. S._ vor. C. Die IV-Stelle erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur ergänzenden Abklärung an das kantonale Gericht zurückzuweisen. B._ schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.