Sachverhalt:
A. Der 1972 geborene B._ meldete sich am 16. September 1997 zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons St. Gallen holte unter anderem das Gutachten der Medizinischen Abklärungsstelle (Medas) am Spital X._ vom 8. Juli 1998 ein, welchem ein psychiatrisches Konsilium des Dr. med. S._ beilag. In der Folge sprach sie dem Versicherten berufliche Massnahmen im Sinne einer Umschulung zum Metallbearbeiter zu, welche im Jahre 2002 abgeschlossen werden konnte. Nachdem der behandelnde Psychiater Dr. med. A._ geltend gemacht hatte, B._ sei nur in geschütztem Rahmen arbeitsfähig, ordnete die IV-Stelle eine psychiatrische Begutachtung durch Dr. med. S._ an, welche am 18. September 2002 erfolgte und eine Arbeitsfähigkeit von 80 % attestierte. Da die Arbeitsvermittlung erfolglos blieb und der Hausarzt Dr. med. V._ eine Arbeitsfähigkeit von lediglich 50 % bescheinigte, teilte die IV-Stelle B._ am 2. Juli 2003 mit, es sei eine erneute medizinische Abklärung durch Dr. med. S._ vorgesehen. Der Versicherte gab der IV-Stelle am 9. Juli 2003 bekannt, er wolle nicht mehr von diesem Psychiater abgeklärt werden, weil er schon zweimal bei ihm gewesen sei und ihn dieser nicht korrekt behandelt habe. Die IV-Stelle hielt mit Schreiben vom 22. Juli 2003 an der Begutachtung durch Dr. med. S._ fest. Gleichzeitig wies sie den Versicherten darauf hin, dass er eine einsprachefähige Verfügung verlangen könne, falls er damit nicht einverstanden sei. Am 25. Juli 2003 teilte B._ mit, es fehle ihm am Vertrauen in Dr. med. S._, da dieser als Serbe gegenüber ihm als Moslem nach den kriegerischen Auseinandersetzungen nicht objektiv sei. Er habe das Gefühl, der Gutachter nehme ihn nicht ernst und gehe zu wenig auf ihn ein. Zudem habe er die Berichte des Hausarztes Dr. med. V._ und des Psychiaters Dr. med. A._ in Zweifel gezogen. Daraufhin erliess die IV-Stelle am 29. Juli 2003 eine Verfügung, mit welcher sie an der Begutachtung durch Dr. med. S._ festhielt. Triftige Einwendungen gegen die begutachtende Person oder die begutachtende Stelle und allfällige Gegenvorschläge seien innerhalb von 10 Tagen bei der IV-Stelle schriftlich einzureichen. Gemäss Rechtsmittelbelehrung konnte gegen die Verfügung innert 30 Tagen bei der Sozialversicherungsanstalt St. Gallen Einsprache erhoben werden. Der Rechtsmittelbelehrung entsprechend erhob B._ am 8. August 2003 Einsprache, mit welcher er die Begutachtung durch einen anderen Psychiater verlangte. Die IV-Stelle überwies die Eingabe zuständigkeitshalber dem Versicherungsgericht des Kantons St. Gallen.
B. Das Versicherungsgericht des Kantons St. Gallen ist auf die Eingabe vom 8. August 2003 eingetreten und hat die geltend gemachten Befangenheitsgründe materiell geprüft. Mit Entscheid vom 18. November 2003 hat es die Beschwerde gutgeheissen und die Verfügung vom 29. Juli 2003 aufgehoben mit der Begründung, es liege Befangenheit von Dr. med. S._ vor.
C. Die IV-Stelle erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur ergänzenden Abklärung an das kantonale Gericht zurückzuweisen.
B._ schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Angefochten ist der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 18. November 2003. Mit diesem ist das kantonale Gericht auf die Eingabe des Versicherten vom 8. August 2003 eingetreten und hat diese als gegen die Verfügung der IV-Stelle vom 29. Juli 2003 gerichtete Beschwerde materiell behandelt. Dabei hat es erwogen, der Versicherte habe zu Recht eine dritte Abklärung durch Dr. med. S._ abgelehnt, weil ihm dieser mit guten Gründen als voreingenommen und befangen erschienen sei. In Gutheissung der Beschwerde hob es daher die angefochtene Verfügung auf.
1.2 Nach ständiger Rechtsprechung prüft das Eidgenössische Versicherungsgericht von Amtes wegen die formellen Gültigkeitserfordernisse des Verfahrens, insbesondere auch die Frage, ob die Vorinstanz zu Recht auf die Beschwerde oder Klage eingetreten ist. Hat die Vorinstanz übersehen, dass es an einer Prozessvoraussetzung fehlte, und hat sie materiell entschieden, ist dies im Rechtsmittelverfahren von Amtes wegen zu berücksichtigen mit der Folge, dass der angefochtene Entscheid aufzuheben ist (<ref-ruling> Erw. 2a mit Hinweisen).
1.3 Wie es sich damit verhält, hängt von der Rechtsnatur der streitigen Verfügung ab. Aufgrund ihres Wortlautes beinhaltet sie die Anordnung einer ambulanten medizinischen Abklärung durch Dr. med. S._. Im Gesamtkontext gesehen geht es aber auch um die Abweisung der vom Versicherten gegenüber der begutachtenden Person geltend gemachten Einwendungen, welche Verwaltung und Vorinstanz als Ausstandsgründe behandelt haben.
2. 2.1 Am 1. Januar 2003 sind das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 und die dazugehörige Verordnung vom 11. September 2002 in Kraft getreten. Dieses Gesetz koordiniert das Sozialversicherungsrecht des Bundes, indem es u.a. ein einheitliches Sozialversicherungsverfahren festlegt und die Rechtspflege regelt (Art. 1 Ingress und lit. b ATSG). Seine Bestimmungen sind auf die bundesgesetzlich geregelten Sozialversicherungen anwendbar, wenn und soweit die einzelnen Sozialversicherungsgesetze es vorsehen (<ref-law>).
2.2 Nach <ref-law> in der ab 1. Januar bis 31. Dezember 2003 geltenden Fassung sind die Bestimmungen des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts auf die Invalidenversicherung (Art. 1a-70) anwendbar, soweit das Invalidenversicherungsgesetz nicht ausdrücklich eine Abweichung vom ATSG vorsieht. Die allgemeinen Verfahrensvorschriften des 4. Kapitels des ATSG (Art. 27-62) treten grundsätzlich sofort in Kraft. Der intertemporalrechtliche Grundsatz der sofortigen Anwendbarkeit gilt indessen dort nicht, wo hinsichtlich des verfahrensrechtlichen Systems zwischen altem und neuem Recht keine Kontinuität besteht und mit dem neuen Recht eine grundlegend neue Verfahrensordnung geschaffen worden ist (<ref-ruling> Erw. 3.2 mit Hinweisen).
2.3 Im Urteil vom 25. August 2004 (I 570/03; vgl. auch Petra Fleischanderl, Rechtsprechung des Eidgenössischen Versicherungsgerichts zu dem auf den 1. Januar 2003 in Kraft getretenen Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts [ATSG] vom 6. Oktober 2000 und dessen Ausführungsverordnung vom 11. September 2002 [Verordnung über den Allgemeinen Teil des Sozialversicherungsrechts, ATSV], in: ZBJV 140/2004 S. 749) hat das Eidgenössische Versicherungsgericht in Bezug auf das Abklärungsverfahren vor den IV-Stellen erwogen, das ATSG habe keine gänzlich neuen rechtlichen Strukturen geschaffen, weshalb die neuen Verfahrensvorschriften grundsätzlich mit dem Tag des In-Kraft-Tretens sofort anwendbar seien. Die Kontinuität des alten und neuen verfahrensrechtlichen Systems und damit die sofortige und umfassende Anwendbarkeit des neuen Prozessrechts sei indessen in dem Sinne zu relativieren, als neues Recht nicht auf alle im Zeitpunkt seines In-Kraft-Tretens noch hängigen Verfahren Anwendung finde. Massgebend sei der Zeitpunkt, in welchem sich die strittige Verfahrensfrage stelle oder darüber entschieden worden sei. Liege der Streitgegenstand in diesem Sinne vor dem 1. Januar 2003, sei gestützt auf die altrechtlichen Bestimmungen zu befinden. Ein unter den alten Verfahrensvorschriften eingeleitetes Administrativverfahren nehme sodann unter der Hoheit des neuen Rechts seinen Fortgang, ohne dass deswegen bereits getroffene Anordnungen, welche unangefochten geblieben seien oder bisher nicht angefochten werden konnten, nach den Regeln des neuen Rechts neu aufzurollen wären. Einen unter altem Recht abgeschlossenen Verfahrensschritt - wie beispielsweise die Anordnung einer medizinischen Begutachtung - unter neuem Recht zu wiederholen käme der rückwirkenden Anwendung neuen Rechts gleich, indem Streitfragen nach einer Verfahrensordnung beurteilt würden, die zur Zeit ihrer Entstehung noch nicht in Geltung gestanden habe, was dem Grundsatz der Nichtrückwirkung gesetzlicher Bestimmungen widersprechen würde.
2.4 Die IV-Stelle hatte im Rahmen des laufenden Abklärungsverfahrens bereits am 18. Juli 2002 eine Begutachtung durch Dr. med. S._ angeordnet. Dieser Verfahrensschritt wurde mit der Erstellung des Gutachtens vom 18. September 2002 abgeschlossen. Mit der Mitteilung der IV-Stelle vom 2. Juli 2003, es müsse von diesem Psychiater nochmals eine Expertise eingeholt werden, und mit der Verfügung vom 29. Juli 2003, mit welcher sie an der Begutachtung festhielt und das Vorliegen von Ausstandsgründen verneinte, hat die Verwaltung nach In-Kraft-Treten des ATSG einen neuen Verfahrensschritt eingeleitet. Die Anwendung des neuen Verfahrensrechts auf diese Verfügung stellt somit keine Beeinträchtigung der Kontinuität des Verfahrens dar, weshalb die verfahrensrechtlichen Neuerungen des ATSG für die Beurteilung der Rechtmässigkeit und Anfechtbarkeit der am 29. Juli 2003 erlassenen Verfügung massgebend sind.
3. 3.1 <ref-law> hat folgenden Wortlaut: "Muss der Versicherungsträger zur Abklärung des Sachverhalts ein Gutachten einer oder eines unabhängigen Sachverständigen einholen, so gibt er der Partei deren oder dessen Namen bekannt. Diese kann den Gutachter aus triftigen Gründen ablehnen und kann Gegenvorschläge machen". Gemäss <ref-law> hat der Versicherungsträger über Leistungen, Forderungen und Anordnungen, die erheblich sind oder mit denen die betroffene Person nicht einverstanden ist, schriftlich Verfügungen zu erlassen. Abs. 3 dieser Bestimmung sieht vor, dass Verfügungen mit einer Rechtsmittelbelehrung zu versehen sind. Sie sind zu begründen, wenn sie den Begehren der Parteien nicht voll entsprechen. Aus einer mangelhaften Eröffnung einer Verfügung darf der betroffenen Person kein Nachteil erwachsen. Leistungen, Forderungen und Anordnungen, die nicht unter Art. 49 Abs. 1 fallen, können nach <ref-law> in einem formlosen Verfahren behandelt werden. Diesfalls räumt Abs. 2 dieser Bestimmung der betroffenen Person die Möglichkeit ein, den Erlass einer Verfügung zu verlangen. Gegen Verfügungen kann innerhalb von 30 Tagen bei der verfügenden Stelle Einsprache erhoben werden; davon ausgenommen sind prozess- und verfahrensleitende Verfügungen (<ref-law>). Gegen Einspracheentscheide oder Verfügungen, gegen welche eine Einsprache ausgeschlossen ist, kann Beschwerde erhoben werden (<ref-law>). Beschwerde kann auch erhoben werden, wenn der Versicherungsträger entgegen dem Begehren der betroffenen Person keine Verfügung oder keinen Einspracheentscheid erlässt (<ref-law>).
3.2 Auch unter der Herrschaft des ATSG bildet im System der nachträglichen Verwaltungsrechtspflege der Erlass einer Verfügung unabdingbare Sachurteilsvoraussetzung im nachfolgenden Verwaltungs- oder Verwaltungsgerichtsbeschwerdeverfahren, ohne die auf ein Rechtsmittel nicht eingetreten werden darf. Der Begriff der Verfügung bestimmt sich dabei mangels näherer Konkretisierung in <ref-law> nach Massgabe von <ref-law> (vgl. <ref-law>; <ref-ruling> Erw. 2.4, 130 V 391 Erw. 2.3). Als Verfügungen im Sinne von <ref-law> gelten Anordnungen der Behörden im Einzelfall, die sich auf öffentliches Recht des Bundes stützen (oder richtigerweise hätten stützen sollen; <ref-ruling> Erw. 2a) und zum Gegenstand haben: Begründung, Änderung oder Aufhebung von Rechten oder Pflichten, Feststellung des Bestehens, Nichtbestehens oder Umfanges von Rechten oder Pflichten, Abweisung von Begehren auf Begründung, Änderung, Aufhebung oder Feststellung von Rechten oder Pflichten, oder Nichteintreten auf solche Begehren (<ref-ruling> Erw. 1, 123 V 296 Erw. 3a, je mit Hinweisen). Der Verfügung gleichgestellt sind gemäss <ref-law> (rechtsgestaltende oder feststellende) Einspracheentscheide (<ref-ruling> Erw. 2.3).
4. Nach <ref-law> prüft der Versicherungsträger die Begehren der versicherten Person, nimmt die notwendigen Abklärungen von Amtes wegen vor und holt die erforderlichen Auskünfte ein, wobei mündlich erteilte Auskünfte schriftlich festzuhalten sind. Soweit ärztliche oder fachliche Untersuchungen für die Beurteilung notwendig und zumutbar sind, hat sich die versicherte Person diesen zu unterziehen (<ref-law>). Kommen die versicherte Person oder andere Personen, die Leistungen beanspruchen, den Auskunfts- oder Mitwirkungspflichten in unentschuldbarer Weise nicht nach, so kann der Versicherungsträger aufgrund der Akten verfügen oder die Erhebungen einstellen und Nichteintreten beschliessen. Er muss diese Personen vorher schriftlich mahnen und auf die Rechtsfolgen hinweisen; ihnen ist eine angemessene Bedenkzeit einzuräumen (<ref-law>). Auch unter der Herrschaft des ATSG fällt es der IV-Stelle zu, nach Eingang der Anmeldung zum Leistungsbezug die Verhältnisse abzuklären (<ref-law> in Verbindung mit <ref-law>). In Ergänzung und Präzisierung zu <ref-law> hält <ref-law> (in der seit 1. Januar 2003 in Kraft stehenden Fassung in Verbindung mit Art. 1 und Art. 57 Abs. 2 IVG) fest, dass die IV-Stelle, wenn die versicherungsmässigen Voraussetzungen erfüllt sind, die erforderlichen Unterlagen, insbesondere über den Gesundheitszustand, die Tätigkeit, die Arbeits- und Eingliederungsfähigkeit der versicherten Person sowie die Zweckmässigkeit bestimmter Eingliederungsmassnahmen, beschafft und zu diesem Zwecke Berichte und Auskünfte verlangen, Gutachten einholen, Abklärungen an Ort und Stelle vornehmen sowie Spezialisten der öffentlichen oder privaten Invalidenhilfe beiziehen kann. Um den Invaliditätsgrad bemessen zu können, ist die Verwaltung (und im Beschwerdefall das Gericht) auf Unterlagen angewiesen, die ärztliche und gegebenenfalls auch andere Fachleute zur Verfügung zu stellen haben. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (<ref-ruling> Erw. 4, 115 V 134 Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1).
5. Es stellt sich zunächst die Frage, ob die Anordnung einer Begutachtung als solche durch die Verwaltung nach den Verfahrensvorschriften des ATSG in Verfügungsform zu ergehen hat, oder ob sie - entsprechend der bis 31. Dezember 2002 gültig gewesenen Rechtsordnung im invalidenversicherungsrechtlichen Verfahren (vgl. <ref-ruling>) - als Realakt zu betrachten ist, dem kein Verfügungscharakter zukommt.
5.1 Begründet wurde die bisherige Praxis damit, dass sich das Verfahren vor den IV-Stellen nach den vom Bundesrat gestützt auf alt Art. 58 und alt <ref-law> erlassenen alt Art. 69-77 IVV und, soweit damit nicht in Widerspruch stehend, nach kantonalem Verfahrensrecht richte und bei der Anordnung eines Gutachtens nicht über Rechte und Pflichten eines Versicherten (vgl. alt <ref-law>) befunden werde, könne doch die Teilnahme an einer Begutachtung ebenso wenig erzwungen werden wie diejenige an einer beruflichen Abklärung. Das ablehnende Verhalten wirke sich vielmehr dahin gehend aus, dass die IV-Stelle bei schuldhafter Verweigerung einer Begutachtung unter Ansetzung einer angemessenen Frist und Darlegung der Säumnisfolgen auf Grund der Akten beschliessen könne (alt <ref-law>; vgl. auch <ref-law> in der ab 1. Januar 2004 geltenden Fassung). Weiter stehe fest, dass für Anordnungen, welche bei der Abklärung der Verhältnisse oder beim Vollzug einer rechtskräftigen Verfügung getroffen würden, nach ausdrücklicher Vorschrift keine Verfügung zu erlassen sei (alt <ref-law>). Auch aus <ref-law> ergebe sich, dass die IV-Stelle nur - aber immerhin - über Leistungen der Invalidenversicherung (lit. e), nicht aber über die Abklärung (lit. a und b) zu verfügen habe (<ref-ruling> Erw. 3 und 406 Erw. 4b). Im Urteil vom 26. Oktober 2004 (I 457/04) hat das Eidgenössische Versicherungsgericht offen gelassen, ob die zu <ref-law> (auf den 1. Januar 2003 hin durch Ziff. I der Verordnung vom 11. September 2002 [AS 2002 3721] aufgehoben) ergangene Rechtsprechung unter der Geltung des ATSG weiterhin Bestand hat.
5.2 Das ATSG bezeichnet als Gegenstand der Verfügung in Art. 49 Abs. 1 Leistungen, Forderungen und Anordnungen. Dieselben Begriffe finden sich auch in <ref-law> über das formlose Verfahren. Leistungen und Forderungen entsprechen dem Begriffspaar Rechte und Pflichten gemäss <ref-law> (Kieser, ATSG-Kommentar, N 4 zu Art. 49). Schwierigkeiten bietet der Begriff der "Anordnung". Zu prüfen ist daher im Wege der Auslegung, was unter Anordnung im Sinne von <ref-law> zu verstehen ist.
5.2.1 Ausgangspunkt jeder Auslegung bildet der Wortlaut der Bestimmung. Ist der Text nicht ganz klar und sind verschiedene Interpretationen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente; dabei kommt es namentlich auf den Zweck der Regelung, die dem Text zu Grunde liegenden Wertungen sowie auf den Sinnzusammenhang an, in dem die Norm steht. Die Gesetzesmaterialien sind zwar nicht unmittelbar entscheidend, dienen aber als Hilfsmittel, den Sinn der Norm zu erkennen. Das Bundesgericht hat sich bei der Auslegung von Erlassen stets von einem Methodenpluralismus leiten lassen (<ref-ruling> Erw. 7.1, 131 V 93 Erw. 4.1, 128 Erw. 5.1, 130 V 232 Erw. 2.2, 129 II 118 Erw. 3.1, 125 II 196 Erw. 3a, je mit Hinweisen).
5.2.2 Aus dem Wortlaut "Anordnungen", "injonctions", "ingiunzioni" kann nicht darauf geschlossen werden, was darunter zu subsumieren ist, da damit je nach Definition - welche im ATSG indessen fehlt - Entscheidungen, Verfügungen und Massnahmen einer Verwaltungsbehörde gemeint sein können (vgl. Kölz/Bosshart/Röhl, Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, 2. Aufl., Zürich 1999, N 9 Vorbem. zu §§ 4-31). In grammatikalischer Hinsicht fällt auf, dass "Leistungen, Forderungen und Anordnungen", über welche der Versicherungsträger gemäss <ref-law> eine Verfügung zu erlassen hat, in der Gesetzesbestimmung in einem Zug genannt werden. Die beiden zuerst erwähnten Begriffe "Leistungen" und "Forderungen" sind zweifellos materieller Natur.
5.2.3 Aus systematischer Sicht ist anzunehmen, dass der Gesetzgeber in derselben Bestimmung nicht materielle und verfahrensmässige Ansprüche vermengt hat, indem er zuerst zwei materielle und hernach noch einen verfahrensrechtlichen Verfügungsgegenstand aufgeführt hat. Diese Auslegung wird durch die Entstehungsgeschichte gestützt. Im Bericht der Kommission des Ständerates zur Parlamentarischen Initiative über einen Allgemeinen Teil der Sozialversicherung vom 27. September 1990 wird zu Art. 56 und Art. 57 des Entwurfs unter dem Titel "Verfügung und formloses Verfahren" festgehalten, die konkreten Rechtsverhältnisse sollten in der ganzen Sozialversicherung grundsätzlich durch Verfügung geordnet werden. Dies sei von vornherein gegeben für Leistungen, Forderungen und Anordnungen von erheblicher Bedeutung, wie Renten und Abfindungen, Beitragsnachforderungen, wichtige Anordnungen zur Unfallverhütung und dergleichen. Andere Rechtsbeziehungen, namentlich im Bereich der Taggelder, Sachleistungen, Arbeitgeber/Arbeitnehmerbeiträge und dergleichen sollten zweckmässigerweise auch weiterhin in formloser Weise durch Abrechnungen oder Mitteilungen abgewickelt werden können (sog. De-facto-Erledigungen). Es müsse jedoch auch in diesen Fällen eine Verfügung ergehen, wenn der Betroffene mit der Erledigung nicht einverstanden sei (vgl. BBl 1991 II 261 f.). Im erwähnten Kommissionsbericht wird zudem bei dem die Einsprache betreffenden Art. 58 des Entwurfs festgehalten, dass die Einsprache bei Anordnungen von hoher Dringlichkeit, wie beispielsweise im Bereich der Unfallverhütung, ausgeschlossen und in solchen Fällen die Verfügung dem Einspracheentscheid gleichgestellt sei (BBl 1991 II 262). Die Subkommission ATSG der Kommission für soziale Sicherheit und Gesundheit des Nationalrates befasste sich an der Sitzung vom 8. Mai 1995 mit dem Thema. Als Beispiele für ein formloses Verfahren im Sinne von Art. 57 des Entwurfs wurden Arztabrechnungen genannt, die formlos bezahlt werden (Protokoll, S. 29). An der Sitzung vom 11./12. September 1995 wurde diskutiert, was unter dem Begriff "erheblich" im Sinne von Art. 56 des Entwurfs zu verstehen sei. Als Beispiele aus dem Bereich der Unfallversicherung wurden die Rentenleistungen, Abfindungen und Integritätsentschädigungen genannt. Zudem wurde darauf hingewiesen, dass es im Rahmen der Kranken-, Militär- und Invalidenversicherung eine Reihe von Leistungen gebe, bei denen sich die Frage nicht absolut beantworten lasse. Um dem Rechnung zu tragen, wurde schliesslich die offene Formulierung "erheblich" gewählt, welche den Entscheid dem Versicherer überlässt, der nicht gezwungen werden soll, unnötige Verfügungen zu erlassen (Protokoll, S. 31). Aus den Materialien ergibt sich somit, dass die Organe der Gesetzgebung bei Art. 49 Abs. 1 und <ref-law> an materielle Verwaltungsakte und nicht prozess- und verfahrensleitende Verfügungen gedacht haben. Gegenstand dieser beiden Bestimmungen bildet die Frage, ob die Verwaltung verfügen muss, oder ob - wie bisher in der Praxis der Versicherer üblich - auch eine formlose materielle Erledigung möglich ist.
5.2.4 Wenn verfahrensleitende Anordnungen des Sozialversicherers als Anordnungen im Sinne von <ref-law> zu verstehen wären, ist nicht ersichtlich, weshalb daneben in Art. 52 Abs. 1, 2. Satzteil, ATSG noch prozess- und verfahrensleitende Verfügungen vorgesehen sind. Aus systematischer Sicht wäre auch nicht einzusehen, weshalb sich der Gesetzgeber in <ref-law> veranlasst sah, der zu begutachtenden Person das Recht einzuräumen, sich zur Person des Gutachters zu äussern und Gegenvorschläge zu machen, wenn die Anordnung der Begutachtung Verfügungsgegenstand nach <ref-law> bildete, da in diesem Fall dieses Recht bereits gestützt auf den Anspruch auf rechtliches Gehör (vgl. <ref-law>) gegeben wäre.
5.2.5 In der Lehre wird die Auffassung vertreten, der in <ref-law> verwendete Begriff "Anordnung" sei unter dem Gesichtswinkel von <ref-law> zu verstehen. Der Gesetzgeber sei davon ausgegangen, dass es Anordnungen gebe, welche Verfügungscharakter hätten und Anordnungen, welche diesen nicht aufweisen sollten. Letzteres sei dann gegeben, wenn die Anordnung nicht erheblich sei oder wenn die betroffene Person mit ihr einverstanden sei. Dabei lege der Gesetzgeber Art. 49 und <ref-law> offensichtlich einen weiten Begriff der Anordnung zugrunde, welcher jedenfalls nicht auf die in den Materialien beispielsweise genannten Anordnungen bei der Unfallverhütung beschränkt bleiben dürfe. Daraus lasse sich ableiten, dass der Gesetzgeber grundsätzlich alle Entscheide, die in der "Abwicklung" eines konkreten Rechtsverhältnisses gefällt würden, als Verfügungen betrachte. Damit weiche <ref-law> nicht von <ref-law> ab (Ueli Kieser, Verfahrensfragen der Anordnung einer Begutachtung, in: René Schaffhauser/Franz Schlauri [Hrsg.], Aktuelle Rechtsfragen der Sozialversicherungspraxis, St. Gallen 2001, S. 158 f.; derselbe, ATSG-Kommentar, N 6 zu Art. 49; René Wiederkehr, Begutachtung im Kontext des ATSG, in: AJP 2004 S. 1144 f.). Dieser Ansicht kann, abgesehen davon, dass sich dafür in der Entstehungsgeschichte des ATSG keine Anhaltspunkte finden, auch aus den nachstehenden Gründen nicht beigepflichtet werden.
5.2.6 Weil sich aus <ref-law>, ausser der materiellen Stossrichtung (vgl. Erw. 5.2.3), nichts zum Verfügungsbegriff entnehmen lässt, ist - gestützt auf <ref-law> - für weitere nicht abschliessend geregelte Verfahrensbereiche das VwVG massgebend (vgl. <ref-ruling> Erw. 2.4, 130 V 391 Erw. 2.3). Die Anordnung eines Gutachtens ist unter den selbstständig anfechtbaren Zwischenverfügungen gemäss <ref-law> nicht aufgeführt. Nach <ref-ruling> Erw. 1 fällt eine Beweisverfügung, durch die eine Expertise angeordnet wird, nicht unter <ref-law>, da sie nicht die Begründung, Änderung oder Aufhebung von Rechten usw. zum Gegenstand hat (kritisch dazu Saladin, Das Verwaltungsverfahrensrecht des Bundes, S. 81). Im bereits erwähnten <ref-ruling> Erw. 4c hat das Eidgenössische Versicherungsgericht ebenfalls erwogen, bei der Anordnung eines Gutachtens werde nicht über Rechte und Pflichten einer versicherten Person befunden, könne doch die Teilnahme an einer Begutachtung ebenso wenig erzwungen werden wie die Teilnahme an einer beruflichen Abklärung. Daran haben das ATSG und die Aufhebung von <ref-law> nichts geändert. Ebenso hat das Gericht mit Bezug auf die in <ref-law> (in Kraft gestanden bis 31. Dezember 2002; vgl. nunmehr Art. 43 Abs. 2 und 3 ATSG) statuierte Pflicht der versicherten Person, sich einer angeordneten Eingliederungsmassnahme zu unterziehen oder das ihr Zumutbare zur Verbesserung der Erwerbsfähigkeit beizutragen, dafür gehalten, es handle sich dabei nicht um eine erzwingbare Rechtspflicht, sondern um eine sozialversicherungsrechtliche Last, deren Erfüllung Voraussetzung der Entstehung oder des Fortbestandes des Rentenanspruchs sei, weshalb sie nicht Gegenstand einer Verfügung im Sinne von <ref-law> sein könne (Urteil vom 9. Februar 2004, I 364/03).
5.2.7 In Verwaltungsverfahren, in denen der Erlass einer formellen Beweisverfügung nicht vorgesehen ist, kann es sich als sinnvoll erweisen, die Verfahrensbeteiligten darüber aufzuklären, dass ein bestimmtes Verhalten zu rechtlichen Folgen führen kann (vgl. Gygi, Bundesverwaltungsrechtspflege, 2. Aufl., Bern 1983, S. 278; Kölz/Bosshart/Röhl, a.a.O., N 56 zu § 7). So geht die Vorschrift von <ref-law> von bestimmten Auskunfts- und Mitwirkungspflichten bei Leistungsbegehren aus, wozu unter anderem die Teilnahme an ärztlichen und fachlichen Untersuchungen (<ref-law>) und die Teilnahme an einer Begutachtung (<ref-law>) zu zählen sind (Kieser, ATSG-Kommentar, N 36 zu Art. 43), und sie sieht Sanktionen vor, welche nach Durchführung des Mahn- und Bedenkzeitverfahrens angeordnet werden können. Dies spricht ebenfalls dafür, dass Gutachtenanordnungen nicht in Verfügungsform zu ergehen haben.
5.2.8 Hinzu kommt, dass nach dem Untersuchungsgrundsatz die Verwaltung den rechtserheblichen Sachverhalt von sich aus abzuklären hat, ohne dabei an die Anträge der Parteien gebunden zu sein. Sie bestimmt daher von sich aus, wie der Beweis zu führen ist (vgl. Erw. 4). Die Begutachtung bildet Teil dieses Abklärungsverfahrens, wobei dieser im sozialversicherungsrechtlichen Leistungsverfahren, insbesondere bei der Feststellung einer gesundheitlichen Beeinträchtigung, eine überaus grosse Bedeutung zukommt (vgl. auch <ref-law>). Mit deren Durchführung wird in der Regel eine Verbesserung der Sachverhaltsabklärung bewirkt.
Aus der zentralen Bedeutung des Gutachtens für die materielle Anspruchsprüfung im Abklärungsverfahren der Sozialversicherer kann indessen nicht auf den Verfügungscharakter einer Gutachtenanordnung geschlossen werden. Die Auffassung, der Verfügungscharakter einer Gutachtenanordnung lasse sich aus einer "materialen" Perspektive begründen, welche sich darauf stützt, dass ein Gutachten ein Beweismittel darstellt, von dessen Ergebnissen der Richter nur zurückhaltend abweicht (René Wiederkehr, a.a.O., S. 1145), ist zu verwerfen. Nach der Rechtsprechung haben Versicherungsträger und Sozialversicherungsgericht die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen, und zwar unabhängig von ihrer Herkunft. Eine besondere Stellung nehmen lediglich Gerichtsgutachten ein (<ref-ruling> Erw. 3a und 3b/aa), wobei solche hier nicht zur Diskussion stehen.
5.2.9 Wenn der Anordnung nach <ref-law> ein verfahrensrechtlicher Gehalt verliehen würde, könnte über <ref-law> selbst für nicht erhebliche Inhalte solcher Anordnungen eine grundsätzlich gerichtlich anfechtbare Verfügung erzwungen werden. Dies hätte im Laufe der dem Versicherungsträger gestützt auf <ref-law> obliegenden Abklärung eine eigentliche Verfügungsflut zur Folge und würde der Forderung zuwiderlaufen, den medizinischen und erwerblich-beruflichen Sachverhalt möglichst rasch und umfassend abzuklären. Das Abklärungsverfahren würde unnötigerweise noch mehr formalisiert, verkompliziert und in die Länge gezogen. In Anbetracht der Vielzahl von verfahrensrechtlichen Anordnungen, die bis zur materiellen Erledigung in der Regel notwendig sind, wäre eine geordnete und beförderliche Behandlung der Leistungsgesuche durch die Versicherer nicht mehr gewährleistet, wenn jedes Mal eine Verfügung erlassen werden müsste. Die Betroffenen müssten unzumutbar lange auf einen Endentscheid warten.
5.2.10 Zusammenfassend kann festgehalten werden, dass sich die Interpretation aufdrängt, auch unter der Herrschaft des ATSG komme der Anordnung einer Begutachtung kein Verfügungscharakter zu.
6. Zu unterscheiden ist zwischen der Anordnung einer Expertise und dem Entscheid über die in der Folge geltend gemachten Ausstands- und Ablehnungsgründe gegenüber der Person des Gutachters. Ob diesem Verfügungscharakter zukommt, ist nachstehend zu prüfen.
6.1 Was unter den in Art. 52 Abs. 1, 2. Satzteil, ATSG erwähnten prozess- und verfahrensleitenden Verfügungen zu verstehen ist, wird im ATSG selber nicht definiert. Nach der Rechtsprechung handelt es sich dabei um Zwischenverfügungen (<ref-ruling> Erw. 2.4). Im ATSG findet sich keine ausdrückliche Regelung zur Frage, ob und wann Zwischenverfügungen zu erlassen sind und ob diese selbstständig angefochten werden können. Da sich der Verfügungsbegriff unter der Herrschaft des ATSG mangels näherer Konkretisierung nach Massgabe von <ref-law> definiert (<ref-ruling> Erw. 2.3) und <ref-law> auf das Verwaltungsverfahrensgesetz verweist, soweit die in den Art. 27 bis 54 ATSG oder in den Einzelgesetzen enthaltenen Verfahrensbereiche nicht abschliessend geregelt sind, ist auch hier auf das VwVG zurückzugreifen. Nach Art. 5 Abs. 2 in Verbindung mit <ref-law> sind verfahrensleitende und andere Zwischenverfügungen nur dann selbstständig anfechtbar, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (vgl. auch Kieser, ATSG-Kommentar, N 9 zu Art. 56).
6.2 Aus verfahrensrechtlichen, insbesondere prozessökonomischen Gründen ist über Ausstandsgründe möglichst vorab und nicht erst zusammen mit dem Entscheid in der Sache zu befinden. Ein solches Vorgehen trägt zugleich der Obliegenheit der Verfahrensbeteiligten Rechnung, Ausstandsgründe zu rügen, sobald sie von diesen Kenntnis erlangt haben. Andernfalls läuft die anordnende Behörde Gefahr, dass ihr Sachentscheid in einem anschliessenden Rechtsmittelverfahren wegen der Verletzung von Ausstandsvorschriften als Ganzes aufgehoben wird. Ist die Ausstandspflicht streitig, so ist durch Verfügung die Lage zu klären (vgl. <ref-ruling> Erw. 2.4; RKUV 1997 Nr. U 284 S. 333; Urteil vom 14. März 2005, K 178/04; Saladin, a.a.O., S. 112; Kölz/Bosshart/Röhl, a.a.O., N 29 zu § 5a; Kieser, ATSG-Kommentar, N 13 zu Art. 44).
6.3 Nach <ref-law> gelten Verfügungen über den Ausstand gemäss <ref-law> als selbstständig anfechtbare Zwischenverfügungen. Das Eidgenössische Versicherungsgericht hat denn auch bereits wiederholt entschieden, dass Zwischenverfügungen über den Ausstand im Sinne dieser Bestimmung, insbesondere auch solche betreffend einen Experten, selbstständig mit Verwaltungsgerichtsbeschwerde anfechtbar sind, da sie einen irreparablen Nachteil bewirken können (AHI 1998 S. 125 Erw. 1 mit Hinweisen). Zwischenverfügungen über den Ausstand, wie er auch im <ref-law> nachgebildeten <ref-law> geregelt ist (Kieser, ATSG-Kommentar, N 3 zu Art. 36), sind somit selbstständig anfechtbar. Gemäss <ref-law> treten Personen, die Entscheidungen über Rechte und Pflichten zu treffen oder vorzubereiten haben, in Ausstand, wenn sie in der Sache ein persönliches Interesse haben oder aus anderen Gründen in der Sache befangen sein könnten.
6.4 Indem <ref-law> vorsieht, dass die versicherte Person den Gutachter aus triftigen Gründen ablehnen kann, geht diese Bestimmung über die gesetzlichen Ausstandsgründe gemäss <ref-law> und <ref-law> hinaus (Meyer-Blaser, Das medizinische Gutachten aus sozialversicherungsrechtlicher Sicht, in: Adrian M. Siegel/Daniel Fischer [Hrsg.], Die neurologische Begutachtung, Zürich 2004, S. 107; Kieser, Verfahrensfragen der Anordnung einer Begutachtung, a.a.O., S. 166; René Wiederkehr, a.a.O., S. 1147; Hans-Jakob Mosimann, Gutachten: Präzisierungen zu <ref-law> in: SZS 2005 S. 477). Zur Frage, welches solche über die Ausstandsgründe hinausgehende "triftige" Gründe sein können, äussert sich das ATSG nicht. Vorbild war <ref-law>, welcher festhielt, dass die Militärversicherung bei fehlender Einigung über die Person des Sachverständigen eine selbstständig anfechtbare Verfügung zu erlassen hat. Mit der Einführung des ATSG wurde der dem heutigen <ref-law> praktisch entsprechende Absatz 1 von <ref-law> aufgehoben, die Aussage des bisherigen Absatzes 2 jedoch in <ref-law> (vgl. Fassung gemäss Anhang Ziff. 13 des ATSG) belassen. In <ref-law> wurde keine dem bisherigen <ref-law> entsprechende Normierung aufgenommen. Damit beurteilt sich nach den Bestimmungen des VwVG, ob eine selbstständig anfechtbare Verfügung vorliegt, soweit <ref-law> über die klassischen Ausstandsgründe hinausgeht (Kieser, ATSG-Kommentar, N 14 zu Art. 44; derselbe, Verfahrensfragen der Anordnung einer Begutachtung, a.a.O., S. 166). Nach Kieser (ATSG-Kommentar, N 1 zu Art. 44; derselbe, Verfahrensfragen der Anordnung einer Begutachtung, a.a.O., S. 166) hat der Gesetzgeber an der bisherigen Rechtsprechung, wonach Einwände gegen die fachliche Qualifikation eines Sachverständigen nicht zu einer selbstständigen Anfechtbarkeit des Entscheids führten, nichts ändern wollen, weshalb anzunehmen sei, dass bei Entscheiden über Ablehnungen dann keine Anfechtbarkeit gegeben sei, wenn andere als die in <ref-law> festgelegten Ausstandsgründe vorgebracht würden. Dieses Ergebnis sei unbillig, da nicht nachvollziehbar sei, weshalb bei bestimmten Ausstandsgründen eine Anfechtbarkeit des Entscheids angenommen, bei anderen Ablehnungsgründen (den triftigen Gründen nach <ref-law>, soweit sie sich nicht auf <ref-law> stützen) eine solche hingegen abgelehnt werde. Es dränge sich daher eine Änderung der Rechtsprechung auf. Laut René Wiederkehr (a.a.O., S. 1148) ist die Differenzierung nicht nur unbillig, sondern widerspricht dem System des VwVG und des ATSG.
6.5 Zu unterscheiden ist zwischen Einwendungen formeller und Einwendungen materieller Natur. Dabei zählen die gesetzlichen Ausstandsgründe (vgl. <ref-law> und <ref-law>) zu den Einwendungen formeller Natur, weil sie geeignet sind, Misstrauen in die Unparteilichkeit des Sachverständigen zu erwecken. Einwendungen materieller Natur können sich zwar ebenfalls gegen die Person des Gutachters richten. Sie beschlagen jedoch nicht dessen Unparteilichkeit. Oft sind sie von der Sorge getragen, das Gutachten könne mangelhaft ausfallen oder jedenfalls nicht im Sinne der zu begutachtenden Person. Solche Einwendungen sind in der Regel mit dem Entscheid in der Sache im Rahmen der Beweiswürdigung zu behandeln. So hat beispielsweise die Frage, aus welcher medizinischen Fachrichtung ein Gutachten einzuholen ist, nichts mit Ausstandsgründen, sondern mit der Beweiswürdigung zu tun. Dasselbe gilt mit Bezug auf den Einwand, der Sachverhalt sei bereits hinreichend abgeklärt oder das Leiden aufgrund der selbst ins Recht gelegten Gutachten erstellt. Es besteht kein Recht der versicherten Person auf einen Sachverständigen ihrer Wahl. Fehlende Sachkunde eines Gutachters bildet ebenfalls keinen Umstand, der Misstrauen in die Unparteilichkeit eines Gutachters wecken würde. Vielmehr ist bei der Würdigung des Gutachtens in Betracht zu ziehen, dass ein Gutachter nicht genügend sachkundig war (vgl. Urteil des Bundesgerichts vom 30. November 1999 i.S. D., 1P.553/1999 ). Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts nicht in Verfügungsform zurückzuweisen ist der Einwand, als operierender Chirurge sei der in Aussicht genommene Experte nicht geeignet, und die Folgen von HWS-Distorsionstraumata seien nicht von einem Orthopäden oder einem Rheumatologen, sondern von einem Neurologen zu begutachten (SVR 2002 UV Nr. 10 S. 29). Es besteht kein sachlicher Grund, unter der Herrschaft des ATSG von der bisherigen Rechtsprechung abzuweichen. Insbesondere besteht kein Anlass, die Beurteilung von Rügen, welche über die gesetzlichen Ausstandsgründe hinausgehen und Fragen beschlagen, die zur Beweiswürdigung gehören, vorzuverlegen. Es gilt insbesondere zu vermeiden, dass das Verwaltungsverfahren um ein kontradiktorisches Element erweitert und das medizinische Abklärungsverfahren judikalisiert wird, was vor allem in Fällen mit komplexem Sachverhalt zu einer Verlängerung des Verfahrens führen würde, welche in ein Spannungsverhältnis zum einfachen und raschen Verfahren tritt (vgl. auch Hans-Jakob Mosimann, a.a.O., S. 479).
7. Mit der Verfügung vom 29. Juli 2003 hat die IV-Stelle, wenn auch ohne Begründung, die vom Versicherten bei ihr gegen den medizinischen Experten erhobenen Einwendungen abgelehnt.
7.1 Nach der Rechtsprechung gelten für Sachverständige grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit zu erwecken. Bei der Befangenheit handelt es sich allerdings um einen inneren Zustand, der nur schwer bewiesen werden kann. Es braucht daher für die Ablehnung nicht nachgewiesen zu werden, dass die sachverständige Person tatsächlich befangen ist. Es genügt vielmehr, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen. Bei der Beurteilung des Anscheins der Befangenheit und der Gewichtung solcher Umstände kann jedoch nicht auf das subjektive Empfinden einer Partei abgestellt werden. Das Misstrauen muss vielmehr in objektiver Weise als begründet erscheinen. Im Hinblick auf die erhebliche Bedeutung, welche den Arztgutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit des Gutachters ein strenger Massstab anzusetzen (<ref-ruling> Erw. 3).
7.1 Nach der Rechtsprechung gelten für Sachverständige grundsätzlich die gleichen Ausstands- und Ablehnungsgründe, wie sie für Richter vorgesehen sind. Danach ist Befangenheit anzunehmen, wenn Umstände vorliegen, die geeignet sind, Misstrauen in die Unparteilichkeit zu erwecken. Bei der Befangenheit handelt es sich allerdings um einen inneren Zustand, der nur schwer bewiesen werden kann. Es braucht daher für die Ablehnung nicht nachgewiesen zu werden, dass die sachverständige Person tatsächlich befangen ist. Es genügt vielmehr, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen. Bei der Beurteilung des Anscheins der Befangenheit und der Gewichtung solcher Umstände kann jedoch nicht auf das subjektive Empfinden einer Partei abgestellt werden. Das Misstrauen muss vielmehr in objektiver Weise als begründet erscheinen. Im Hinblick auf die erhebliche Bedeutung, welche den Arztgutachten im Sozialversicherungsrecht zukommt, ist an die Unparteilichkeit des Gutachters ein strenger Massstab anzusetzen (<ref-ruling> Erw. 3).
7.2 7.2.1 Der Versicherte lehnte mit Eingabe vom 9. Juli 2003 eine medizinische Abklärung durch Dr. med. S._ ab mit der Begründung, er sei schon zweimal bei diesem Arzt gewesen und sehe keinen Grund, sich nochmals von diesem begutachten zu lassen. Er denke, Dr. med. S._ behandle ihn nicht korrekt. In einer weiteren Eingabe vom 25. Juli 2003 präzisierte er, er fühle sich von diesem Arzt nicht ernst genommen und habe den Eindruck, dass dieser zu wenig auf ihn eingehe und dass seine Beurteilung nicht objektiv sei. So habe er die Berichte des Hausarztes Dr. med. V._ und des Psychiaters Dr. med. A._ in Zweifel gezogen.
7.2.2 In diesem Einwand ist kein Ausstandsgrund zu erblicken. Der Umstand, dass sich ein Sachverständiger schon einmal mit einer Person befasst hat, schliesst später dessen Beizug als Gutachter nicht zum Vornherein aus. Eine unzulässige Vorbefassung liegt auch dann nicht vor, wenn er zu (für eine Partei) ungünstigen Schlussfolgerungen gelangt (AHI 1997 S. 136 Erw. 1b/bb). Anderes gilt, wenn Umstände vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit objektiv zu begründen vermögen, etwa wenn der Sachverständige seinen Bericht nicht neutral und sachlich abfasste (<ref-ruling> Erw. 3a; Urteil vom 17. August 2004, I 29/04). Solches ist jedoch nicht ersichtlich und wird auch nicht geltend gemacht. Die Tatsache, dass Dr. med. S._ den Versicherten bereits früher begutachtet hat, schliesst eine spätere erneute Verlaufskontrolle nicht aus. Ganz im Gegenteil erscheint es sinnvoll, den bereits mit dem Versicherten befassten Mediziner zur Entwicklung des Beschwerdebildes und der Arbeitsfähigkeit zu befragen. Eine von anderen mit dem Versicherten befassten Ärzten abweichende Beurteilung vermag die Objektivität des Psychiaters nicht in Frage zu stellen. Es gehört vielmehr zu den Pflichten eines Gutachters, sich kritisch mit dem Aktenmaterial auseinander zu setzen und eine eigenständige Beurteilung abzugeben. Auf welche Einschätzung letztlich abgestellt werden kann, ist eine im Verwaltungs- und allenfalls Gerichtsverfahren zu klärende Frage der Beweiswürdigung.
7.2.3 Nach dem in Erwägung 6.5 Gesagten handelt es sich hier um Einwendungen materieller Natur, welche mit dem Entscheid in der Sache zu prüfen sind. Das kantonale Gericht hätte daher in diesem Punkt auf die Beschwerde nicht eintreten dürfen.
7.3 Weiter führte der Beschwerdegegner am 25. Juli 2003 ethnische Gründe an. Da bei der Geltendmachung von Befangenheit aus ethnischen Gründen aufgrund der Gegebenheiten des konkreten Falles ein formeller Ausstandsgrund vorliegen kann, hat die IV-Stelle zu Recht eine Verfügung erlassen und ist die Vorinstanz diesbezüglich zu Recht auf die Beschwerde eingetreten. Das Eidgenössische Versicherungsgericht hat indessen bereits wiederholt festgehalten, die Tatsache allein, dass Dr. S._ serbischer Abstammung sei, reiche nicht für eine Befangenheit bei der Beurteilung von Versicherten anderer Ethnien aus dem früheren Jugoslawien aus (AHI 2001 S. 116; Urteil vom 14. Februar 2002, I 712/00). Die Vorinstanz hat daher zutreffend verneint, dass aufgrund der ethnischen Herkunft von Dr. med. S._ auf den Anschein einer Befangenheit geschlossen werden könne.
7.3 Weiter führte der Beschwerdegegner am 25. Juli 2003 ethnische Gründe an. Da bei der Geltendmachung von Befangenheit aus ethnischen Gründen aufgrund der Gegebenheiten des konkreten Falles ein formeller Ausstandsgrund vorliegen kann, hat die IV-Stelle zu Recht eine Verfügung erlassen und ist die Vorinstanz diesbezüglich zu Recht auf die Beschwerde eingetreten. Das Eidgenössische Versicherungsgericht hat indessen bereits wiederholt festgehalten, die Tatsache allein, dass Dr. S._ serbischer Abstammung sei, reiche nicht für eine Befangenheit bei der Beurteilung von Versicherten anderer Ethnien aus dem früheren Jugoslawien aus (AHI 2001 S. 116; Urteil vom 14. Februar 2002, I 712/00). Die Vorinstanz hat daher zutreffend verneint, dass aufgrund der ethnischen Herkunft von Dr. med. S._ auf den Anschein einer Befangenheit geschlossen werden könne.
7.4 7.4.1 In der vorinstanzlichen Replik vom 2. Oktober 2003 erwähnte der Versicherte sodann erstmals konkrete Äusserungen, welche der Gutachter ihm gegenüber gemacht habe. Demnach soll dieser gesagt haben, wenn er Dr. med. V._ und Dr. med. A._ als Arzt und Rechtsanwalt G._ als Rechtsvertreter habe, sei alles klar. Das kantonale Gericht hat erwogen, diese Bemerkung habe auch bei objektiver Betrachtung beim Versicherten den Eindruck erwecken lassen, Dr. med. S._ beurteile die Arbeitsfähigkeitsschätzung der beiden genannten Ärzte als unzuverlässig und regelmässig zu pessimistisch und er betrachte die von diesen behandelten und zudem von Rechtsanwalt G._ vertretenen Personen als zur Gruppe der Rentenbegehrlichen gehörend. Der Versicherte habe demnach damit rechnen müssen, der Gutachter habe bei der dritten Abklärung eine in diesem Sinne vorgefasste Meinung und werde deshalb voreingenommen und befangen sein.
7.4.2 Ausstands- oder Ablehnungsgründe müssen nach der Rechtsprechung so früh wie möglich geltend gemacht werden. Es verstösst gegen Treu und Glauben, Einwendungen dieser Art erst im Rechtsmittelverfahren vorzubringen, wenn dies schon vorher hätte getan werden können. Wird die sachverständige Person nicht unverzüglich als befangen abgelehnt, wenn die betroffene Person vom Ablehnungsgrund Kenntnis erhält, verwirkt sie den Anspruch auf spätere Anrufung der Verfahrensgarantie (AHI 2001 S. 116 Erw. 4a/aa). Weder in den Eingaben vom 9. und 25. Juli 2003 noch in der Einsprache/Beschwerde vom 8. August 2003 hat der Beschwerdegegner die angeblich von Dr. med. S._ gemachten Äusserungen erwähnt. Es mutet jedenfalls seltsam an, dass der Versicherte bis dahin mit keinem Wort auf einen solch gewichtigen Vorfall einging. Die erst zu diesem späten Zeitpunkt vorgebrachten Rügen sind daher als Schutzbehauptungen zu betrachten, auf welche das kantonale Gericht nicht hätte abstellen dürfen. Ob die geltend gemachten Gründe tatsächlich eine Befangenheit von Dr. med. S._ darstellen, kann daher offen bleiben.
7.5 Demnach ergibt sich, dass das kantonale Gericht die Verfügung vom 29. Juli 2003 zu Unrecht wegen Befangenheit des Gutachters aufgehoben hat.

Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 18. November 2003 aufgehoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 8. Februar 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der I. Kammer: Die Gerichtsschreiberin: