Sachverhalt:
A. A.a Der 1957 geborene E._ war von Mai 1988 bis Ende Januar 2004 als Lagerist angestellt. Im Dezember 2003 meldete er sich unter Hinweis auf Rückenbeschwerden und psychische Probleme bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf das Gutachten des Instituts X._ vom 24. Februar 2006 wies die IV-Stelle des Kantons St. Gallen den Anspruch auf Invalidenrente mit Verfügung vom 8. Mai 2006 ab und bestätigte dies mit Einspracheentscheid vom 16. August 2006. Das Versicherungsgericht des Kantons St. Gallen wies die dagegen erhobene Beschwerde mit Entscheid vom 22. November 2007 ab.
A.b Im Februar 2008 gelangte E._ mit einem neuen Rentengesuch an die Invalidenversicherung. Auf Vorschlag ihres Regionalen Ärztlichen Dienstes ordnete die IV-Stelle gemäss Mitteilung vom 25. April 2008 eine Verlaufsbegutachtung durch das Institut X._ an. Mit Schreiben vom 10. Oktober und 6. November 2008 teilte der Versicherte der IV-Stelle mit, nachdem im ersten Verfahren seitens seines damaligen Rechtsvertreters massive Vorwürfe an die Adresse des Instituts X._ und deren Medizinalpersonen gerichtet worden seien, sei die Unbefangenheit dieser Institution und ihres Orthopäden Dr. med. H._ fraglich. In der Folge hielt die Verwaltung an der Begutachtung durch die Ärzte des Instituts X._ fest und wies E._ mit Schreiben vom 14. November 2008 auf die Folgen einer Verletzung der Mitwirkungspflicht hin. Nachdem er den Untersuchungstermin vom 17. November 2008 wahrgenommen hatte, machte der Versicherte gegen den mit der Fallführung betrauten Facharzt Dr. med. H._ erneut Befangenheit geltend. Das Gutachten wurde am 8. Dezember 2008 erstellt. Mit Verfügung vom 5. August 2009 verneinte die IV-Stelle das Vorliegen von Ausstandsgründen und lehnte gleichzeitig das Leistungsbegehren ab.
B. Beschwerdeweise liess E._ die Aufhebung der Verfügung vom 5. August 2009 und die Rückweisung der Sache an die IV-Stelle beantragen. In diesem Verfahren machte er geltend, die IV-Stelle hätte über sein Ausstandsbegehren in Form einer selbständig anfechtbaren Zwischenverfügung befinden müssen.
Das Versicherungsgericht des Kantons St. Gallen wies die Beschwerde mit Entscheid vom 20. August 2010 ab, indem es den Anspruch auf eine Zwischenverfügung über den Ausstand unter Hinweis auf die Endverfügung vom 5. August 2009 ablehnte, das Vorliegen von Ausstandsgründen verneinte und den von der IV-Stelle gestützt auf das Gutachten des Instituts X._ vom 8. Dezember 2008 abschlägig beurteilten Rentenanspruch bestätigte.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und die Sache zur Abklärung der Leistungsansprüche an die Verwaltung zurückzuweisen.
IV-Stelle, kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Nach Art. 107 Abs. 1 BGG darf das Bundesgericht nicht über die Begehren der Parteien hinausgehen. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem eine Rechtsverletzung nach Art. 95 BGG geltend gemacht werden. Das Bundesgericht prüft, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
2. Streitig ist, ob die IV-Stelle über das Ausstandsbegehren in Form einer anfechtbaren Zwischenverfügung hätte befinden müssen.
2.1 Nach Art. 49 Abs. 1 ATSG (SR 830.1) hat der Versicherungsträger über Leistungen, Forderungen und Anordnungen, die erheblich sind oder mit denen die betroffene Person nicht einverstanden ist, schriftlich eine Verfügung zu erlassen. Dies gilt insbesondere auch dann, wenn der Versicherungsträger über das Vorbringen von gesetzlichen Ausstandsgründen zu entscheiden hat (BGE 132 V 93 E. 6 S. 106 ff.; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 22 zu Art. 44 ATSG). Gegen Einspracheentscheide oder Verfügungen, gegen welche eine Einsprache ausgeschlossen ist (vgl. Art. 52 Abs. 1 ATSG), kann Beschwerde erhoben werden (Art. 56 Abs. 1 ATSG). Dies gilt namentlich für prozess- und verfahrensleitende Verfügungen und somit auch für Zwischenverfügungen (KIESER, a.a.O., N. 24 zu Art. 49 ATSG). Aufgrund einer Spezialregelung im Leistungsbereich der Invalidenversicherung geht der Verfügung ein Vorbescheidverfahren voraus (Art. 57a Abs. 1 IVG sowie Art. 73bis und 73ter IVV), wobei die Verfügung der IV-Stelle beim kantonalen Versicherungsgericht am Ort der IV-Stelle anzufechten ist (Art. 69 Abs. 1 IVG). Die Verfügung bildet, formell, Anfechtungsgegenstand im erstinstanzlichen Beschwerdeverfahren und stellt eine Sachurteilsvoraussetzung dar (BGE 125 V 413 E. 1a S. 414 mit Hinweisen).
Beschwerde kann auch erhoben werden, wenn der Versicherungsträger entgegen dem Begehren der betroffenen Person keine Verfügung erlässt (Art. 56 Abs. 2 ATSG).
2.2 Über formelle Ausstandsgründe ist möglichst vorab und nicht erst zusammen mit dem Entscheid in der Sache zu befinden (BGE 132 V 93 E. 6.2 S. 106). Verfügungen über den Ausstand schliessen das Verfahren nicht ab, sondern stellen lediglich einen Zwischenschritt auf dem Weg zur Verfahrenserledigung dar (UHLMANN/WÄLLE-BÄR, in: Praxiskommentar zum VwVG, 2009, N. 3 zu Art. 45 VwVG). Zur Frage der Anfechtbarkeit von Zwischenverfügungen enthält das ATSG keine ausdrückliche Bestimmung. Nach Art. 45 Abs. 1 VwVG (SR 172.021; in der seit 1. Januar 2007 in Kraft stehenden Fassung), welcher im Rahmen des ATSG aufgrund von Art. 55 Abs. 1 ATSG als allgemeiner verfahrensrechtlicher Grundsatz ergänzend zur Anwendung kommt (KIESER, a.a.O., N. 24 zu Art. 49 ATSG und N. 11 zu Art. 56 ATSG), sind selbständig eröffnete Zwischenverfügungen über Ausstandsbegehren mittels Beschwerde anfechtbar (vgl. BGE 132 V 93 E. 6.3 S. 107). Diese Verfügungen können später nicht mehr angefochten werden (Art. 45 Abs. 2 VwVG). Eine ähnlich lautende Regelung enthält auch Art. 92 BGG. Die Verwirkungsfolge ist Ausdruck des Grundsatzes der Verfahrensökonomie und von Treu und Glauben (Art. 5 Abs. 3 BV; MARTIN KAYSER, in: Kommentar zum Bundesgesetz über das Verwaltungsverfahren [VwVG], 2008, N. 13 zu Art. 45 VwVG; UHLMANN/WÄLLE-BÄR, a.a.O., N. 23 zu Art. 45 VwVG).
3. 3.1 Das Verwaltungsgericht hat im angefochtenen Entscheid erwogen, der im Verwaltungsverfahren erhobene Einwand der Befangenheit der Gutachter des Instituts X._ sei formeller Natur, weshalb die Beschwerdegegnerin grundsätzlich verpflichtet gewesen wäre, darüber mittels einer anfechtbaren Zwischenverfügung zu befinden. Da sich der Beschwerdeführer der angeordneten Begutachtung unterzogen habe und sich die IV-Stelle in der Verfügung vom 5. August 2009 zu den geltend gemachten Ausstandsgründen geäussert und diese verneint habe, sei dem Versicherten aus dem gerügten Vorgehen der IV-Stelle kein Nachteil erwachsen. Nach Ansicht der Vorinstanz sind auch keine prozessökonomischen Gründe ersichtlich, welche für eine Aufhebung der streitigen Verfügung sprechen würden.
3.2 Der Beschwerdeführer wirft dem kantonalen Gericht eine Verletzung von Bundesrecht vor, weil dieses das gerügte Fehlen einer selbständig anfechtbaren Zwischenverfügung über den Ausstand als durch den Erlass der Endverfügung vom 5. August 2009 und die Überprüfungsmöglichkeit im kantonalen Gerichtsverfahren geheilt betrachtet hat. Entgegen dem Vorbringen des Beschwerdeführers trifft es indessen nicht zu, dass die IV-Stelle keinesfalls gleichzeitig über den geltend gemachten Ausstand und den Rentenanspruch befinden darf. Wie bereits das kantonale Gericht zutreffend erwogen hat, ergibt sich aus dem vom Beschwerdeführer zitierten Entscheid des Verwaltungsgerichts des Kantons Luzern vom 19. Februar 2001 (publiziert in SVR 2002 UV Nr. 7 S. 17) lediglich, dass eine Leistungsverweigerung oder -einstellung wegen fehlender Mitwirkung bei der Abklärung des medizinischen Sachverhalts nicht erfolgen darf, solange über das Ablehnungsgesuch nicht entschieden worden ist. Mit Bezug auf den Beschwerdeführer bedeutet dies einzig, dass er die Teilnahme an der medizinischen Begutachtung durch das Institut X._ bis zum Vorliegen des Entscheids über die geltend gemachten Ausstandsgründe hätte verweigern können, ohne Sanktionen gewärtigen zu müssen.
3.3 Erlässt die zuständige Behörde keine selbständig anfechtbare Zwischenverfügung, ist der betroffenen Partei namentlich dann ein Anspruch auf selbständige Eröffnung einzuräumen, wenn ein nicht wieder gutzumachender Nachteil droht. In einem solchen Fall steht es nicht im Ermessen der Behörde, ob sie eine Zwischenverfügung erst zusammen mit der Endverfügung eröffnet. Kommt diese ihrer Pflicht nicht nach, kann die Partei, welche Einwendungen formeller Natur gegen medizinische Gutachter erhebt (vgl. dazu BGE 132 V 93 E. 6.5 S. 108), eine selbständig eröffnete Zwischenverfügung verlangen und gegebenenfalls Rechtsverweigerungsbeschwerde erheben (Art. 56 Abs. 2 ATSG; Urteil 9C_199/2009 vom 9. Juni 2009 E. 2.1; UHLMANN/WÄLLE-BÄR, a.a.O., N. 11 zu Art. 45 VwVG; UHLMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 5 zu Art. 92 BGG). Nach dem Grundsatz von Treu und Glauben darf sie davon nicht einfach absehen, sich der Untersuchung durch angeblich befangene Ärzte unterziehen und dann, je nach Ergebnis, die Durchführung einer erneuten Begutachtung verlangen (vgl. BGE 128 V 82 E. 2b S. 85; UHLMANN/WÄLLE-BÄR, a.a.O., N. 11 und N. 23 zu Art. 45 VwVG).
3.4 Der Beschwerdeführer hat im Verwaltungsverfahren zwar Befangenheit der Gutachter geltend gemacht, ohne jedoch gemäss Art. 56 Abs. 2 ATSG eine Zwischenverfügung über den Ausstand zu verlangen und Rechtsverweigerungsbeschwerde beim kantonalen Versicherungsgericht zu erheben (Art. 56 Abs. 2 in Verbindung mit Art. 61 ATSG). Er machte auch nicht geltend, durch die Untersuchung der Ärzte des Instituts X._ drohe ihm ein nicht wieder gutzumachender Nachteil. Vielmehr hat er sich dieser nach zu Unrecht angedrohten Nachteilen am 17. November 2008 unterzogen. Rechtsverweigerung kann zwar grundsätzlich jederzeit gerügt werden, zumindest solange das anbegehrte Verwaltungshandeln nicht erfolgt ist (RKUV 2004 Nr. U 506 S. 252, U 217/02 E. 4). Mit Verfügung vom 5. August 2009 hat die IV-Stelle sowohl den Einwand der Befangenheit zurückgewiesen als auch das Leistungsbegehren abgelehnt. Der Ausstand bildete somit Teil der Endverfügung.
3.5 Die Anfechtung von Zwischenverfügungen setzt voraus, dass sie formell selbständig eröffnet worden sind (vgl. Urteile 6B_846/2009 vom 26. Januar 2010 E. 3.1; 1C_459/2008 vom 13. Januar 2009 E. 1.5; 1C_282/2008 vom 7. April 2009 E. 2.3 f.). Nicht selbständig eröffnet sind Entscheidungen, die dem Empfänger innerhalb des Endentscheids oder mittels separater Verfügung, aber zeitgleich mit dem Endentscheid zugehen. Solche Entscheidungen sind Teil des Endentscheids und können nur mit diesem angefochten werden (UHLMANN/WÄLLE-BÄR, a.a.O., N. 10 zu Art. 45 VwVG; UHLMANN, a.a.O., N. 5 zu Art. 92 BGG). In einem solchen Fall hat das kantonale Versicherungsgericht auf Beschwerde hin zunächst über den streitigen Ausstand zu befinden und, falls es diesen verneint, auch das Leistungsbegehren auf seine Rechtmässigkeit hin zu überprüfen.
3.6 Mit der Beschwerde im vorinstanzlichen Verfahren hat der Versicherte erstmals geltend gemacht, über das Ausstandsbegehren sei in einer selbständig anfechtbaren Zwischenverfügung zu befinden. Mit dem Erlass der Verfügung in der Hauptsache vom 5. August 2009 ist der Anspruch auf selbständige Beurteilung des Ausstandsbegehrens nach dem Gesagten jedoch als verwirkt zu betrachten. Nachdem sich die IV-Stelle in der streitigen Verfügung zum Ausstandsbegehren geäussert hat, konnte dessen Ablehnung mittels Beschwerde beim kantonalen Gericht gerügt werden. Der Beschwerdeführer macht nicht geltend, inwiefern ihm durch die Anfechtung zusammen mit dem Endentscheid ein Nachteil erwachsen würde, noch ergeben sich aufgrund der Akten Anhaltspunkte dafür.
3.7 Zusammenfassend verstösst es daher nicht gegen Bundesrecht, wenn das kantonale Gericht die Aufhebung der Verfügung vom 5. August 2009 und Rückweisung der Sache zum Erlass einer Zwischenverfügung über den Ausstand abgelehnt hat.
4. 4.1 Im verwaltungsgerichtlichen Beschwerdeverfahren bilden innerhalb des Anfechtungsgegenstandes die vom Beschwerdeführer gestellten Anträge den Streitgegenstand (BGE 125 V 413 E. 2a S. 415). Der Beschwerdeführer hat in der vorinstanzlichen Beschwerdeschrift unter Hinweis auf das im Verwaltungsverfahren gestellte Ausstandsbegehren die Aufhebung der Verfügung vom 5. August 2009 verlangt. Somit bildete der Ausstand Prozessthema des erstinstanzlichen Verfahrens. Der Beschwerdeführer musste damit rechnen, dass das Gericht die Eintretensvoraussetzungen bejahen und die Sache materiell überprüfen würde. Er hätte daher sämtliche Argumente in der Beschwerdeschrift oder zumindest im Rahmen des durchgeführten zweiten Schriftenwechsels vorbringen müssen, um nicht Gefahr zu laufen, seiner Ansprüche verlustig zu gehen. Soweit der Beschwerdeführer eine Verletzung des rechtlichen Gehörs geltend macht, weil die Vorinstanz über die Ausstandsgründe befunden hat, ohne ihm vorgängig nochmals Gelegenheit zur Stellungnahme einzuräumen, einen weiteren Schriftenwechsel anzuordnen oder eine mündliche Hauptverhandlung anzusetzen, kann er daher nicht gehört werden. Das kantonale Gericht hätte es aufgrund der vorgebrachten Rügen nämlich grundsätzlich auch dabei bewenden lassen können, das Begehren um Erlass einer Zwischenverfügung über den Ausstand abzuweisen.
4.2 Im letztinstanzlichen Verfahren verlangt der Beschwerdeführer einzig die Aufhebung des angefochtenen Entscheids aus formellen Gründen, ohne sich mit der vorinstanzlichen Begründung in der Sache selbst auseinanderzusetzen. Nach dem in E. 1 hievor Gesagten ist darauf daher nicht näher einzugehen.
5. Dies führt zur Abweisung der Beschwerde. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. März 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Hofer