Sachverhalt:
A. Der 1957 geborene B._ meldete sich am 12. Mai 2010 zum Bezug von Leistungen bei der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich ordnete mit Schreiben vom 1. Oktober 2010 eine Begutachtung im Institut X._ an. Der Versicherte erhob Einwände gegen die Gutachtenstelle und beantragte den Erlass einer Verfügung, falls die Verwaltung an der Begutachtung durch das Institut X._ festhalte. In der Folge erging keine Verfügung.
B. Die hierauf erhobene Rechtsverweigerungsbeschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. Februar 2011 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei, in Aufhebung des angefochtenen Entscheids, die Rechtsverweigerung festzustellen und die Beschwerdegegnerin zum Erlass einer Verfügung zu verpflichten.

Erwägungen:
1. Mit dem angefochtenen Entscheid hat die Vorinstanz eine Rechtsverweigerungsbeschwerde nach <ref-law> (in Verbindung mit <ref-law>) abgewiesen (zur Zuständigkeit vgl. <ref-ruling> E. 2 S. 92). Darin liegt ein Endentscheid (<ref-law>), welcher in der Invalidenversicherung der Beschwerde in öffentlich-rechtlicher Angelegenheit unterliegt (<ref-law>).
2. Streitig ist, ob die behauptete wirtschaftliche Abhängigkeit des Instituts X._ zu Sozialversicherungsträgern einen formellen Ausstandsgrund darstellt und hierüber eine Verfügung zu erlassen ist.
Der Ausstand wird nicht im Zusammenhang mit einem gerichtlichen Gutachten, sondern mit einer administrativen Sachverhaltsabklärung nach <ref-law> verlangt. Die Verwaltung holt bei Bedarf bei unabhängigen Sachverständigen Gutachten ein (vgl. <ref-law>). Selbst wenn, wie vom Beschwerdeführer unterstellt, eine wirtschaftliche Abhängigkeit des Instituts X._ zu den Sozialversicherungsträgern bestünde, führte dies nicht zu einem formellen Ausstandsgrund im Sinne von <ref-law>. Wenn die wirtschaftliche Abhängigkeit eines von der Verwaltung beauftragten Gutachters einen gesetzlichen Ausstandsgrund darstellen würde, wäre - a fortiori - jeder Verwaltungsangestellte immer und ohne weiteres befangen. Die Tatsache allein, dass eine Person, die an der Vorbereitung eines Entscheids beteiligt ist, für die Verwaltung arbeitet und demzufolge die Aufgaben dieser Verwaltung wahrzunehmen hat, stellt offensichtlich keinen Ausstandsgrund dar; ansonsten müsste die gesamte Verwaltung bei allen ihren rechtsverbindlichen Handlungen stets in den Ausstand treten und könnte ihre Aufgaben gar nie wahrnehmen. Formelle Ausstandsgründe im Sinne von <ref-law> sind nicht schon dadurch gegeben, dass jemand zur Verwaltung gehört, sondern erst, wenn die Verwaltungsangestellten in der Sache persönlich befangen sind (vgl. statt vieler <ref-ruling>; SVR 2010 IV Nr. 66 S. 199 E. 2.2, 9C_304/2010; SVR 2007 IV Nr. 22 S. 77 E. 2.2.2, I 478/04; Urteile 8C_425/2009 vom 9. Oktober 2009 E. 3, 9C_67/2007 vom 28. August 2007 E. 2.4, U 302/05 vom 30. August 2006 E. 4.4, 1P.208/2001 vom 16. Juli 2001 E. 3). Daran ändert die Parteistellung der IV-Stelle im nachfolgenden Beschwerdeverfahren nichts. Denn das Durchführungsorgan der Sozialversicherung bleibt als Behörde auch nach dem Übergang zum Anfechtungsstreitverfahren - trotz seiner formellen Parteistellung - an die rechtsstaatlichen Grundsätze (<ref-law>) gebundenes Verwaltungsorgan, welches zur Neutralität und Objektivität verpflichtet ist (BGE 9C_243/2010 vom 28. Juni 2011 E. 2.2.2; <ref-ruling> E. 4.2.2 S. 379). Sodann ist eine Verletzung des Diskriminierungsverbots nicht erkennbar (Art. 8 Abs. 2 EMRK; Art. 14 in Verbindung mit Art. 6 EMRK; BGE 9C_243/2010 E. 3.4.2.1). Die Vorinstanz hat demzufolge richtig erkannt, dass es sich bei der wirtschaftlichen Abhängigkeit des Instituts X._ von den Sozialversicherungsträgern nicht um einen formellen Ausstandsgrund handelt, weswegen keine anfechtbare Verfügung zu erlassen war (<ref-law> in Verbindung mit <ref-law>, <ref-law>).
3. Soweit die Sache noch bei der IV-Stelle anhängig ist und der Beschwerdeführer an seinem Leistungsbegehren weiterhin festhält, seien die Verfahrensbeteiligten auf E. 3.4.2.6 des erwähnten Urteils 9C_243/2010 hingewiesen.
4. In Anwendung von <ref-law> wird auf die Erhebung von Gerichtskosten umständehalber verzichtet.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Ettlin