Sachverhalt:
A. Der 1975 geborene B._ war als Angestellter der X._ AG bei der Stiftung Auffangeinrichtung BVG (Auffangeinrichtung) für die berufliche Vorsorge versichert. Mit Verfügungen vom 3. November 2005 gewährte die Invalidenversicherung ab 1. Januar 2001 bis 30. April 2003 eine ganze und ab 1. Mai 2003 eine halbe Rente der Invalidenversicherung. Später sprach die IV-Stelle Zug rückwirkend ab 1. Januar 2001 eine ganze Invalidenrente zu (Invaliditätsgrad 100 %). Die Auffangeinrichtung erbrachte im September 2009 rückwirkend ab 1. Januar 2001 Rentenleistungen aus beruflicher Vorsorge in der Höhe von Fr. 94'599.50. Sie lehnte es hingegen ab, auf den Nachzahlungsbetrag Verzugszinsen zu bezahlen.
B. B._ liess beim Sozialversicherungsgericht des Kantons Zürich Klage einreichen und beantragen, die Klagegegnerin sei für die Zeit ab 1. Januar 2006 bis 14. September 2009 zur Zahlung von Verzugszins von 5 % auf den nachträglich gewährten Rentenleistungen zu verhalten. Sodann seien der Rechtsschutzversicherung Fr. 13'855.20 für Anwaltskosten zurückzuerstatten und der nunmehrige Rechtsvertreter (Vater des Versicherten) sei mit Fr. 6'928.- zu entschädigen. Das Sozialversicherungsgericht des Kantons Zürich trat mit Beschluss vom 24. September 2010 auf die Klage nicht ein und überwies die Sache an das örtlich zuständige Verwaltungsgericht des Kantons Zug. Dieses wies die Klage mit Entscheid vom 17. März 2011 ab, soweit es darauf eintrat.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ Verzugszinsen ab 12. Dezember 2005 bis 31. März 2010 auf den rückwirkend ausbezahlten Rentenbetreffnissen von Fr. 94'599.50 beantragen. Seine früheren Rechtsanwälte seien zum Verfahren beizuladen. Im Weiteren sei für das vorinstanzliche Verfahren eine Entschädigung von Fr. 6'928.- und für das Verfahren vor Bundesgericht Fr. 3'500.- zuzusprechen. Es werden sodann ein "1. Schriftenwechsel" und eine öffentliche Verhandlung beantragt.
D. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege hat das Bundesgericht mit Verfügung vom 22. Juni 2011 wegen Aussichtslosigkeit abgewiesen. Den Kostenvorschuss leistete der Beschwerdeführer innert Frist. Mit Eingabe vom 4. Juli 2011 verlangt er die Wiedererwägung der Verfügung vom 22. Juni 2011.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Das Beiladungsbegehren ist neu und daher unzulässig (Art. 99 Abs. 2 BGG). Nicht zu entsprechen ist sodann dem Antrag auf Durchführung einer öffentlichen Verhandlung mit Zeugeneinvernahme (Art. 57 BGG). Vor kantonalem Gericht fand eine öffentliche Parteiverhandlung statt. Der Versicherte konnte dabei seinen Standpunkt einem unabhängigen und unparteiischen Gericht mit in tatsächlicher und rechtlicher Hinsicht uneingeschränkter Überprüfungsbefugnis darlegen. Den Anforderungen von Art. 6 Abs. 1 EMRK ist damit Genüge getan (BGE 136 I 279 E. 1). Zudem ist die Sache spruchreif, weshalb auch insofern eine mündliche Parteiverhandlung (Art. 57 BGG) nicht angezeigt ist (Urteil 4A_612/2009 vom 10. Februar 2010 E. 4.2).
3. Streitig und zu prüfen ist der Anspruch auf Verzugszinsen für nachbezahlte Rentenbetreffnisse aus beruflicher Vorsorge.
3.1 Gemäss Art. 42 Abs. 1 BGG muss ein Rechtsmittel u.a. die Begehren und deren Begründung mit Angabe der Beweismittel enthalten, wobei nach Art. 42 Abs. 2 BGG in gedrängter Form darzulegen ist, inwiefern der angefochtene Entscheid Recht verletzt. Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird (vgl. BGE 131 II 449 E. 1.3 S. 452; 123 V 335 E. 1 S. 337 f. mit Hinweisen). Dies setzt voraus, dass sich eine Beschwerde führende Partei wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Andernfalls ist auf das Rechtsmittel nicht einzutreten (BGE 134 II 244 E. 2.3 S. 246 f.; Urteil 8C_650/2009 vom 21. Januar 2009 E. 2.1).
3.2 Das kantonale Gericht verneinte einen reglementarischen Anspruch auf Verzugszinsen. Dagegen trägt der Beschwerdeführer nur vor, die Vorinstanz habe die Reglemente nicht "analytisch" geprüft, "wie man es hätte erwarten können". Er sei der Meinung, die reglementarische Verzugszinspflicht sei vom Bundesgericht abzuklären. Der Versicherte nennt weder eine einschlägige Reglementsbestimmung, noch erläutert er, inwiefern die Vorinstanz das Reglement bundesrechtswidrig angewendet haben soll (Art. 95 lit. a BGG). Die Beschwerde genügt in diesem Punkt den Begründungsanforderungen offensichtlich nicht, weshalb auf die Rüge nicht einzutreten ist (BGE 134 II 244 E. 2.1; vgl. Urteil 1C_355/2008 vom 28. Januar 2009 E. 1.3.4).
4. 4.1 Das kantonale Gericht führte im angefochtenen Entscheid korrekt die Rechtsprechung an, laut welcher sich die Verzugszinspflicht bei Renten aus beruflicher Vorsorge nach Art. 105 Abs. 1 OR richtet, sofern eine diesbezügliche reglementarische Regelung fehlt (BGE 119 V 131 E. 4c S. 135; Urteil B 136/06 vom 9. Juli 2007 E. 6.2 nicht publ. in: BGE 133 V 408). Gemäss Art. 105 Abs. 1 OR hat ein Schuldner, der mit der Zahlung von Zinsen oder mit der Entrichtung von Renten oder mit der Bezahlung einer geschenkten Summe im Verzug ist, erst vom Tage der Anhebung der Betreibung oder der gerichtlichen Klage an Verzugszinsen zu zahlen.
4.2 Rechtsfehlerfrei und daher verbindlich (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG) stellte die Vorinstanz fest, der Beschwerdeführer habe die Auffangeinrichtung weder betrieben noch gegen sie Klage erhoben. Nicht einzugehen ist auf die in der Beschwerde vertretene und nicht näher begründete Auffassung (Art. 42 Abs. 2 BGG), beim Vergleich mit der Auffangeinrichtung - welcher nach Lage der Akten aussergerichtlich abgeschlossen worden ist - handle es sich um eine Klageanerkennung. Der Versicherte behauptet nicht, je gegen die Auffangeinrichtung vor einem Gericht geklagt zu haben. Da auch keine gegen die Auffangeinrichtung gerichtete Betreibung festgestellt ist, sind Verzugszinsen nicht geschuldet.
5. 5.1 Die beantragte Änderung der Rechtsprechung (vgl. E. 4.1 hievor) stützt sich nicht auf ernsthafte und sachliche Gründe (vgl. BGE 132 III 770 E. 4 S. 777; 127 I 49 E. 3c S. 52; 126 I 122 E. 5 S. 129). Die sinngemäss erhobene Kritik, die analoge Anwendung von Art. 105 Abs. 1 OR werde der Sache nicht gerecht, überzeugt nicht. Der Grund für die in Art. 105 Abs. 1 OR statuierte Abweichung von der allgemeinen Regel von Art. 102 Abs. 1 OR, wonach die Verzugszinspflicht mit der Mahnung des Schuldners ausgelöst wird (Art. 104 Abs. 1 OR), liegt darin, dass Renten an sich für den Unterhalt und nicht als zinstragende Geldanlage verwendet werden. Der Zinsenlauf auf Renten soll auch nicht unüberblickbar werden (erwähntes Urteil B 136/06 E. 6.2; Urteil 9C_254/2009 vom 26. Mai 2009 E. 2.3.2). Die ratio legis von Art. 105 Abs. 1 OR - mit welcher sich der Beschwerdeführer nicht ansatzweise auseinandersetzt - ist ausschlaggebender Grund für deren analogieweise Anwendung bei Renten der beruflichen Vorsorge. Unbehelflich ist die Sichtweise des Versicherten, mit einer andern Verzugszinsregelung, welche er nicht näher konkretisiert (Art. 42 Abs. 2 BGG), liesse sich das Abklärungsverfahren beschleunigen. Nach Massgabe von Art. 105 Abs. 1 OR kann der Zinsenlauf durch die versicherte Person selbst in Gang gesetzt werden, wobei die dazu erforderliche Klageeinreichung oder die Betreibung ebenfalls geeignet sind, eine Verfahrensbeschleunigung zu bewirken (Art. 102 Abs. 1 und Art. 104 Abs. 1 OR).
5.2 Der Beschwerdeführer dringt sodann mit dem Vorwurf des Rechtsmissbrauchs nicht durch. Im Verhältnis zwischen Privaten ist für den offenbaren Rechtsmissbrauch charakteristisch, dass eine Partei die andere zu einem bestimmten Verhalten verleitet, um daraus treuwidrig Vorteile zu ziehen, sei es durch Geltendmachung von Ansprüchen, sei es durch die Erhebung von Einreden (BGE 133 III 497 E. 5.2). Die Beschwerdegegnerin hatte zunächst den Anspruch auf Rentenleistungen verneint. Erst später bejahte sie die Leistungspflicht. Im vorliegenden Zusammenhang stellt dieses Verhalten keinen Rechtsmissbrauch dar. Die Auffangeinrichtung gab dem Beschwerdeführer aktenkundig nie Anlass, mit einer den Zinsenlauf auslösenden Klage oder Betreibung zuzuwarten. Gegenteils hätte die Anspruchsablehnung Anlass einer frühen Klage sein können und müssen, wenn der Beschwerdeführer auf den allfällig nachzuentrichtenden Rentenbetreffnissen Verzugszinsen verlangte. Unter dem Titel des rechtsmissbräuchlichen Verhaltens lässt sich eine Verzugszinspflicht daher nicht begründen. Die lange Verfahrensdauer allein vermag in Bezug auf Rentenleistungen der beruflichen Vorsorge - entgegen dem Beschwerdeführer - keine Verzugszinspflicht auszulösen (vgl. BGE 119 V 131 E. 3a S. 132 und E. 4c S. 135). Zudem war die Versicherteneigenschaft des Beschwerdeführers lange umstritten, weil nach Eintritt des Versicherungsfalles rückwirkend Löhne nachbezahlt worden sind. Dieser Umstand lag im Einflussbereich der Arbeitgeberin.
6. Das kantonale Gericht trat auf das Begehren nicht ein, dem Vater des Versicherten sei als Rechtsvertreter eine Aufwandsentschädigung von Fr. 6'928.- zuzusprechen. Letztinstanzlich wird nur auf die materielle Seite der geltend gemachten Entschädigung Bezug genommen, ohne Auseinandersetzung mit dem Nichteintreten. Die Beschwerdebegründung ist insofern nicht sachbezogen (E. 3.1 hievor; Art. 42 Abs. 2 BGG). Die Eintretensvoraussetzungen sind ebenfalls nicht erfüllt (vgl. BGE 123 V 335; 118 Ib 134; ARV 2002 Nr. 7 S. 61 E. 2).
7. 7.1 Die Beschwerde hatte keine Aussicht auf Erfolg, weshalb sie ohne Durchführung eines Schriftenwechsels im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG erledigt wird. Dementsprechend ist dem Begehren um Wiedererwägung der (das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der Beschwerde abweisenden) Verfügung vom 22. Juni 2011 nicht zu entsprechen.
7.2 Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Anspruch auf eine Parteientschädigung hat er als unterliegende Partei nicht (Art. 68 Abs. 1 BGG). Eine Parteientschädigung kann auch die Auffangeinrichtung nicht beanspruchen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Das Wiedererwägungsgesuch gegen die Verfügung vom 22. Juni 2011 wird abgewiesen.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 2. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Ettlin