Sachverhalt: A. Der 1975 geborene B._ war als Angestellter der X._ AG bei der Stiftung Auffangeinrichtung BVG (Auffangeinrichtung) für die berufliche Vorsorge versichert. Mit Verfügungen vom 3. November 2005 gewährte die Invalidenversicherung ab 1. Januar 2001 bis 30. April 2003 eine ganze und ab 1. Mai 2003 eine halbe Rente der Invalidenversicherung. Später sprach die IV-Stelle Zug rückwirkend ab 1. Januar 2001 eine ganze Invalidenrente zu (Invaliditätsgrad 100 %). Die Auffangeinrichtung erbrachte im September 2009 rückwirkend ab 1. Januar 2001 Rentenleistungen aus beruflicher Vorsorge in der Höhe von Fr. 94'599.50. Sie lehnte es hingegen ab, auf den Nachzahlungsbetrag Verzugszinsen zu bezahlen. B. B._ liess beim Sozialversicherungsgericht des Kantons Zürich Klage einreichen und beantragen, die Klagegegnerin sei für die Zeit ab 1. Januar 2006 bis 14. September 2009 zur Zahlung von Verzugszins von 5 % auf den nachträglich gewährten Rentenleistungen zu verhalten. Sodann seien der Rechtsschutzversicherung Fr. 13'855.20 für Anwaltskosten zurückzuerstatten und der nunmehrige Rechtsvertreter (Vater des Versicherten) sei mit Fr. 6'928.- zu entschädigen. Das Sozialversicherungsgericht des Kantons Zürich trat mit Beschluss vom 24. September 2010 auf die Klage nicht ein und überwies die Sache an das örtlich zuständige Verwaltungsgericht des Kantons Zug. Dieses wies die Klage mit Entscheid vom 17. März 2011 ab, soweit es darauf eintrat. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ Verzugszinsen ab 12. Dezember 2005 bis 31. März 2010 auf den rückwirkend ausbezahlten Rentenbetreffnissen von Fr. 94'599.50 beantragen. Seine früheren Rechtsanwälte seien zum Verfahren beizuladen. Im Weiteren sei für das vorinstanzliche Verfahren eine Entschädigung von Fr. 6'928.- und für das Verfahren vor Bundesgericht Fr. 3'500.- zuzusprechen. Es werden sodann ein "1. Schriftenwechsel" und eine öffentliche Verhandlung beantragt. D. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege hat das Bundesgericht mit Verfügung vom 22. Juni 2011 wegen Aussichtslosigkeit abgewiesen. Den Kostenvorschuss leistete der Beschwerdeführer innert Frist. Mit Eingabe vom 4. Juli 2011 verlangt er die Wiedererwägung der Verfügung vom 22. Juni 2011.