Sachverhalt:
Mit Verfügungen vom 26. Juli 2010 sprach die IV-Stelle Luzern M._ vom 1. August 2007 bis 30. September 2008 und wiederum ab 1. September 2009 eine ganze Invalidenrente zu.
Die daraufhin von M._ gegen die Zuger Pensionskasse eingereichte Klage vom 7. September 2011 hiess das Verwaltungsgericht des Kantons Zug mit Entscheid vom 15. Dezember 2011 insofern gut, als die Beklagte dem Kläger - vorbehältlich der Überentschädigungsberechnung und der Sistierung der Leistung für die Zeit, in welcher IV-Taggelder flossen - ab 1. August 2007 eine volle Invalidenrente zuzüglich Verzugszins von 5 % ab 7. September 2011 auszurichten hat. Im Übrigen wies es die Klage ab (Ziff. 1 des Dispositivs).
M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, Ziffer 1 des vorinstanzlichen Entscheides sei insofern aufzuheben, als ein Anspruch auf Verzugszins vom 1. August 2009 (Datum mittlerer Verfall) bis 6. September 2011 verneint worden ist, unter Verpflichtung der Beklagten zur Bezahlung eines Verzugszinses von 5 % für diesen Zeitraum. Die Zuger Pensionskasse schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten ist. Das kantonale Gericht beantragt ebenfalls die Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Angefochten ist der Beginn der Verzugszinspflicht.
1.1 Gemäss Art. 105 Abs. 1 OR hat ein Schuldner, der mit der Zahlung von Zinsen oder mit der Entrichtung von Renten oder mit der Bezahlung einer geschenkten Summe im Verzuge ist, erst vom Tage der Anhebung der Betreibung oder der gerichtlichen Klage an Verzugszinse zu zahlen.
1.2 § 48 Abs. 1 und 2 der Zuger Pensionskassenverordnung vom 20. November 2007 lautet wie folgt:
"Stellt sich nachträglich heraus, dass eine Leistung unrichtig festgesetzt worden ist, so berichtigt die Zuger Pensionskasse diese für künftige Auszahlungen. Geschuldete Leistungen werden mit Zinsen nachbezahlt. (Abs. 1)
Wer eine Leistung der Zuger Pensionskasse entgegennimmt, auf die kein Anspruch besteht, muss sie zurückerstatten. Die Rückerstattung erfolgt in der Regel mit Zins. In Härtefällen oder aus verwaltungsökonomischen Gründen kann auf die Rückerstattung von Leistungen der Zuger Pensionskasse ganz oder teilweise verzichtet werden. Die Kasse regelt das Nähere. (Abs. 2)"
1.3 Das kantonale Gericht erwog, § 48 des Reglements regle nicht den Fall, wo Rentenleistungen bislang überhaupt nicht gewährt worden seien; Zinshöhe sowie der Beginn des Zinsenlaufs bei Invalidenrenten gingen ebenfalls nicht aus dieser Bestimmung hervor. Solange aber eine diesbezüglich klare reglementarische oder gesetzliche Regelung fehle, richte sich die Verzugszinspflicht für fällige Invalidenrenten im Bereich der obligatorischen und der überobligatorischen Berufsvorsorge nach den Regeln von Art. 102 ff. OR, insbesondere nach Art. 105 Abs. 1 OR (Hinweis auf <ref-ruling> E. 4c S. 135 und Urteil 9C_334/2011 vom 2. August 2011 E. 4.1). Im vorliegenden Fall seien keine Gründe ersichtlich, davon abzuweichen. Die Klageerhebung datiere vom 7. September 2011. Es sei aktenkundig und unbestritten, dass der Kläger die Beklagte weder betrieben noch zu einem früheren Zeitpunkt Klage eingereicht habe. Somit schulde die Beklagte dem Kläger für die Zeit vor Klageeinreichung am 7. September 2011 keinen Verzugszins.
2. 2.1 Da es sich bei der Beschwerdegegnerin um eine öffentlich-rechtliche Vorsorgeeinrichtung handelt (§ 18 Abs. 1 des Gesetzes über die Zuger Pensionskasse vom 31. August 2006 [PKG]), hat die Auslegung der einschlägigen Bestimmungen des PKG und der dazu gehörigen Pensionskassenverordnung nach den gewöhnlichen Regeln der Gesetzesauslegung zu erfolgen (<ref-ruling> E. 2.2 S. 211; <ref-ruling> E. 4.1 S. 316 f.). Danach ist das Gesetz in erster Linie nach seinem Wortlaut auszulegen. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente, namentlich von Sinn und Zweck sowie der dem Text zu Grunde liegenden Wertung. Wichtig ist ebenfalls der Sinn, der einer Norm im Kontext zukommt. Vom klaren, d.h. eindeutigen und unmissverständlichen Wortlaut darf nur ausnahmsweise abgewichen werden, u.a. dann nämlich, wenn triftige Gründe dafür vorliegen, dass der Wortlaut nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Grund und Zweck oder aus dem Zusammenhang mit andern Vorschriften ergeben (<ref-ruling> E. 3.1 S. 169 f.; <ref-ruling> E. 2.2 S. 81; <ref-ruling> E. 7.1 S. 229 und 249 E. 4.1 S. 252).
2.2 Es ist eine frei überprüfbare Rechtsfrage, ob das kantonale Gericht von einem richtigen Verständnis der in § 48 Abs. 1 der Zuger Pensionskassenverordnung geregelten Verzugszinspflicht ausgegangen ist und die Anwendung dieser Bestimmung auf erstmals zugesprochene Invalidenrenten verneint hat (<ref-ruling> E. 5.1 S. 391; <ref-ruling> E. 2 S. 371 und 199 E. 1.2 S. 200; Seiler und andere, Kommentar zum Bundesgerichtsgesetz [BGG], 2007, N. 13 zu Art. 97 BGG).
3. 3.1 Der Beschwerdeführer stellt sich auf den Standpunkt, die Pensionskasse habe einen falschen Entscheid über die Leistung getroffen, was eine unrichtige Leistungsfestsetzung im Sinne des Wortlauts der Verordnungsbestimmung darstelle. Bei grammatikalischer Auslegung habe daher die Nachzahlung mit Zins zu erfolgen. § 48 Abs. 1 der Pensionskassenverordnung komme somit direkt zur Anwendung, eventuell aber zumindest analog. Das gleiche Ergebnis ergebe sich bei einer teleologischen Auslegung. Wenn bereits eine z.B. um 10 % zu tief festgesetzte Leistung zu einem Zins berechtige, dann müsse dies um so mehr für eine Nichtausrichtung einer Rente gelten. Auch auf Grund des Gleichbehandlungsgrundsatzes nach Art. 8 BV sei eine Gleichbehandlung des Beschwerdeführers mit einem Versicherten angezeigt, der eine unrichtig festgesetzte Rente erhalte. Auch aus § 48 Abs. 2 der Verordnung sei auf eine Verzugszinspflicht zu schliessen. Danach müsse ein Versicherter, der zu Unrecht eine Rente bezogen habe und diese vollumfänglich zurückzahlen müsse, ebenfalls einen Verzugszins schulden. Es sei nicht einsichtig, wieso dies bei der hier zu beurteilenden, umgekehrten Situation nicht der Fall sein sollte. Es bestehe kein Grund für eine derart einseitige, asymmetrische Regelung. In § 48 der Verordnung werde zwar nicht geregelt, ab wann der Zins laufe. Dies ändere aber nichts an der Zinspflicht. Es frage sich nur, ab wann Zins geschuldet sei. Hiefür komme nur ein Zeitpunkt in Frage: mit Ablauf des jeweiligen Monats, für den das Rentenbetreffnis geschuldet ist, gerate die Beklagte mit ihrer Rentenpflicht in Verzug. Die vorinstanzliche Auslegung verletze Art. 8 und Art. 9 der Bundesverfassung. Überdies liege eine Bundesrechtsverletzung in der Missachtung der Tatsache begründet, dass Art. 105 Abs. 1 OR dispositiver Natur sei. Von dieser bundesrechtlichen Regelung habe die Beklagte explizit Gebrauch gemacht und mit § 48 eine klare, abweichende Regelung statuiert, aus welcher sich eine Zinspflicht ergibt. Mit der Nichtausrichtung der Rente sei dem Beschwerdeführer ein ausgleichspflichtiger Schaden entstanden, der nur mit Zins ersetzbar sei.
3.2 Auszugehen ist vom Wortlaut des § 48 Abs. 1 der Pensionskassenverordnung. Danach werden unrichtig festgesetzte Leistungen für künftige Auszahlungen berichtigt. Geschuldete Leistungen werden mit Zinsen nachbezahlt. Wie auch aus dem Ingress von § 48 ("Berichtigung von Leistungen") hervorgeht, regelt die Bestimmung lediglich die Berichtigung von (laufenden) Leistungen. Die erstmalige Zusprechung von Leistungen ist vom Wortlaut her klar nicht erfasst. Ebenso regelt Abs. 2 von § 48 nur die Zinspflicht im Falle der Rückerstattung von Leistungen, auf die kein Anspruch besteht. Vom Zweck her regelt § 48 Abs. 1 und Abs. 2 die Verzugszinspflicht bei zu tief ausgerichteten Leistungen und bei unrechtmässigem Leistungsbezug. Sie sanktioniert damit das ungerechtfertigte Vorenthalten von Leistungen oder einen unrechtmässigen Leistungsbezug. Anders verhält es sich im Vorfeld der erstmaligen Zusprache von Invalidenleistungen. Die Vorsorgeeinrichtungen müssen den Entscheid der IV-Organe oder der Unfallversicherer abwarten (vgl. Art. 23 und 26 Abs. 1 BVG), bevor sie selbst über die Leistungen entscheiden können (vgl. auch <ref-ruling> E. 3.3 S. 129 f. zur Bindung der Vorsorgeeinrichtung an Entscheidungen der IV-Organe). Ihr Zuwarten mit der Leistungszusprache beruht in diesen Fällen auf sachlichen Gründen. Zu Unrecht macht der Beschwerdeführer auch eine ungleiche Behandlung im Verhältnis zu denjenigen Versicherten geltend, die von Anfang an eine betraglich zu tief angesetzte Rente beziehen. Die Rechtsprechung differenziert - bei fehlender statutarischer Verzugszinsregelung - zwischen Rentenleistungen und anderen reglementarischen Leistungsansprüchen. Letztere gelten als Forderungen mit einem bestimmten Verfalltag, weshalb die Vorsorgeeinrichtung grundsätzlich in Verzug gerät, ohne dass eine Mahnung des Versicherten nötig wäre (<ref-ruling> E. 5e/bb S. 389 f.; SVR 2009 BVG Nr. 33 S. 124, E. 4.3 und 5.3 [Urteil 9C_98/2009 vom 30. Juni 2009]; Urteil 9C_137/2012 vom 5. April 2012 E. 6.2). Auch die Verzugsregeln des Art. 102 ff. OR unterscheiden je nach Tatbestand. Das kantonale Gericht hat demzufolge kein Bundesrecht verletzt, wenn sie § 48 Abs. 1 der Pensionskassenverordnung nicht auf die erstmalige Zusprechung von Invalidenrenten angewendet und für die Inverzugsetzung gestützt auf die von ihr zitierte Rechtsprechung (vgl. E. 1.3 vorne) auf Art. 105 Abs. 1 OR abgestellt hat. Die Beschwerde ist daher unbegründet.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Die Beschwerdegegnerin hat als mit öffentlichen Aufgaben betraute Vorsorgeeinrichtung keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. Juni 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer