Sachverhalt:
A. Der 1958 geborene K._ war bis 31. Mai 2005 als Bauhandlanger bei der X._ AG angestellt (letzter effektiver Arbeitstag: 10. Dezember 2003) und in dieser Eigenschaft bei der Winterthur-Columna Stiftung für die berufliche Vorsorge (nachfolgend: Winterthur-Columna; heute: AXA Stiftung Berufliche Vorsorge) versichert. Im Mai 2004 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an unter Hinweis auf seit Dezember 2003 bestehende Rückenschmerzen und eine Hüftarthrose. Die IV-Stelle Glarus ermittelte einen Invaliditätsgrad von 29 % und verneinte gestützt darauf den Anspruch auf eine Invalidenrente (Verfügung vom 28. Januar 2005).
Mit Schreiben vom 16. März 2006 teilte die Winterthur-Columna K._ mit, dass sie ihm auf dem "passiven Teil" von 29 % eine Invaliden- und eine Invalidenkinderrente erbringe; für den aktiven Teil von 71 % habe sie die Austrittsabrechnung erstellt.
Im Juni 2006 stellte K._ ein Gesuch um Rentenrevision. Die IV-Stelle ermittelte neu einen Invaliditätsgrad von 64 % und verfügte eine Dreiviertelsrente mit Wirkung ab 1. Juni 2006 (Verfügung vom 16. Februar 2007). Die Winterthur-Columna lehnte eine Erhöhung der Rente ab mit der Begründung, die Zunahme des Invaliditätsgrades sei auf ein neues, psychisches Leiden zurückzuführen, für welches K._ nicht bei ihr versichert sei (Schreiben vom 13. März 2007).
B. Klageweise liess K._ das Rechtsbegehren stellen, die AXA Stiftung Berufliche Vorsorge (als Rechtsnachfolgerin der Winterthur-Columna) sei zu verpflichten, ihm mit Wirkung ab 1. Juni 2006 eine Invalidenrente, basierend auf einem Invaliditätsgrad von 64 %, gemäss einschlägigem Vorsorgereglement für die BVG-Stiftung der X._ AG zuzüglich Zins zu 5 % für die jeweiligen Rentenbeträge (je seit deren Fälligkeit) zu bezahlen. Mit Entscheid vom mit 21. September 2011 wies das Verwaltungsgericht des Kantons Glarus die Klage ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten, eventuell subsidiäre Verfassungsbeschwerde, führen und beantragen, der kantonale Entscheid sei aufzuheben und die Sache im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Erwägungen:
1. Die Eingabe des Beschwerdeführers erfüllt die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten, weshalb sie als solche - und nicht als (subsidiäre) Verfassungsbeschwerde - entgegenzunehmen ist (Art. 113 BGG). Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten können auch eine willkürliche Rechtsanwendung oder Sachverhaltsfeststellung und andere Verfassungsverletzungen gerügt werden (Art. 95 lit. a BGG; Urteil 9C_42/2011 vom 27. April 2011 E. 1).
2. Im Rahmen der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Feststellung des Sachverhalts nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
3. 3.1 Streitig und zu prüfen ist, ob die Beschwerdegegnerin für die Erhöhung des Invaliditätsgrades nach Beendigung des Vorsorgeverhältnisses am 31. Mai 2005 und Ablauf der Nachdeckungsfrist am 30. Juni 2005 (Art. 10 Abs. 3 BVG) einzustehen und dem Beschwerdeführer entsprechend höhere Leistungen zu erbringen hat.
3.2 Nach den zutreffenden Erwägungen der Vorinstanz setzt die obligatorische Leistungspflicht der Beschwerdegegnerin den Eintritt einer mit der späteren Invalidität zeitlich wie sachlich eng zusammenhängenden Arbeitsunfähigkeit während des Vorsorgeverhältnisses voraus (Versicherungsprinzip; Art. 23 lit. a BVG; BGE 135 V 13 E. 2.6 S. 17). Darauf wird verwiesen. Der sachliche Konnex ist gegeben, wenn der Gesundheitsschaden, der zur Arbeitsunfähigkeit geführt hat, von der Art her im Wesentlichen der gleiche ist wie der der Erwerbsunfähigkeit zugrundeliegende (BGE 134 V 20 E. 3.2 S. 22). Eine Leistungspflicht besteht auch für die Erhöhung des Invaliditätsgrades, wenn und soweit die Verschlechterung der Arbeitsfähigkeit durch denselben Gesundheitsschaden bedingt ist, welcher zur Invalidität geführt hatte (vgl. BGE 123 V 262 E. 1a S. 263; 118 V 35 E. 5 S. 45; Urteil 9C_179/2008 vom 30. Oktober 2008 E. 2.1 mit Hinweis).
4. 4.1 Gestützt auf die medizinischen Akten erkannte die Vorinstanz, ein sachlicher Zusammenhang zwischen dem Rückenleiden, aufgrund dessen der Beschwerdeführer noch während des Vorsorgeverhältnisses (teilweise) arbeitsunfähig wurde, und der nachträglich aufgetretenen schwergradigen depressiven Episode, welche zu einem höheren Invaliditätsgrad nach IVG geführt habe, sei zwar möglich, jedoch nicht überwiegend wahrscheinlich. Sie begründete dies im Wesentlichen damit, dass das psychische Leiden erstmals im Bericht des Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie FMH, vom 14. Juni 2006 erwähnt werde und dass selbst der Hausarzt Dr. med. U._, Allgemeine Medizin FMH, im Gesuch um Rentenprüfung vom 27. Juni 2006 schreibe, dass "nun nebst der somatoformen Schmerzstörung auch eine depressive Störung schwerwiegender Natur" vorliege. Die Stellungnahme des Arztes des Regionalen Ärztlichen Dienstes (RAD), Dr. med. B._, vom 27. Juli 2006, wonach es sich um eine eigenständige schwere depressive Reaktion handle, bestätige die Einschätzung.
4.2 Die in der Beschwerde erhobenen Einwendungen sind nicht geeignet, diese vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig oder sonst wie auf einer Bundesrechtsverletzung beruhend erscheinen zu lassen. Soweit der Beschwerdeführer vorbringt, der behandelnde Hausarzt habe in seinen Stellungnahmen vom 21. Juli und 5. November 2010 klar und unmissverständlich bestätigt, dass die psychischen Beschwerden "bereits am 31. Mai 2005 bzw. schon seit 2004" bestanden hätten, handelt es sich nicht um aussagekräftige, echtzeitliche Berichte. In den massgebenden Akten der Jahre 2004 und 2005 finden sich keine Hinweise auf psychische Beeinträchtigungen; solche wurden erstmals ein Jahr nach Beendigung des Vorsorgeverhältnisses von Dr. med. H._ (Erstbericht vom 14. Juni 2006) diagnostiziert, welchem der Beschwerdeführer denn auch erst im Jahre 2006 zugewiesen worden war. Soweit der Hausarzt in seinem Bericht vom 21. Juli 2010 erwähnt, zu Beginn des Jahres 2005 habe der Versicherte (zum Teil gemeinsam mit der Ehefrau) einige Sitzungen bei einer Psychologin besucht, ist dies nicht weiter dokumentiert; insbesondere fehlt eine entsprechende fachärztliche Diagnose (mit der Angabe allfälliger Auswirkungen auf die Arbeitsfähigkeit). Dass sich die depressive Erkrankung bei noch bestehender Versicherungsdeckung manifestiert und das Krankheitsgeschehen erkennbar mitgeprägt hätte, wie dies für die Bejahung eines hinreichend engen sachlichen Zusammenhanges zwischen einer somatisch bedingten Arbeitsunfähigkeit während des Vorsorgeverhältnisses und einer später eingetretenen, psychisch bedingten Invalidität vorausgesetzt ist (Urteil 9C_597/2008 vom 3. Dezember 2008 E. 2.2.2; 9C_772/2007 vom 26. Februar 2008 E. 3.2), kann unter den gegebenen Umständen nicht gesagt werden. Bei dieser Aktenlage hat die Vorinstanz eine Leistungspflicht der Beschwerdegegnerin für die Erhöhung des Invaliditätsgrades zu Recht verneint. Nicht zu beanstanden ist auch, dass sie auf weitere medizinische Abklärungen verzichtet hat, weil davon keine entscheidrelevanten neuen Erkenntnisse zu erwarten waren; dies verstösst weder gegen den Untersuchungsgrundsatz noch gegen den Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV (BGE 134 I 140 E. 5.3 S. 148).
5. Da die Beschwerde offensichtlich unbegründet ist, wird sie im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG erledigt.
6. Der Beschwerdeführer als unterliegende Partei hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Keel Baumann