Sachverhalt:
A. Der 1960 geborene M._ arbeitete zuletzt bis Juni 2003 in der Fahrzeugaufbereitung, als er sich am 13. November 2003 unter Hinweis auf ein am 1. Mai 2001 bei einem Auffahrunfall erlittenes Schleudertrauma der Halswirbelsäule bei der Invalidenversicherung zum Leistungsbezug anmeldete. Nach medizinischen und beruflichen Abklärungen verneinte die IV-Stelle Glarus im Wesentlichen gestützt auf ein beim Institut X._ in Auftrag gegebenes Gutachten vom 2. September 2005 einen Leistungsanspruch (Verfügung vom 20. September 2005 und Einspracheentscheid vom 5. Dezember 2005).
Am 12. Januar 2007 liess M._ um Revision oder Wiedererwägung des Einspracheentscheids vom 5. Dezember 2005 ersuchen. Mit dem Hinweis, gemäss Gutachten der Medizinischen Abklärungsstelle (MEDAS) vom 26. Juli 2010 bestünden keine Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit, weshalb er sowohl in der bisherigen Tätigkeit als Automechaniker/Fahrzeugaufbereiter, als auch in sämtlichen leichten bis mittelschweren Verweisungsstätigkeiten ohne ausgesprochen monotone oder repetitive, stark vornübergeneigte Kopfhaltung bei sitzenden Tätigkeiten, vollständig arbeitsfähig sei, wies die IV-Stelle das Leistungsbegehren abermals ab (Verfügung vom 2. Dezember 2010).
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Glarus mit Entscheid vom 16. November 2011 ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde führen und beantragen, in Aufhebung des vorinstanzlichen Entscheids sei die Sache "im Sinne der Erwägungen an die Vorinstanz zurückzuweisen". Ferner wird um unentgeltliche Rechtspflege ersucht.
Auf die Durchführung eines Schriftenwechsels wurde verzichtet.
Erwägungen:
1. 1.1 Gemäss Art. 82 lit. a BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig. Mit ihr können auch eine willkürliche Beweiswürdigung oder Sachverhaltsfeststellung oder andere Verfassungsverletzungen gerügt werden (Art. 95 lit. a BGG). Für die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde bleibt kein Raum (Art. 113 BGG) und es ist darauf nicht einzutreten (Urteil 9C_219/2009 vom 21. August 2009 E. 1.1).
1.2 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen; 133 III 545 E. 2.2 S. 550; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (BGE 129 I 8 E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. 2.1 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.2 Prozessthema bildet die Frage, ob sich der Invaliditätsgrad seit der letzten rechtskräftigen Rentenablehnung (Einspracheentscheid vom 5. Dezember 2005) bis zur verfügungsweisen Neuprüfung vom 2. Dezember 2010 in revisionsrechtlich erheblicher Weise verändert hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV; Art. 17 Abs. 1 ATSG). Dabei ist zu beachten, dass Anlass zur Rentenrevision jede wesentliche Änderung in den tatsächlichen Verhältnissen gibt, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Allerdings stellt eine bloss unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsbegründende Tatsachenänderung dar (BGE 112 V 371 E. 2b S. 372). Praxisgemäss ist die Invalidenrente aber auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes erheblich verändert haben (BGE 133 V 545 E. 6.1 S. 546, 130 V 343 E. 3.5 S. 349 f. mit Hinweisen). Diese Grundsätze gelten sinngemäss auch im Neuanmeldeverfahren nach Art. 87 Abs. 4 IVV (BGE 117 V 198).
2.3 Die Vorinstanz hat dem Gutachten der MEDAS vom 26. Juli 2010 Beweiskraft beigemessen. Danach sei der Versicherte aufgrund der gestellten Diagnosen in Form einer chronischen Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10: F45.41), bei: chronifizierten Zervikalgien, mit: Streckfehlform, inkonsistenten Angaben über die Sensibilitätsstörungen der rechten Körperhälfte ohne objektivierbares pathologisches Korrelat, starker Verdeutlichungstendenz und Verdacht auf Aggravation; Status nach Hirnerschütterung und Halswirbelsäulenschmerzen nach Sturz von Leiter 1992, weder aus rheumatologischer, neurologischer noch psychiatrischer Sicht in seiner Arbeitsfähigkeit wesentlich eingeschränkt. Eine Verschlechterung der gesundheitlichen Situation ergäbe sich nicht.
2.4 Der Beschwerdeführer bestreitet den Beweiswert des MEDAS-Gutachtens und rügt eine ungenügende Sachverhaltsabklärung, da trotz widersprüchlicher medizinischer Angaben zum Gesundheitszustand und dessen Auswirkungen auf die Arbeitsfähigkeit auf die Einholung eines Obergutachtens, insbesondere zur Frage einer psychischen Erkrankung, in Verletzung des Untersuchungsgrundsatzes verzichtet worden sei. Überdies lägen somatische Beschwerden vor, weshalb die Vorinstanz offensichtlich unrichtig davon ausgehe, dass die Schmerzursachen nicht objektivierbar seien und der Beschwerdeführer an einer somatoformen Schmerzstörung leide. Die vorinstanzliche Verneinung einer psychischen Erkrankung sei offensichtlich unrichtig, da eine depressive Störung vorliege (ICD-10: F32.0), welche es dem Versicherten in rentenrelevantem Masse verunmögliche, einer Verweisungstätigkeit nachzugehen.
2.5 Die Gutachter des Instituts X._ diagnostizierten am 2. September 2005 ein zervikozephales und rechts zervikobrachiales Schmerzsyndrom (ICD-10: M53:0), eine leichte depressive Episode (ICD-10: F32.0) sowie die Entwicklung körperlicher Symptome aus psychischen Gründen (ICD-10: F68.0). Aus psychiatrischer Sicht wurde, ausser auf die leichte affektive Störung in Sinne einer leichten depressiven Episode, auf die Schmerzverarbeitungsproblematik hingewiesen, die diagnostisch aber nicht einer anhaltenden somatoformen Schmerzstörung zugeordnet werden konnte. Die beiden Aspekte würden sich negativ beeinflussen, woraus eine um 20 % eingeschränkte Arbeitsfähigkeit resultiere. Im Rahmen des multidisziplinären ärztlichen Konsenses fiel die ausgeprägte subjektive Krankheits- und Behinderungsüberzeugung auf, wobei die subjektive Limitierung aufgrund der objektiven Befunde weder aus somatischer noch aus psychiatrischer Sicht ärztlicherseits nachvollziehbar war.
2.6 Die vorinstanzliche Würdigung des medizinischen Dossiers weist keine augenfälligen Mängel auf, welche eine offensichtliche Unrichtigkeit oder eine Unvollständigkeit der diesbezüglichen Feststellungen begründen könnten. Dementsprechend erscheint die auf antizipierter Beweiswürdigung (BGE 124 V 90 E. 4b S. 94) beruhende Schlussfolgerung des kantonalen Gerichts, weitere medizinische Erhebungen seien nicht notwendig, nicht bundesrechtswidrig (vgl. Art. 61 lit. c ATSG). Was die gutachtlich (auch aufgrund von Äusserungen der Versicherten selber) festgestellte Rückbildung des rezidivierenden depressiven Geschehens betrifft, hat der psychiatrische Sachverständige Dr. med. W._ zu den anderslautenden Beurteilungen der behandelnden Dr. med. D._, Facharzt für Psychiatrie und Psychotherapie und Dr. phil. S._, Klinischer Psychologe und Supervisor, Zentrum Y._ am 25. Oktober 2010 detailliert Stellung genommen und nachvollziehbar begründet, weshalb er an seiner psychiatrischen Diagnosestellung und Arbeitsfähigkeitsschätzung im MEDAS-Gutachten festhalte. Er hat zu Recht darauf hingewiesen, dass aus gutachterlicher Sicht psychosoziale Belastungsfaktoren bei der Beurteilung der Arbeitsfähigkeit ausser Acht zu lassen sind (hiezu BGE 127 V 294 E. 5a S. 299). Dementsprechend muss oft einem unterschiedlichen - therapeutischen oder versicherungsmedizinischen - Hintergrund der in den Akten dokumentierten ärztlichen Meinungen Rechnung getragen werden. Zur Annahme einer Invalidität braucht es in jedem Fall ein medizinisches Substrat, das (fach)ärztlicherseits schlüssig festgestellt wird und nachgewiesenermassen die Arbeits- und Erwerbsfähigkeit wesentlich beeinträchtigt. Weder aus somatischer noch psychiatrischer Sicht konnten die Experten mit den Schmerzangaben des Beschwerdeführers korrelierende Befunde erheben, welche das chronifizierte generalisierte Schmerzsyndrom hinreichend erklärten. Nach dem Gesagten verletzt es kein Bundesrecht, dass die Vorinstanz den Ergebnissen der lege artis vorgenommenen interdisziplinären Untersuchung im Neuanmeldungsverfahren gemäss MEDAS-Gutachten vom 16. Juli 2010 in Bezug auf die Frage einer Änderung des Gesundheitszustandes im massgeblichen Vergleichszeitraum Beweiswert zuerkannte und namentlich nicht von einer verschlechterten psychischen Situation im Sinne einer neu aufgetretenen psychischen Erkrankung oder einer wesentlichen Verschlimmerung derselben in anspruchsrelevantem Ausmass ausging.
Selbst bei einer entsprechend attestierten Beschränkung wäre mit der Vorinstanz auf der Grundlage der zur somatoformen Schmerzstörung (ICD-10: F45.4) ergangenen Rechtsprechung (BGE 130 V 352 E. 2.2.3 S. 353), welche auch bezüglich der Folgen von milden Verletzungen der Halswirbelsäule (Schleudertrauma; BGE 136 V 279) anwendbar ist, die Überwindbarkeit der schmerzbedingten Beeinträchtigungen in Form der diagnostizierten chronischen Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10: F45.41; MEDAS-Expertise vom 26. Juli 2010) anzunehmen. Das schliesst einen Rentenanspruch aus und führt zur Abweisung der Beschwerde.
3. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Sie sind vorläufig auf die Gerichtskasse zu nehmen, da die Voraussetzungen für die Gewährung der beantragten unentgeltlichen Rechtspflege (fehlende Aussichtslosigkeit des Rechtsmittels, Bedürftigkeit des Gesuchstellers, Notwendigkeit der anwaltlichen Vertretung [Art. 64 Abs. 1 und 2 BGG; vgl. BGE 125 V 201 E. 4a S. 202 und 371 E. 5b S. 372]) erfüllt sind. Ferner wird seinem Rechtsvertreter eine Entschädigung aus der Gerichtskasse ausgerichtet (Art. 64 Abs. 2 BGG). Der Beschwerdeführer wird indessen auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach er als Begünstigter der Gerichtskasse Ersatz zu leisten haben wird, wenn er später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
3. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
4. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
5. Herr Prof. Dr. iur. Hardy Landolt wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1000.- ausgerichtet.
6. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Glarus und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. März 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Polla