Sachverhalt:
A. Der 1970 geborene C._ arbeitete seit dem Jahre 1995 bei der Firma T._ AG als Kabelbauer und Vorarbeiter. Er meldete sich am 28. Juni 2006 wegen Knie- und Rückenschmerzen zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle Nidwalden klärte die erwerbliche Situation ab und holte Berichte der behandelnden Ärzte ein. Im weiteren gewährte sie berufliche Massnahmen in Form von Berufsberatung, der Abklärung der beruflichen Eingliederungsmöglichkeiten und Arbeitsvermittlung. Letzteres lehnte der Versicherte ab, da er seines Erachtens nicht arbeitsfähig sei. Die IV-Stelle liess C._ bei der medizinischen Abklärungsstelle am Spital X._ abklären (Gutachten A._ vom 4. Mai 2007). Die Experten konnten nur eine vorläufige Beurteilung abgeben, da der Versicherte bei der Untersuchung des Bewegungsapparates ein ausgeprägtes Schmerzvermeidungsverhalten und Befunde zeigte, für welche keine adäquate Ursache zu finden und welche nicht ohne weiteres nachvollziehbar waren, weil sie auch mit der gezeigten Präsentation in anderen Fachuntersuchungen teilweise kontrastierten. Zur definitiven Stellungnahme bezüglich Arbeitsfähigkeit seien deshalb ergänzende medizinische Abklärungen durchzuführen. Aufgrund der Befunde im rheumatologischen Fachgebiet bestehe seit Februar 2006 keine Arbeitsfähigkeit mehr in einer körperlich schweren Arbeit, wie der zuletzt ausgeübten als Kabelbauer. Aus rein psychiatrischer Sicht sei die Arbeitsfähigkeit nicht eingeschränkt.
Nach Durchführung weiterer bildgebender Untersuchungen und einer vom 28. August bis 19. September 2007 dauernden stationären Therapie an der Klinik Z._ beauftragte die IV-Stelle die Medizinische Abklärungsstelle (nachfolgend: MEDAS) mit einer erneuten Begutachtung. Die Expertise wurde am 8. September 2008 erstattet und die Diagnosen eines chronischen panvertebralen Schmerzsyndroms mit betont lumbovertebralen Schmerzen mit/bei moderaten degenerativen Veränderungen und konstitutionell engem Spinalkanal L3-L4, einer linksbetonten Gonarthrose mit chronischer schmerzhafter Periarthropathie-Symptomatik bei einem Status nach Valgisationsosteotomie und Spongiosaplastik und bei schwerer Osteochondrosis dissecans am medialen Femur condylus links sowie periartikulären Weichteilverkalkungen am medialen Femurcondylus links, gestellt. C._ könne keine körperlich schweren Arbeiten mehr ausführen. Für leichte bis gelegentlich mittelschwere Arbeiten in Wechselposition wurde in einer ganztägig auszuführenden Tätigkeit eine um 20 % verminderte Leistungsfähigkeit als zumutbar erachtet. Aus psychiatrischer Sicht mussten erneut keine Diagnosen mit Auswirkung auf die Arbeitsfähigkeit gestellt werden. Vom 26. März bis zum 14. April 2009 weilte der Versicherte in der psychiatrischen Abteilung des Spital Y._. Auf Nachfrage hin bekräftigte die MEDAS in einer psychiatrischen Nachbegutachtung vom 2. März 2010, dass keine krankheitswertige psychische Störung vorliege. Es bestehe keine Beeinträchtigung, die sich auf die Arbeitsfähigkeit auswirke. Mit Verfügung vom 2. Juni 2010 sprach die IV-Stelle dem Versicherten ab 1. Februar 2007 eine Viertelsrente zu.
B. Die hiegegen eingereichte Beschwerde, mit welcher C._ zur Hauptsache die Zusprechung einer ganzen unbefristeten Rente der Invalidenversicherung, eventuell die Einholung eines gerichtlichen Gutachtens betreffend Arbeitsfähigkeit, hatte beantragen lassen, wies das Verwaltungsgericht des Kantons Nidwalden ab (Entscheid vom 14. Februar 2011).
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine Rente von mindestens 50 % zuzusprechen, eventualiter sei ein interdisziplinäres Gerichtsgutachten einzuholen. Ausserdem ersucht er um die unentgeltliche Rechtspflege.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. Streitgegenstand bildet die Frage, ob das kantonale Gericht den Gesundheitsschaden und die Arbeits- und Erwerbsunfähigkeit (Art. 6 und <ref-law>) als wesentliche Voraussetzungen für die Annahme einer Invalidität zutreffend beurteilt und ob es seine Feststellungen rechtskonform getroffen hat.
Die Vorinstanz hat die Bestimmungen und Grundsätze zu den Begriffen der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>), zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc) sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 4.3 S. 468 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Das kantonale Gericht hat nach Würdigung der medizinischen Unterlagen, namentlich des Gutachtens A._ vom 4. Mai 2007, den im Anschluss darauf vorgenommenen bildgebenden Untersuchungen und des Gutachtens der MEDAS vom 8. September 2008 letzterem - inklusive der Ergänzung vom 2. März 2010 - vollen Beweiswert zuerkannt und gestützt darauf eine 80%ige Arbeitsfähigkeit in einer ganztägigen leidensadaptierten Tätigkeit angenommen. Bei einem unbestrittenen Valideneinkommen von Fr. 76'317.- hat es eine Erwerbseinbusse von Fr. 32'252.- ermittelt, woraus ein Invaliditätsgrad von 42 % resultiert.
4. Der Beschwerdeführer macht demgegenüber geltend, auf das MEDAS-Gutachten könne nicht abgestellt werden, da die Erkenntnisse aus dem Gutachten A._ aus dem Jahre 2007 nicht widerlegt würden. Damals sei aufgezeigt worden, dass auch für eine körperlich adaptierte Verweistätigkeit keine Arbeitsfähigkeit zumutbar sei. Die Gutachter der MEDAS und weitere Abklärungen hätten keine neuen Einsichten erbracht. Die Divergenz zwischen der 80%igen Arbeitsfähigkeit gemäss dem zweiten Gutachten und 0 % Arbeitsfähigkeit im Gutachten A._ sei nicht diskutiert worden, womit nicht von einem schlüssigen Gutachten gesprochen werden könne. Indem die Vorinstanz auf das MEDAS-Gutachten abgestellt habe, habe es den Untersuchungsgrundsatz verletzt. Darüber hinaus bringt er vor, das MEDAS-Gutachten entspreche nicht den Anforderungen gemäss <ref-ruling> und die Begutachtung bei wirtschaftlich von der IV-Stelle in hohem Masse abhängigen MEDAS-Stellen verletzten die Garantien gemäss Art. 6 EMRK.
5. 5.1 Das Bundesgericht hat unlängst in <ref-ruling> erkannt, dass die Beschaffung medizinischer Entscheidungsgrundlagen durch externe Gutachtensinstitute - wie die MEDAS - in der schweizerischen Invalidenversicherung - sowie deren Verwendung auch im Gerichtsverfahren - an sich verfassungs- und konventionskonform ist. Es wurde zunächst erneut bestätigt, dass die nach Art. 6 Ziff. 1 EMRK vorausgesetzte Unabhängigkeit und Unparteilichkeit der betreffenden Gutachter gewährleistet sei (<ref-ruling> E. 1.3.1 S. 226), die Beweiserhebungen der Verwaltung im vorausgehenden nichtstreitigen Verfahren nicht als Parteihandlungen zu betrachten seien (<ref-ruling> E. 1.3.2 S. 226) und unter dem Gesichtspunkt der wirtschaftlichen Abhängigkeit nach ebenfalls gefestigter Rechtsprechung auch der regelmässige Beizug eines Gutachters oder einer Begutachtungsinstitution durch den Versicherungsträger, die Anzahl der beim selben Arzt in Auftrag gegebenen Gutachten und Berichte sowie das daraus resultierende Honorarvolumen für sich allein genommen nicht zum Ausstand führten (<ref-ruling> E. 1.3.3 S. 226 f.). Es wurde des Weiteren darauf verwiesen, dass praxisgemäss den im Rahmen des Verwaltungsverfahrens eingeholten Gutachten von externen Spezialärzten, welche aufgrund eingehender Beobachtungen und Untersuchungen sowie nach Einsicht in die Akten Bericht erstatten und bei der Erörterung der Befunde zu schlüssigen Ergebnissen gelangen, volle Beweiskraft zuzuerkennen ist, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 3b/bb S. 353). Der Anspruch auf Zugang zu einer unabhängigen gerichtlichen Instanz im Sinne von Art. 6 Ziff. 1 EMRK, deren Überprüfungsbefugnis auch den Sachverhalt umfasst, erfordert nicht, dass anlässlich einer gerichtlichen Überprüfung in jedem Fall ein Gerichtsgutachten eingeholt wird (<ref-ruling> E. 1.4 S. 228; Urteil 8C_426/2011 vom 29. September 2011 E. 6.1).
5.2 Sind formell einwandfreie und materiell schlüssige (das heisst beweistaugliche und beweiskräftige) medizinische Entscheidungsgrundlagen des Versicherungsträgers (Administrativgutachten) vorhanden, so besteht nach der Rechtsprechung kein Anspruch auf eine gerichtliche Expertise (<ref-ruling> E. 2.2.2 S. 232 f.). Nach altem Verfahrensstandard eingeholte Gutachten verlieren ihren Beweiswert auch mit Rücksicht auf die in <ref-ruling> erläuterten Korrektive nicht. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob das abschliessende Abstellen auf die vorhandenen Beweisgrundlagen im angefochtenen Entscheid vor Bundesrecht standhält (<ref-ruling> E. 6 S. 266).
6. 6.1 Der Beschwerdeführer beruft sich auf einen Widerspruch zwischen dem Gutachten A._ aus dem Jahre 2007 und dem rheumatologischen Teilgutachten im Rahmen der MEDAS-Begutachtung vom 8. September 2008. Bei der Einschätzung der zumutbaren Arbeitsfähigkeit würden sich diese diametral widersprechen.
Diese Rüge ist nicht begründet. So hatte sich der Gutachter, Dr. med. H._, auf entsprechende Nachfrage hin mit Schreiben vom 23. Juli 2007 unmissverständlich dahingehend geäussert, dass die anlässlich der Begutachtung erhobenen Befunde teilweise nicht nachvollzogen werden konnten und die gezeigte Präsentation in den einzelnen Fachuntersuchungen kontrastierte. Die Gutachter sahen sich beim widersprüchlichen Bild, das sich ihnen zeigte, daher ausser Stande, sich bereits bei der Begutachtung konkret zur zumutbaren Arbeitsfähigkeit in einer angepassten Tätigkeit zu äussern. Dementsprechend haben sie eine weitere bildgebende Untersuchung vorgeschlagen, um eventuell vorliegende organische Gesundheitsschäden nicht zu übersehen. Gleichzeitig führte der Gutachter - wie bereits in der Expertise - nochmals aus, dass bei Ausbleiben eines signifikanten organischen spinalen Befundes in der Myelo-CT-Untersuchung sicher eine Restarbeitsfähigkeit für eine angepasste Tätigkeit gegeben sei. Zur weiteren Untersuchung war der Beschwerdeführer von seinem Hausarzt denn auch bereits an PD Dr. med. N._, Facharzt für Neurochirurgie FMH, überwiesen worden. Im Bericht vom 21. Juli 2007 führt dieser aus, dass sich bildgebend sowohl im konventionellen MRI wie auch im funktionellen MRI moderate degenerative Veränderung, welche durch den kongenital engen Spinalkanal akzentuiert werden, zeigen. Von einer weiteren invasiven neuroradiologischen Abklärung mittels Myelographie riet dieser Arzt angesichts der Tatsache, dass eine relevante foraminale Stenosierung mit dem vorhandenen Bildmaterial ausgeschlossen werden konnte, ab, um eine iatrogene Akzentuierung der Beschwerdesymptomatik zu vermeiden.
Damit steht fest, dass die bei den rheumatologischen Untersuchungen im Rahmen der Begutachtung erhobenen Unstimmigkeiten nicht auf einer organischen Ursache beruhten. Aus somatischer Sicht liess sich dementsprechend keine erhebliche Arbeitsunfähigkeit in einer angepassten Tätigkeit feststellen. Eine Verletzung des Untersuchungsgrundsatzes durch das kantonale Gericht lässt sich demnach nicht begründen.
6.2 Hinsichtlich der vollen Arbeitsfähigkeit aus psychiatrischer Sicht sind sich sowohl Dr. med. F._ - welcher den Beschwerdeführer für die Expertise A._ begutachtete -, als auch Dr. med. M._ von der MEDAS, einig. Diesbezüglich sei auf die eingehende Würdigung und die Feststellungen im angefochtenen Entscheid verwiesen.
6.3 Damit ist das nach altem Verfahrensstand eingeholte MEDAS-Gutachten vom 8. September 2008/2. März 2010 auch im Rahmen der in solchen Fällen vorzunehmenden gesamthaften Prüfung, ob mit Blick auf die spezifischen Gegebenheiten und die erhobenen Rügen abschliessend auf die vorhandenen Beweisgrundlagen abgestellt werden kann (<ref-ruling> E. 6 S. 266) nicht zu beanstanden. So bestehen keine Anhaltspunkte dafür, dass unter Berücksichtigung der in <ref-ruling> erläuterten Korrektive, namentlich Gewährung partizipatorischer, auf präventive Mitwirkung im Rahmen der Gutachtensbestellung abzielender Verfahrensrechte, ein anderes Gutachtensergebnis hätte resultieren und dem Beschwerdeführer gestützt darauf die anbegehrten Leistungen der Invalidenversicherung hätten zugesprochen werden müssen. Der Beschwerdeführer legt nicht dar, welche Fragen er hätte stellen wollen und inwiefern diese für die medizinische Einschätzung relevant gewesen wären. Insbesondere hat er in seiner Stellungnahme zum Vorbescheid vom 19. November 2008 keine prozessualen Einwände gegen das genannte Gutachten erhoben. Es besteht daher kein Anspruch auf eine gerichtliche Expertise (<ref-ruling> E. 2.2.2 S. 232 f.). Mit der Vorinstanz ist auf das nach altem Verfahrensstand eingeholte MEDAS-Gutachten abzustellen.
7. Damit ist mit dem kantonalen Gericht gestützt auf die Gutachten der MEDAS von einer 80%igen Arbeitsfähigkeit in einer leichten wechselbelastenden Tätigkeit auszugehen. Der vom kantonalen Gericht vorgenommene Einkommensvergleich wird im Übrigen, das heisst abgesehen von der geltend gemachten Arbeitsunfähigkeit in einer zumutbaren Tätigkeit und den damit verbundenen erwerblichen Auswirkungen, nicht beanstandet und gibt keinen Anlass zu Weiterungen. Mit Verwaltung und VorKuhlmann hochfeldeninstanz ist von einem Invaliditätsgrad von 42 % und dementsprechend von einem Anspruch auf eine Viertelsrente auszugehen.
8. Die Voraussetzungen für die Bewilligung der unentgeltlichen Prozessführung und Verbeiständung im bundesgerichtlichen Verfahren (Art. 64 Abs. 1 und 2 BGG) sind erfüllt, weshalb das entsprechende Gesuch in der Beschwerde gutzuheissen ist. Der Beschwerdeführer ist indes auf <ref-law> hinzuweisen, wonach die Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt, indessen vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt David Husmann wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Februar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer