Sachverhalt: A. G._, geboren am 7. Juli 1951, reichte am 8. April 2005 ein Gesuch um Ausrichtung von Leistungen der Invalidenversicherung ein. Dr. med. V._, Assistenzarzt, Medizinische Klinik des Spitals X._, stellte bei G._ am 12. Dezember 2003 folgende Diagnosen: 1. koronare Herzkrankheit (- Koronarangiografie vom 27. Juni 2000: PTCA einer subtotal verschlossenen RIVA mit Stent-Einlage; - Koronarangiografie vom 11. Dezember 2003: PTCA einer total verschlossenen RCA mit Stent-Einlage; RIVA unauffällig; - aktuell: akuter inferiorer Myokardinfarkt am 10. Dezember 2003 mit Kammerflimmern, Asystolie, 1x Defibrillation und Reanimation; Lungenödem - cvRF: gemischte Hyperlipidämie, Nikotinabusus ca. 40 py). 2. Makrozytose. Mit Vorbescheid vom 20. Juli 2006 stellte die IV-Stelle Nidwalden die Abweisung des Leistungsbegehrens in Aussicht. Dagegen wurde am 18. August und 12. September 2006 Einwand erhoben. Am 23. Februar 2007 wurde von der medizinischen Akademie Y._ ein von der IV-Stelle am 27. Oktober 2006 in Auftrag gegebenes polydisziplinäres Gutachten abgeliefert. Im Gutachten der medizinischen Akademie Y._ wurde eine Leistungsfähigkeit von 80 % als Wirt und Geschäftsführer eines Gastrounternehmens wie auch in jedem denkbaren Verweisberuf angegeben. Als Diagnosen mit Einfluss auf die Arbeitsfähigkeit wurden eine koronare Drei-Gefässerkrankung (ICD-10 I25.13) und eine Agoraphobie mit Panikstörung (ICD-10 F40.01) sowie als weitere Diagnosen ohne Einfluss auf die Arbeitsfähigkeit Alkoholmissbrauch, PAVK-Stad. I, 50-60 % Stenose der A. iliaca externa rechts, COPD, V.a.OSAS und eine minimale kognitive Störung festgehalten. Am 13. April 2007 erging ein weiterer Vorbescheid, mit welchem die Ausrichtung einer befristeten Invalidenrente vom 1. Dezember 2004 bis 28. Februar 2007 in Aussicht gestellt wurde. Am 2. August 2007 wurde von der IV-Stelle entsprechend verfügt. Dagegen wurde am 3. September 2007 Beschwerde erhoben. Diese war am 21. Februar 2008 vom Verwaltungsgericht Nidwalden, Versicherungsgericht, in dem Sinne gutgeheissen worden, dass die Verfügung vom 2. August 2007 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wurde, damit sie nach Abklärungen im Sinne der Erwägungen über den Anspruch von G._ auf eine Rente der Invalidenversicherung neu verfüge. Beim Gutachten der medizinischen Akademie Y._ wurde beanstandet, dass auf die spezifische Tätigkeit von G._ als Geschäftsführer von Etablissements nicht hinreichend eingegangen worden sei und das psychiatrische Teilgutachten nicht auf spezialärztlichen Feststellungen beruhe, weil der Ersteller des psychiatrischen Teilgutachtens über keine Facharztausbildung als Psychiater und nicht über einen Doktortitel verfüge, aber trotzdem mit einem solchen unterzeichnet habe. Darauf wurde von der IV-Stelle am 18. November 2009 ein weiteres polydisziplinäres Gutachten bei der MEDAS veranlasst. Dieses wurde am 30. April 2010 abgeliefert. Dabei wurde von der MEDAS die medizinisch-theoretische Restarbeitsfähigkeit in der angestammten Tätigkeit in Bezug auf den überwiegenden Teil der Arbeit, welche an der Front geleistet wird, mit 0 % und denjenigen Teil, bei dem es um rein Administratives geht, mit zu 80 % zumutbar angegeben. Eine körperlich leichte Tätigkeit sei G._ sowohl aus rheumatologischer, kardiologischer als auch aus pneumologischer Sicht zu 100 % zumutbar. Psychiatrischerseits werde aufgrund der Notwendigkeit vermehrter Ruhepausen in Folge der verminderten mentalen Belastbarkeit eine Einschränkung der Arbeitsfähigkeit von 20 % attestiert. Am 7. Oktober 2010 wurde von Dr. med. L._, Facharzt FMH Innere Medizin, Regionaler Ärztlicher Dienst der Invalidenversicherung (RAD), eine Stellungnahme abgegeben und angeführt, die unterschiedliche Beurteilung der Arbeitsfähigkeit durch die MEDAS und die medizinische Akademie Y._ begründe sich im Wesentlichen darin, dass die MEDAS der verminderten Stresstoleranz infolge der psychischen Störungen in der Tätigkeit als Wirt an der Front einen höheren Stellenwert beimesse als die medizinische Akademie Y._. Am 14. Dezember 2010 wurde von der IV-Stelle eine Einkommens- und Vermögensübersicht 1998 bis 2009 aufgrund der verschiedenen vorhandenen und beigezogenen Akten erstellt und ein Invaliditätsgrad von 30.34 % ermittelt. Mit Vorbescheid vom 3. Januar 2011 wurde die Ablehnung des Leistungsbegehrens auf eine Invalidenrente in Aussicht gestellt. Dagegen wurde am 27. Januar und 7. Februar 2011 Einwand erhoben. Am 18. Februar 2011 wurde von der IV-Stelle eine weitere Einkommens- und Vermögensübersicht 1998 bis 2009 erstellt und ein Invaliditätsgrad von 20.60 % angegeben. Mit Verfügung vom 21. Februar 2011 wies die IV-Stelle das Rentenbegehren ab; mit Verfügungen vom 9. März 2011 forderte sie vom Versicherten, von seiner Ehefrau K._ und von der Z._ AG bereits ausgerichtete Zahlungen zurück. B. Am 24. März 2011 hat G._ Beschwerde beim Verwaltungsgericht des Kantons Nidwalden, Sozialversicherungsrechtliche Abteilung, erhoben. Er hat beantragt, die Verfügung vom 21. Februar 2011 sei aufzuheben; die Rückforderungsverfügungen vom 9. März 2009 (recte 2011) gegenüber ihm, der Z._ AG und gegenüber K._ seien aufzuheben; ihm sei ab 1. Dezember 2004 eine ganze Invalidenrente, eventuell eine Dreiviertelsrente zuzusprechen. Am 7. November 2011 wurde auf Begehren von G._ eine öffentliche Verhandlung mit einer Befragung von ihm durchgeführt. Mit Entscheid gleichen Datums wurde die Beschwerde abgewiesen. Auf die Beschwerde gegen die an die Z._ AG bzw. K._ gerichteten Rückforderungsverfügungen wurde nicht eingetreten. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. April 2012 lässt G._ beantragen, der kantonale Entscheid sei aufzuheben und ihm sei ab 1. Dezember 2004 eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zur Ermittlung seiner Invalidität unter Anwendung der ausserordentlichen Invaliditätsbemessungsmethode an die Vorinstanz bzw. die IV-Stelle zurückzuweisen. Beim kantonalen Gericht wurden die Akten eingeholt; ein Schriftenwechsel wurde nicht durchgeführt.