Sachverhalt:
A. G._, geboren am 7. Juli 1951, reichte am 8. April 2005 ein Gesuch um Ausrichtung von Leistungen der Invalidenversicherung ein. Dr. med. V._, Assistenzarzt, Medizinische Klinik des Spitals X._, stellte bei G._ am 12. Dezember 2003 folgende Diagnosen: 1. koronare Herzkrankheit (- Koronarangiografie vom 27. Juni 2000: PTCA einer subtotal verschlossenen RIVA mit Stent-Einlage; - Koronarangiografie vom 11. Dezember 2003: PTCA einer total verschlossenen RCA mit Stent-Einlage; RIVA unauffällig; - aktuell: akuter inferiorer Myokardinfarkt am 10. Dezember 2003 mit Kammerflimmern, Asystolie, 1x Defibrillation und Reanimation; Lungenödem - cvRF: gemischte Hyperlipidämie, Nikotinabusus ca. 40 py). 2. Makrozytose. Mit Vorbescheid vom 20. Juli 2006 stellte die IV-Stelle Nidwalden die Abweisung des Leistungsbegehrens in Aussicht. Dagegen wurde am 18. August und 12. September 2006 Einwand erhoben. Am 23. Februar 2007 wurde von der medizinischen Akademie Y._ ein von der IV-Stelle am 27. Oktober 2006 in Auftrag gegebenes polydisziplinäres Gutachten abgeliefert. Im Gutachten der medizinischen Akademie Y._ wurde eine Leistungsfähigkeit von 80 % als Wirt und Geschäftsführer eines Gastrounternehmens wie auch in jedem denkbaren Verweisberuf angegeben. Als Diagnosen mit Einfluss auf die Arbeitsfähigkeit wurden eine koronare Drei-Gefässerkrankung (ICD-10 I25.13) und eine Agoraphobie mit Panikstörung (ICD-10 F40.01) sowie als weitere Diagnosen ohne Einfluss auf die Arbeitsfähigkeit Alkoholmissbrauch, PAVK-Stad. I, 50-60 % Stenose der A. iliaca externa rechts, COPD, V.a.OSAS und eine minimale kognitive Störung festgehalten. Am 13. April 2007 erging ein weiterer Vorbescheid, mit welchem die Ausrichtung einer befristeten Invalidenrente vom 1. Dezember 2004 bis 28. Februar 2007 in Aussicht gestellt wurde. Am 2. August 2007 wurde von der IV-Stelle entsprechend verfügt. Dagegen wurde am 3. September 2007 Beschwerde erhoben. Diese war am 21. Februar 2008 vom Verwaltungsgericht Nidwalden, Versicherungsgericht, in dem Sinne gutgeheissen worden, dass die Verfügung vom 2. August 2007 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wurde, damit sie nach Abklärungen im Sinne der Erwägungen über den Anspruch von G._ auf eine Rente der Invalidenversicherung neu verfüge. Beim Gutachten der medizinischen Akademie Y._ wurde beanstandet, dass auf die spezifische Tätigkeit von G._ als Geschäftsführer von Etablissements nicht hinreichend eingegangen worden sei und das psychiatrische Teilgutachten nicht auf spezialärztlichen Feststellungen beruhe, weil der Ersteller des psychiatrischen Teilgutachtens über keine Facharztausbildung als Psychiater und nicht über einen Doktortitel verfüge, aber trotzdem mit einem solchen unterzeichnet habe. Darauf wurde von der IV-Stelle am 18. November 2009 ein weiteres polydisziplinäres Gutachten bei der MEDAS veranlasst. Dieses wurde am 30. April 2010 abgeliefert. Dabei wurde von der MEDAS die medizinisch-theoretische Restarbeitsfähigkeit in der angestammten Tätigkeit in Bezug auf den überwiegenden Teil der Arbeit, welche an der Front geleistet wird, mit 0 % und denjenigen Teil, bei dem es um rein Administratives geht, mit zu 80 % zumutbar angegeben. Eine körperlich leichte Tätigkeit sei G._ sowohl aus rheumatologischer, kardiologischer als auch aus pneumologischer Sicht zu 100 % zumutbar. Psychiatrischerseits werde aufgrund der Notwendigkeit vermehrter Ruhepausen in Folge der verminderten mentalen Belastbarkeit eine Einschränkung der Arbeitsfähigkeit von 20 % attestiert. Am 7. Oktober 2010 wurde von Dr. med. L._, Facharzt FMH Innere Medizin, Regionaler Ärztlicher Dienst der Invalidenversicherung (RAD), eine Stellungnahme abgegeben und angeführt, die unterschiedliche Beurteilung der Arbeitsfähigkeit durch die MEDAS und die medizinische Akademie Y._ begründe sich im Wesentlichen darin, dass die MEDAS der verminderten Stresstoleranz infolge der psychischen Störungen in der Tätigkeit als Wirt an der Front einen höheren Stellenwert beimesse als die medizinische Akademie Y._. Am 14. Dezember 2010 wurde von der IV-Stelle eine Einkommens- und Vermögensübersicht 1998 bis 2009 aufgrund der verschiedenen vorhandenen und beigezogenen Akten erstellt und ein Invaliditätsgrad von 30.34 % ermittelt. Mit Vorbescheid vom 3. Januar 2011 wurde die Ablehnung des Leistungsbegehrens auf eine Invalidenrente in Aussicht gestellt. Dagegen wurde am 27. Januar und 7. Februar 2011 Einwand erhoben. Am 18. Februar 2011 wurde von der IV-Stelle eine weitere Einkommens- und Vermögensübersicht 1998 bis 2009 erstellt und ein Invaliditätsgrad von 20.60 % angegeben. Mit Verfügung vom 21. Februar 2011 wies die IV-Stelle das Rentenbegehren ab; mit Verfügungen vom 9. März 2011 forderte sie vom Versicherten, von seiner Ehefrau K._ und von der Z._ AG bereits ausgerichtete Zahlungen zurück.
B. Am 24. März 2011 hat G._ Beschwerde beim Verwaltungsgericht des Kantons Nidwalden, Sozialversicherungsrechtliche Abteilung, erhoben. Er hat beantragt, die Verfügung vom 21. Februar 2011 sei aufzuheben; die Rückforderungsverfügungen vom 9. März 2009 (recte 2011) gegenüber ihm, der Z._ AG und gegenüber K._ seien aufzuheben; ihm sei ab 1. Dezember 2004 eine ganze Invalidenrente, eventuell eine Dreiviertelsrente zuzusprechen. Am 7. November 2011 wurde auf Begehren von G._ eine öffentliche Verhandlung mit einer Befragung von ihm durchgeführt. Mit Entscheid gleichen Datums wurde die Beschwerde abgewiesen. Auf die Beschwerde gegen die an die Z._ AG bzw. K._ gerichteten Rückforderungsverfügungen wurde nicht eingetreten.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 27. April 2012 lässt G._ beantragen, der kantonale Entscheid sei aufzuheben und ihm sei ab 1. Dezember 2004 eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zur Ermittlung seiner Invalidität unter Anwendung der ausserordentlichen Invaliditätsbemessungsmethode an die Vorinstanz bzw. die IV-Stelle zurückzuweisen. Beim kantonalen Gericht wurden die Akten eingeholt; ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140). Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden.
1.2 Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Hier muss die Beschwerdeschrift die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 134 II 244 E. 2.2 S. 246).
1.3 Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (BGE 133 IV 286 E. 6.2 S. 288; 133 II 249 E. 1.4.3 S. 254).
2. Gegenstand des vorliegenden Beschwerdeverfahrens ist der Anspruch des Beschwerdeführers auf eine Invalidenrente. Die Begehren um Aufhebung der Rückforderungsverfügungen gegen die Z._ AG und K._, die bei der Vorinstanz noch Verfahrensgegenstand waren und auf welche die Vorinstanz im Rahmen des vom Beschwerdeführer ergriffenen Rechtsmittels nicht eingetreten war, wurden im vorliegenden Verfahren nicht erneuert. Unklar ist, ob das gegen den Beschwerdeführer selber gerichtete Rückforderungsbegehren gemäss Verfügung vom 9. März 2011 ebenfalls noch Verfahrensgegenstand darstellt, da diesbezüglich ein ausdrücklicher Antrag auf Seite 3 der Beschwerdeschrift fehlt. Auf Seite 13 derselben wird zwar kurz auf die Rückforderung eingegangen, diese jedoch nur dann als nicht gegeben betrachtet, falls dem Antrag auf Ausrichtung einer ganzen Rente ab 1. Dezember 2004 entsprochen oder eine Rückweisung angeordnet werde. Da jedoch weder das eine noch das andere gegeben ist, wie die nachstehenden Ausführungen zeigen, muss auch die Rückforderung gegenüber dem Beschwerdeführer als ausgewiesen betrachtet werden. Beizufügen ist, dass die Zahlungen der Beschwerdegegnerin an ihn auf einer Verfügung beruhten, die später mit Entscheid der Vorinstanz vom 21. Februar 2008 wieder aufgehoben wurde. Der Rückforderungsanspruch, der in quantitativer Hinsicht vom Beschwerdeführer nicht in Frage gestellt wird, ist als ausgewiesen zu betrachten.
3. Der Beschwerdeführer hat im kantonalen Verfahren moniert, dass die Rückweisung der Sache durch den Entscheid der Vorinstanz vom 21. Februar 2008 zu weiteren Abklärungen für ihn zu einer reformatio in peius geführt habe und ihm deshalb gemäss neuer Bundesgerichtspraxis (BGE 137 V 314) die Möglichkeit des Beschwerderückzugs hätte eingeräumt werden müssen. Diese Rüge wird vorliegend nicht mehr vorgebracht, so dass die Frage, ob eine solche Rüge auch erst nach der tatsächlichen Vornahme der weiteren Abklärungen und anschliessender neuer Verfügung der Beschwerdegegnerin durch den Beschwerdeführer vorgebracht werden kann, nicht weiter zu prüfen ist.
4. 4.1 Die Beschwerdegegnerin ermittelte den Invaliditätsgrad mittels Einkommensvergleichs nach Art. 16 ATSG, wobei sie die Einkünfte sämtlicher geschäftlicher Tätigkeiten des Beschwerdeführers in den Jahren 1998 bis 2003 als Valideneinkommen bzw. 2004 bis 2009 als Invalideneinkommen berücksichtigte. Dieses Vorgehen wurde von der Vorinstanz als korrekt beurteilt. Vom Beschwerdeführer wird dies in zweifacher Hinsicht kritisiert: Einerseits macht er geltend, dass massgebend für seine Einkünfte und für die Invaliditätsbemessung die Eintragungen in seinem individuellen Konto gemäss Aufstellung der Beschwerdegegnerin vom 18. Februar 2011 seien und der Vergleich dieser Einkünfte einen Invaliditätsgrad von 81 % ergeben würde. Es sei unzulässig, ihn als Selbstständigerwerbenden zu betrachten. Andererseits verlangt er, falls eine selbstständige Erwerbstätigkeit angenommen werde, dass die ausserordentliche Bemessungsmethode mit einem Betätigungsvergleich angewendet werde.
4.2 Die Frage, welche Invaliditätsbemessungsmethode zur Anwendung gelangt, ist eine vom Bundesgericht frei überprüfbare Rechtsfrage (SVR 2010 IV Nr. 11 S. 35 E. 3.4 [9C_236/2009]). Rechtliches beschlagen auch die Regeln über die Durchführung des Einkommensvergleichs (BGE 132 V 393 E. 3.3 S. 399; Urteil 8C_501/2011 vom 1. März 2012 E. 4.3).
4.3 Die Beschwerdegegnerin und mit ihr die Vorinstanz haben den Beschwerdeführer als selbstständig erwerbstätig betrachtet und dies damit begründet, dass der Beschwerdeführer Alleinaktionär der Firmen der Firma A._ sei. Gemäss den bei den Akten liegenden Wertschriftenverzeichnissen und den entsprechenden Handelsregisterauszügen muss diese Angabe als zutreffend qualifiziert werden. Im Rahmen des vorliegenden Beschwerdeverfahrens wird dies vom Beschwerdeführer nicht widerlegt. Bloss der Umstand, dass sein Sohn bei der B._ AG seit 25. März 2009 einziger Verwaltungsrat ist, ändert nichts an dieser Betrachtungsweise, da es sich dabei lediglich um eine AG der Firma A._ handelt und der Beschwerdeführer überdies auch nicht vorbringt, dass er diese Firma nicht mehr als Aktionär wirtschaftlich beherrsche. Bei dieser Ausgangslage ist bundesrechtlich nicht zu beanstanden, wenn die Vorinstanz davon ausging, dass der Beschwerdeführer über einen wesentlichen Einfluss auf die Gesellschaften verfügt. Obwohl er zwar von den entsprechenden Aktiengesellschaften zum Teil auch angestellt war, kann das Abstellen auf den Durchschnitt mehrerer Jahreseinkünfte wie bei einem Selbstständigerwerbenden durch die Vorinstanz nicht als willkürlich und bundesrechtswidrig beurteilt werden (vgl. das Urteil 8C_898/2010 vom 13. April 2011 E. 5.3). Daher ist auf die von der Beschwerdegegnerin ermittelten Zahlen als Einkünfte des Beschwerdeführers vor und nach Eintritt der gesundheitlichen Beeinträchtigung abzustellen. Er legt nicht dar, dass die entsprechenden Beträge rechtsfehlerhaft festgestellt worden sein sollen. Damit ergibt sich unter zutreffender Annahme eines Einkommensvergleichs ein Invaliditätsgrad von 21 %.
4.4 Der Beschwerdeführer wendet dagegen ein, dass er gemäss den Feststellungen des MEDAS-Gutachtens nur noch administrative Arbeiten leisten könne und diese nur 10 % bis 20 % seiner Tätigkeit ausmachen würden. Hierzu ist jedoch zu bemerken, dass in Anbetracht der Grösse der von ihm geführten Betriebe und seiner weiteren Aktivitäten (Betrieb von 12 Lokalen und Vermietung von ca. 100 Zimmern an Prostituierte gemäss den Angaben im psychiatrischen Fachgutachten der medizinischen Akademie Y._ vom 14. Februar 2007; analoge Angaben im Gutachten MEDAS vom 30. April 2010) keineswegs mehr von einer zwingenden zentralen Fronttätigkeit des Beschwerdeführers ausgegangen werden kann. Vielmehr drängt sich bei den gegebenen Umsatzzahlen der verschiedenen Betriebe, die im Eigentum des Beschwerdeführers stehen, geradezu auf, dass er primär organisatorische und kaufmännische Tätigkeiten in das Zentrum seiner Aktivitäten rückt. Zu einem solchen Vorgehen ist er insbesondere auch aufgrund seiner Schadenminderungspflicht, die im Sozialversicherungsrecht zur Anwendung gelangt (BGE 134 V 9 E. 7.3.1 S. 12; Ulrich Meyer, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 30) gehalten. Das Argument, er könne nicht mehr an der "Front" in rauchgeschwängerter Umgebung tätig sein, wirkt wenig überzeugend, wenn er trotz erlittenem Herzinfarkt und offenbar mehreren Stent-Einlagen nach wie vor 10 bis 15 Zigaretten pro Tag raucht. Er hat dies auch selber in der Befragung bei der Vorinstanz relativiert, indem er angab, dass er die entsprechenden Räume meiden könne. Dem Beschwerdeführer kann daher gestützt auf die im MEDAS-Gutachten festgestellte Arbeitsfähigkeit ohne Weiteres zugemutet werden, 80 % seiner früheren Einkünfte zu erwirtschaften. Die Annahme einer Arbeitsfähigkeit von 80 %, die unter Berücksichtigung der Schadenminderungspflicht dieses Ausmass ebenfalls im Vergleich zu den früheren Aktivitäten hätte, würde auch unter (zulässiger) Anwendung eines Prozentvergleiches (vgl. dazu das Urteil 8C_501/2011 E. 4.4) einen klar rentenausschliessenden Invaliditätsgrad ergeben.
4.5 Der Beschwerdeführer ist der Auffassung, dass bei ihm die ausserordentliche Bemessungsmethode als Selbstständigerwerbender zur Anwendung zu gelangen habe und ein Betätigungsvergleich durchzuführen sei. Ein solcher Betätigungsvergleich im Rahmen des ausserordentlichen Invaliditätsbemessungsverfahrens kommt von der Natur der Sache her vor allem zur Anwendung bei selbstständig Erwerbstätigen und hier wiederum häufig im landwirtschaftlichen Bereich (Meyer, a.a.O., S. 299). Ein Betätigungsvergleich macht nebst der angeführten Anwendung im landwirtschaftlichen Bereich insbesondere bei handwerklich tätigen Versicherten Sinn, da dort die einzelnen Tätigkeitsgebiete auch klar auseinandergehalten werden können. Beim Beschwerdeführer ist jedoch schon vor Eintritt der gesundheitlichen Beeinträchtigung die Führung der verschiedenen Betriebe zentral gewesen. Gerade auch für die Wahrnehmung dieser Führungsfunktionen sind die entsprechenden administrativen Tätigkeiten wesentlich. Die Durchführung eines Betätigungsvergleichs würde daher absehbar keine brauchbaren Ergebnisse liefern. Einerseits müsste bei einem solchen Betätigungsvergleich weitgehend auf die Angaben des Beschwerdeführers abgestellt werden und diese wären einer Überprüfung kaum zugänglich, weil andere Betriebe mit einer ähnlichen Betriebsstruktur sich im schweizerischen Vergleich kaum finden lassen würden. Andererseits ist auch kaum anzunehmen, dass der Beschwerdeführer selbst ohne gesundheitliche Beeinträchtigungen tatsächlich noch die gastronomischen Tätigkeiten wie Bestellungsaufnahme/Bedienung etc. bei 60 bis 70 Angestellten wahrnehmen würde. Daher wäre es auch nicht möglich, bei einem Betätigungsvergleich die normalen Aktivitäten in einem Gastwirtschaftsbetrieb als massgebend heranzuziehen. In zulässiger antizipierter Beweiswürdigung (BGE 137 V 64 E. 5.2 S. 69, 136 I 229 E. 5.3 S. 236) ist daher auf einen Betätigungsvergleich im Rahmen des ausserordentlichen Bemessungsverfahrens zu verzichten, da daraus absehbar keine weiteren Erkenntnisse für die Bemessung des Invaliditätsgrades resultieren würden.
4.6 Der Beschwerdeführer kritisiert den von der Beschwerdegegnerin und von der Vorinstanz vorgenommenen Einkommensvergleich. Konkret werden die dabei verwendeten Zahlen jedoch nicht in Zweifel gezogen. Tatsächlich ist es so, dass das Einkommen eines Selbstständigerwerbenden, als welcher - wie bereits dargelegt - der Beschwerdeführer zu betrachten ist, Schwankungen unterliegt. Jedoch belegen die von der Beschwerdegegnerin ermittelten gesamthaften Einkünfte des Beschwerdeführers, dass diese auch nach Eintritt seiner gesundheitlichen Beeinträchtigung wieder auf zum Teil ähnlich hohe Werte wie vorher geführt werden konnten. Er hat offensichtlich organisatorische Vorkehrungen getroffen, indem er andere Personen "an der Front" zum Einsatz brachte, womit er, wie bereits dargelegt, seiner entsprechenden Schadenminderungspflicht nachkam. Wenn er demgegenüber nur seine Einkünfte gemäss IK-Eintrag als massgebend betrachtet haben will, so ist ihm entgegenzuhalten, dass er auf die Aufteilung Gehalt/Gewinnanteil als Alleinaktionär seiner Gesellschaften bestimmenden Einfluss hat, so dass es sicher nicht angehen kann, allein darauf für die Ermittlung eines Invaliditätsgrades abzustellen. Ein solches Vorgehen würde, abgesehen von der damit offensichtlich gegebenen Gefahr, dass der Grad der finanziellen Einbusse selber beeinflusst werden könnte, eine klare Ungleichbehandlung zu jenen Selbstständigerwerbenden schaffen, die nicht die Möglichkeit haben, über dazwischen geschaltete juristische Personen Gewinne zu horten oder als Dividende auszuschütten. Der aufgrund des Einkommensvergleichs ermittelte Invaliditätsgrad von 21 %, der auch bei einem Prozentvergleich in ähnlicher Höhe vorliegen würde, ist somit nicht zu beanstanden. Damit resultiert kein Rentenanspruch und auch die bereits geleisteten Zahlungen sind somit zurückzuerstatten. Die Beschwerde ist somit abzuweisen.
5. Aufgrund des Ausgangs des Verfahrens hat der Beschwerdeführer die Kosten desselben zu tragen; eine Parteientschädigung ist ihm dementsprechend nicht auszurichten (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG). Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung (Art. 68 Abs. 3 BGG; SVR 2009 UV Nr. 11 S. 45 E. 11 [8C_606/2007]).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar