Sachverhalt:
A. Mit Nachzahlungsverfügungen vom 18. Juni 2007 forderte die Ausgleichskasse Nidwalden von der Firma X._ AG für die Jahre 2002 bis 2005 Nachzahlungen von insgesamt Fr. 50'052.65 für paritätische AHV/IV/EO-, FAK- und ALV-Beiträge samt Verwaltungskosten, zuzüglich Verzugszinsen. Sie hielt daran mit Einspracheentscheid vom 23. August 2007 fest mit der Begründung, ein Teil der vom Verwaltungsratspräsidenten Y._ bezogenen Dividende sei als massgebender Lohn zu betrachten.
B. Das Versicherungsgericht des Kantons Nidwalden wies eine dagegen erhobene Beschwerde mit Urteil vom 17. Dezember 2007 ab.
C. Die Firma X._ AG erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des angefochtenen Urteils und der Nachzahlungs- und Verzugszinsverfügungen.
Die Ausgleichskasse Nidwalden beantragt Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) äussert sich zum Verfahren, ohne einen ausdrücklichen Antrag zu stellen.
Erwägungen:
1. 1.1 Der Sachverhalt ist in folgenden Punkten unbestritten: Y._ ist Aktionär, Verwaltungsratspräsident und Geschäftsführer der Firma X._ AG, welche 100%-Beteiligungen an zwei Aktiengesellschaften hält. Er bezog in den Jahren 2002-2004 je ein Bruttosalär von Fr. 32'103.- und eine Bruttodividende von Fr. 134'000.-, im Jahre 2005 ein Bruttosalär von Fr. 31'932.- und eine Bruttodividende von Fr. 340'000.-.
1.2 Umstritten ist der Umfang der Beteiligung von Y._ an der Firma X._ AG. Die Beschwerdeführerin hat vor der Vorinstanz wie vor Bundesgericht geltend gemacht, die Beteiligung von Y._ an der Gesellschaft habe in den Jahren 2002-2004 29,77 % betragen, im Jahre 2005 48,44 %. Die Vorinstanz hat in ihrem Entscheid zunächst diese Darstellung wiedergegeben, dann aber erwogen, es sei unbestritten und aktenmässig belegt, dass Y._ an der Gesellschaft zu 70 % beteiligt sei. Die Aussage, dies sei unbestritten, ist angesichts der Darstellung der Beschwerdeführerin aktenwidrig und damit offensichtlich unrichtig. Die bei den Akten liegenden steuerrechtlichen Wertschriftenverzeichnisse stimmen mit der Darstellung der Beschwerdeführerin überein. Demgegenüber begründet die Vorinstanz ihre Annahme einer 70%-Beteiligung nicht. Diese ergibt sich offenbar nur aus einem Schreiben der Ausgleichskasse vom 13. Juni 2007, wo diese Zahl jedoch nicht nachvollziehbar begründet wird. Vermutlich resultiert sie daraus, dass im Wertschriftenverzeichnis von Y._ für das Jahr 2005 nur die Anzahl der Aktien gezählt wurde, ohne dem unterschiedlichen Nennwert Rechnung zu tragen. Insgesamt erscheint die Darstellung der Beschwerdeführerin als zutreffend.
2. Umstritten ist, ob ein Teil der an Y._ ausbezahlten Dividende als beitragspflichtiges Einkommen zu qualifizieren ist.
2.1 Gemäss Art. 4 und 5 AHVG sind nur auf dem Erwerbseinkommen AHV-Beiträge geschuldet, nicht aber auf dem Vermögensertrag (BGE 122 V 178 E. 3b). Dividenden sind grundsätzlich beitragsfreier Vermögensertrag (vgl. auch Rz. 2011 der Wegleitung des BSV über den massgebenden Lohn in der AHV, IV und EO [WML]). Richtet eine Aktiengesellschaft Leistungen an Arbeitnehmer aus, die gleichzeitig Inhaber gesellschaftlicher Beteiligungsrechte sind oder Inhabern solcher Rechte nahestehen, erhebt sich bei der Festsetzung sowohl der direkten Steuer als auch der Sozialversicherungsbeiträge die Frage, ob und inwieweit es sich um Arbeitsentgelt (massgebenden Lohn) oder aber um Gewinnausschüttung (Kapitalertrag) handelt. Letztere unterliegt beim Empfänger der direkten Bundessteuer im Sinne von Art. 20 Abs. 1 lit. c DBG, da sie ihren Grund in der Aktionärseigenschaft des Empfängers hat. Nach der Rechtsprechung gehören Vergütungen, die als reiner Kapitalertrag zu betrachten sind, nicht zum massgebenden Lohn. Ob dies zutrifft, ist nach Wesen und Funktion einer Zuwendung zu beurteilen. Deren rechtliche oder wirtschaftliche Bezeichnung ist nicht entscheidend und höchstens als Indiz zu werten. Unter Umständen können auch Zuwendungen aus dem Reingewinn einer Aktiengesellschaft massgebender Lohn sein; dies gilt laut Art. 7 lit. h AHVV namentlich für Tantiemen. Es handelt sich dabei um Vergütungen, die im Arbeitsverhältnis ihren Grund haben. Zuwendungen, die nicht durch das Arbeitsverhältnis gerechtfertigt werden, gehören nicht zum massgebenden Lohn, sondern sind Gewinnausschüttungen, welche eine Gesellschaft ihren Gesellschaftern ohne entsprechende Gegenleistung zuwendet, aber unbeteiligten Dritten unter den gleichen Umständen nicht erbringen würde (BGE 103 V 1 E. 2b S. 4; ZAK 1989, S. 147 E. 2b; Pra 1997 Nr. 96, E. 4b; Urteil H 49/02 vom 19. November 2002, E. 4.1).
2.2 Im Lichte der gesetzlichen Grundentscheidung, wonach nur Erwerbseinkommen, nicht aber Vermögensertrag beitragspflichtig ist, muss bei der Beurteilung von Leistungen, welche eine Aktiengesellschaft an Personen ausrichtet, die zugleich Arbeitnehmer und Aktionäre sind, einerseits eine angemessene Entschädigung für die geleistete Arbeit, andererseits ein angemessener Vermögensertrag zugrunde gelegt werden. Dabei ist zu beachten, dass es für die Beitragspflichtigen nicht nur vorteilhaft ist, hohe Dividenden und ein tiefes Salär zu deklarieren. Dies ist zwar AHV-rechtlich günstiger, weil auf den Dividenden keine AHV-Beiträge geschuldet sind. Steuerrechtlich verhält es sich aber umgekehrt: Im Unterschied zu den Löhnen stellt die Dividende bei der Gesellschaft keinen geschäftsmässig begründeten Aufwand dar, sondern unterliegt der Gewinnsteuer (Art. 58 Abs. 1 lit. b DBG; Art. 24 Abs. 1 StHG) und zugleich beim Empfänger der Einkommenssteuer, insgesamt somit einer wirtschaftlichen Doppelbelastung, welche durch die Unternehmenssteuerreform II (Bundesgesetz vom 23. März 2007 über die Verbesserung der steuerlichen Rahmenbedingungen für unternehmerische Tätigkeiten und Investitionen, angenommen in der Volksabstimmung vom 24. Februar 2008) zwar gemildert (Art. 20 Abs. 1bis DBG, Art. 7 Abs. 1 StHG, je in der Fassung gemäss Unternehmenssteuerreform II), aber nicht beseitigt wurde. Die Steuerbehörden haben zu prüfen, ob eine als Lohn deklarierte Leistung in Wirklichkeit eine Gewinnausschüttung darstellt, und gegebenenfalls als solche aufzurechnen (Urteil 2A.742/2006 vom 15. Mai 2006, E. 5.3; StE 2005 B 72.13.22 Nr. 43, E. 3). Dabei hat die Gesellschaft einen erheblichen Ermessensspielraum; den Steuerbehörden steht es nicht zu, die Angemessenheit des Lohnes bzw. der Dividende frei zu überprüfen. Von der durch die Gesellschaft gewählten Aufteilung ist abzuweichen, wenn ein offensichtliches Missverhältnis zwischen Arbeitsleistung und Lohn bzw. zwischen eingesetztem Vermögen und Dividende besteht (BGE 113 Ib 23 E. 2c S. 25; StE 2005 B 72.13.22 Nr. 44, E. 2; StE 2005 B 72.13.22 Nr. 43, E. 3; Brülisauer/Poltera, in Zweifel/Athanas [Hrsg.], Kommentar DBG, 2. Aufl., Basel 2008, N. 99 zu Art. 58; Richner/Frei/Kaufmann, Handkommentar zum DBG, N 102 zu Art. 58). Dabei ist - wie im AHV-Recht (E. 2.1), aber mit umgekehrten Vorzeichen - auf einen Drittvergleich abzustellen, d.h. es ist zu prüfen, ob die gleiche Leistung unter Berücksichtigung aller objektiven und subjektiven Faktoren auch einem aussenstehenden Dritten erbracht worden wäre (BGE 131 II 593 E. 5.2, 119 Ib 431 E. 2b, 113 Ib 23 2b S. 25; StE 2005 B 72.13.22 Nr. 44, E. 2; RDAT 2001 I Nr. 18t S. 421, E. 3b; Brülisauer/Poltera, a.a.O., N. 96 zu Art. 58; Robert Danon, in Yersin/Noël [Hrsg.], Impôt fédéral direct, N. 143 zu Art. 57/58).
2.3 Während also die Steuerbehörden allenfalls eine als Lohn deklarierte Leistung als verdeckte Gewinnausschüttung qualifizieren, wenn sie einem Arbeitnehmer, der nicht zugleich Aktionär wäre, nicht erbracht worden wäre, können umgekehrt die AHV-Behörden eine als Gewinnausschüttung deklarierte Leistung als massgeblichen Lohn qualifizieren, wenn sie einem Aktionär, der nicht zugleich Arbeitnehmer wäre, nicht erbracht worden wäre. Praxisgemäss ist es Sache der Ausgleichskassen, selbstständig zu beurteilen, ob ein Einkommensbestandteil als massgebender Lohn oder als Kapitalertrag qualifiziert werden muss. Der in Art. 23 AHVV enthaltenen Ordnung entspricht es jedoch, dass sich die Ausgleichskassen in der Regel an die bundessteuerrechtliche Betrachtungsweise halten. Um der Einheit und Widerspruchslosigkeit der gesamten Rechtsordnung willen soll eine verschiedene Betrachtungsweise der Steuerbehörde und der AHV-Verwaltung vermieden werden, ausser wenn dafür ausschlaggebende Gründe vorliegen (BGE 103 V 1 E. 2c; ZAK 1989, S. 148, E. 2c; Urteil H 49/02 vom 19. November 2002, E. 4.2). Das gilt namentlich auch in Bezug auf die verrechnungssteuerliche Behandlung (BGE 122 V 178 E. 3b S. 180). Ein Grund, welcher eine Abweichung von steuerrechtlicher und AHV-rechtlicher Betrachtung nahelegt, liegt namentlich darin, dass Tantiemen obligationenrechtlich und steuerrechtlich als Gewinn gelten (Art. 677 OR; Urteil 2A.742/2006 vom 15. Mai 2007, E. 5.1; Brülisauer/Poltera, a.a.O., N 95 zu Art. 58), AHV-rechtlich hingegen als massgebender Lohn (Art. 7 lt. h AHVV; Pra 1997 Nr. 96 E. 4b). Wie in der steuerrechtlichen Betrachtung ist aber auch ahv-rechtlich von der durch die Gesellschaft vorgenommenen Aufteilung auszugehen und davon nur abzuweichen, wenn ein offensichtliches Missverhältnis zwischen Arbeitsleistung und Entgelt bzw. zwischen eingesetztem Vermögen und Dividende besteht.
2.4 Die Ausgleichskasse Nidwalden hat zur Abgrenzung von Lohn und Gewinnausschüttung seit mehreren Jahren eine Praxis entwickelt, wonach die Dividendenzahlung, das deklarierte AHV-Einkommen und ein branchenübliches Gehalt zueinander in Beziehung gesetzt werden. Soweit die Dividende eine 15%ige Verzinsung des Aktienkapitals übersteigt, wird sie als massgebender Lohn betrachtet, dies jedoch nur bis zur Höhe eines durchschnittlichen Gehalts, das aufgrund von Standardwerten bestimmt wird. Die Beschwerdegegnerin hat auch im vorliegenden Fall diese Praxis angewendet, wobei sie von einem branchenüblichen Jahreseinkommen von Fr. 120'000.- ausgegangen ist.
2.5 Das Bundesgericht hat sich verschiedentlich zu dieser Nidwaldner Praxis geäussert: In Pra 1997 Nr. 96 S. 519 E. 6 erwog es, die erwähnte kantonale Praxis sei nicht allgemein, sondern aufgrund der besonderen Situation des konkreten Einzelfalls zu beurteilen. Bei einem nur teilzeitlich für die Gesellschaft tätigen Geschäftsführer könne nicht der für eine Vollzeitstelle branchenübliche Lohn von Fr. 120'000.- aufgerechnet werden. Auch hohe Dividenden seien nicht unzulässig, wenn sie gleichermassen an alle Aktionäre ausgeschüttet werden, auch an diejenigen, die nicht in der Aktiengesellschaft tätig sind. In den Urteilen H 386/99 vom 4. August 2000, H 304/00 vom 10. März 2003 und H 108/03 vom 22. Dezember 2003 wurde demgegenüber die Anwendung der Nidwaldner Praxis geschützt bei einem Alleinaktionär, Verwaltungsratspräsidenten und Geschäftsführer, der einen Lohn von ca. Fr. 37'200.- bis Fr. 48'000.- und eine Dividende von Fr. 500'000.- bezogen hatte; bei einer einzigen Verwaltungsrätin und Geschäftsführerin, die ein Salär von Fr. 60'000.- bis Fr. 72'000.- und eine Dividende von Fr. 70'000.- bis 100'000.- bezogen hatte; sowie bei einem Alleinaktionär, einzigen Verwaltungsratsmitglied und Geschäftsführer, der kein Salär, aber eine Dividende von Fr. 120'000.- bis Fr. 300'000.- bezogen hatte, zudem auch in einem Jahr, in welchem die Aktiengesellschaft einen Verlust erzielt hatte.
2.6 Das BSV führt in seiner Vernehmlassung aus, es beabsichtige im Zusammenhang mit der Unternehmenssteuerreform II diese Nidwaldner Praxis in die WML aufzunehmen. In den Mitteilungen Nr. 219 an die AHV-Ausgleichskassen und EL-Durchführungsstellen vom 31. März 2008 hat das BSV zudem diese Praxis ab sofort sinngemäss in Geltung gesetzt.
2.7 Es ist nicht zu beanstanden, wenn das BSV Weisungen erlässt (Art. 72 Abs. 1 AHVG), wonach unter bestimmten Voraussetzungen ein offensichtliches Missverhältnis im genannten Sinne zu vermuten ist. Wie aus der zitierten Bundesgerichtspraxis hervorgeht (E. 2.5), können jedoch solche Weisungen nicht schematisch, sondern nur unter Würdigung des konkreten Einzelfalls angewendet werden (Pra 1997 Nr. 96 S. 519 E. 6). Zudem ist nur in begründeten Fällen von der steuerrechtlichen Betrachtung abzuweichen. In jedem Fall müssen die Weisungen gesetzes- und verordnungskonform sein.
2.8 Aus der Nidwaldner Praxis bzw. dem Kreisschreiben Nr. 219 ist nicht ersichtlich, dass und inwiefern dabei die steuerrechtliche Betrachtung berücksichtigt würde. Zudem sind die darin enthaltenen Kriterien insofern gesetzwidrig, als sie die Angemessenheit der Dividende im Verhältnis zum Aktienkapital bemessen. Beitragsfrei ist der (angemessene) Ertrag auf dem Vermögen. Zum Vermögen gehört beim Selbstständigerwerbenden auch das im Betrieb investierte Eigenkapital (Art. 9 Abs. 2 lit. f AHVG). Bei einer Aktiengesellschaft umfasst das Eigenkapital nicht nur das Aktienkapital, sondern auch die (offenen und stillen) Reserven (BGE 130 II 449 E. 6.7 in Bezug auf Art. 13 Abs. 1 lit. b PüG; Brülisauer/Ziegler, in Zweifel/Athanas, a.a.O, N 9 zu Art. 65; vgl. zu Art. 9 Abs. 2 lit. f. AHVG auch SVR 2006 AHV Nr. 20 S. 74 E. 4.4.2). Das Eigenkapital kann sehr wesentlich vom Aktienkapital abweichen. Dieses bildet keinen tauglichen Massstab für die Höhe des Eigenkapitals bzw. des investierten Vermögens. Auch beim Aktionär ist daher die Angemessenheit des (beitragsfreien) Vermögensertrags nicht in Relation zum Nennwert, sondern zum effektiven wirtschaftlichen Wert der Aktien zu beurteilen.
3. 3.1 Die Vorinstanz hat zum wirtschaftlichen Wert der Firma X._ AG bzw. des Aktienpakets von Y._ keine Aussagen gemacht und insofern den rechtserheblichen Sachverhalt unvollständig festgestellt, so dass ihn das Bundesgericht selber feststellen kann (Art. 105 Abs. 2 BGG). Die Beschwerdeführerin macht in ihrer Beschwerde ans Bundesgericht wie bereits vor der Vorinstanz geltend, der Steuerwert der Unternehmung betrage rund 19 Mio. Franken, was der in den Akten liegenden Bewertungsmeldung der kantonalen Steuerverwaltung entspricht und nicht bestritten wird. Ausgehend von diesem Steuerwert entsprechen die Dividenden von Fr. 134'000.- (für die Jahre 2002-2004) bei einem Aktienanteil von Y._ von rund 30 % (E. 1.2) einem Vermögensertrag von rund 2,3 %. Die Dividende von Fr. 340'000.- für das Jahr 2005 entspricht bei einer nunmehr knapp 50%igen Beteiligung (E. 1.2) einem Vermögensertrag von rund 3,6 %. Solche Vermögenserträge können offensichtlich nicht als unangemessen hoch bezeichnet werden. Etwas abweichend sind die in den Wertschriftenverzeichnissen angegebenen Steuerwerte der Aktienpakete: Sie betragen für die Jahre 2002-2004 zwischen Fr. 3'339'280.- und Fr. 4'277'280.-. Die Dividende von Fr. 134'000.- entspräche damit einem Vermögensertrag von 3,1-4,0 %. Für das Jahr 2005 ist im Wertschriftenverzeichnis ein Steuerwert des Aktienpakets von Fr. 5'722'500.- angegeben. Die Dividende von Fr. 340'000.- entspricht einem Vermögensertrag von 5,9 %. Auch dies kann für risikotragendes Kapital einer Aktiengesellschaft jedenfalls nicht als offensichtlich überhöht betrachtet werden (vgl. BGE 130 II 449 E. 6.8.2 zu Art. 13 Abs. 1 lit. b PüG; BGE 118 II 124 E. 5 S. 128 zu Art. 269a lit. c OR). Für die Angemessenheit und rein gesellschaftsrechtliche (nicht arbeitsrechtliche) Motivierung der an Y._ ausgerichteten Dividende spricht zudem, dass ihr Anteil an der gesamten ausgeschütteten Dividende jedenfalls für das Jahr 2005, für welches sich eine Jahresrechnung in den Akten befindet, genau dem Anteil von Y._ am gesamten Aktienkapital entspricht, so dass offenbar alle Aktionäre gleich behandelt wurden (vgl. Pra 1997 Nr. 96 S. 519 E. 6d/cc).
3.2 Unter diesen Umständen könnte das weitere - grundsätzlich beachtliche - Kriterium der Angemessenheit der Entschädigung für die geleistete Arbeit höchstens dann zu einer Aufrechnung führen, wenn die ausgerichtete Entschädigung eindeutig unangemessen tief wäre. Dies kann vorliegend klar verneint werden: Denn bei der Beschwerdeführerin handelt es sich um eine Holdinggesellschaft. Typischerweise üben Holdinggesellschaften keine eigentliche Geschäftstätigkeit aus, sondern beschränken sich darauf, andere Beteiligungen zu halten. Anzeichen dafür, dass es sich bei der Beschwerdeführerin anders verhalten würde, sind keine ersichtlich. Nach dem Handelsregisterauszug besteht ihr Zweck in Erwerb, Verwaltung und Veräusserung von Beteiligungen an Unternehmen und Gesellschaften der Furnierbranche sowie in der Gründung weiterer Gesellschaften; sie kann Grundeigentum erwerben und veräussern. Die bei den Akten liegende Jahresrechnung für das Jahr 2005 weist als einzigen nennenswerten Geschäftsaufwand nebst den Buchhaltungskosten das Verwaltungsratshonorar samt AHV-Beiträgen aus. Die Tätigkeit des Verwaltungsrats beschränkt sich somit offensichtlich darauf, die Beteiligung an den zwei Tochtergesellschaften zu verwalten. Für eine solche Tätigkeit ist eine jährliche Entschädigung von rund Fr. 30'000.- für den Verwaltungsratspräsidenten nicht unangemessen tief.
3.3 Schliesslich sind die fraglichen Ausschüttungen nach Lage der Akten auch steuerrechtlich als Dividende qualifiziert worden: Es wurde darauf Verrechnungssteuer abgezogen (vgl. dazu BGE 122 V 178 E. 4c S. 182) und sie wurden offensichtlich bei Y._ als Vermögensertrag besteuert. Auch sind sie in der Erfolgsrechnung der Gesellschaft nicht als Personalaufwand, sondern als Dividende verbucht worden. Es gibt keine Anhaltspunkte dafür, dass sie im Rahmen der Gewinnbesteuerung der Aktiengesellschaft nicht als Gewinn, sondern als geschäftsmässig begründeter Aufwand behandelt worden wären.
3.4 Die Aufrechnung als massgebender Lohn erfolgte daher zu Unrecht. Die Beschwerde ist begründet.
4. Die unterliegende Beschwerdegegnerin, um deren Vermögensinteresse es geht, hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 und 4 BGG) und - da die Voraussetzungen, unter denen das Bundesgericht einer nicht anwaltlich vertretenen Partei eine angemessene Entschädigung zusprechen kann (Art. 9 des Reglementes über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht [SR 173.110.210.3]), hier erfüllt sind - der obsiegenden Beschwerdeführerin eine Parteientschädigung zu bezahlen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Nidwalden vom 17. Dezember 2007 und der Einspracheentscheid der Ausgleichskasse Nidwalden vom 23. August 2007 werden aufgehoben.
2. Die Gerichtskosten von Fr. 4000.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat die Beschwerdeführerin für das bundesgerichtliche Verfahren mit Fr. 2000.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Nidwalden zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, Abteilung Versicherungsgericht, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Juni 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Maillard