Sachverhalt:
A. Y._ ist Eigentümerin der an der B._strasse in Ennetbürgen gelegenen, mit einem Wohnhaus überbauten Parzelle Nr. xxx, GB Ennetbürgen. Am 31. Oktober 2008 reichte sie beim Gemeinderat ein Baugesuch für einen Um- und Ausbau ihres Hauses ein. Verschiedene Nachbarn, darunter X._, die Eigentümerin der östlich angrenzenden Liegenschaft Nr. yyy, erhoben Einsprache gegen das Bauvorhaben.
Am 2. Juli 2009 bewilligte der Gemeinderat Ennetbürgen das Baugesuch von Y._ und wies die Einsprachen ab.
Am 31. August 2010 wies der Regierungsrat des Kantons Nidwalden die Verwaltungsbeschwerde von X._ gegen die Baubewilligung ab.
Am 31. Oktober 2011 wies das Verwaltungsgericht des Kantons Nidwalden die Verwaltungsgerichtsbeschwerde von X._ gegen diesen regierungsrätlichen Entscheid ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._, das Urteil des Verwaltungsgerichts und die Baubewilligung aufzuheben oder die Sache eventuell ans Verwaltungsgericht zur Neubeurteilung zurückzuweisen.
C. Das Verwaltungsgericht, der Regierungsrat und die Gemeinde Ennetbürgen verzichten auf Vernehmlassung. Y._ beantragt, die Beschwerde abzuweisen.
X._ hält in ihrer Replik an der Beschwerde fest.
Erwägungen:
1. Gegen den angefochtenen, kantonal letztinstanzlichen Entscheid über eine Baubewilligung steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG). Die Beschwerdeführerin hat am vorinstanzlichen Verfahren teilgenommen, verfügt als unmittelbare Nachbarin über eine spezifische Beziehungsnähe zur Streitsache und könnte aus der Aufhebung oder Änderung des angefochtenen Entscheids einen praktischen Nutzen ziehen, z.B. wenn das Bauprojekt verhindert würde; sie ist damit zur Beschwerde befugt (Art. 89 Abs. 1 BGG). Sie rügt die Verletzung von Bundesrecht, was zulässig ist (Art. 95 BGG; BGE 133 II 249 E. 1.2.1). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde unter folgendem Vorbehalt einzutreten ist.
Für Verfassungsverletzungen gilt eine qualifizierte Rügepflicht; das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise erhoben und begründet werden (Art. 106 Abs. 2 BGG; BGG 133 II 249 E. 1.4; 133 IV 286 E. 1.4). Die Beschwerde genügt diesen Anforderungen nur teilweise; so ist etwa die Rüge, das Verwaltungsgericht habe das verfassungsmässige Gleichbehandlungsgebot verletzt, nicht ansatzweise ausreichend begründet. Soweit im Folgenden auf Ausführungen in der Beschwerdeschrift nicht eingegangen wird, genügen sie den gesetzlichen Begründungsanforderungen nicht.
2. 2.1 Die in der See- und Landhauszone W2 gelegene, 149 m2 grosse Parzelle Nr. xxx hat Seeanstoss und ist mit einem 1967 bewilligten zweigeschossigen Wohnhaus überbaut. Bei der Erteilung der Baubewilligung galt nach dem damals in Kraft stehenden Bau- und Zonenreglement für die Bauparzelle eine Ausnützungsziffer von 0.2, und es durften maximal 2 Vollgeschosse erstellt werden. Heute gilt nach dem BZR 2007 eine Ausnützungsziffer von 0.25. Unbestritten ist, dass die bestehende Baute 1967 formell korrekt bewilligt wurde, aber von Anfang an wegen Übernutzung materiell baurechtswidrig war. Noch während des Baubewilligungsverfahrens wurde von der ursprünglich 303 m2 grossen Parzelle Nr. zzz die Parzelle Nr. xxx abparzelliert. Laut aktuellem Baugesuch weist das bestehende Gebäude eine Bruttogeschossfläche von 88,67 m2 auf; die Parzelle Nr. xxx ist damit bei einer heute regulär zulässigen Nutzung von 37,3 m2 (149.2 x 0.25) stark übernutzt.
2.2 Nach Art. 206 des Baugesetzes des Kantons Nidwalden vom 24. April 1988 (BauG) dürfen baupolizeiwidrige Bauten innerhalb der Bauzonen erhalten und zeitgemäss erneuert werden. Neubauähnliche Umbauten und Erweiterungen können ausnahmsweise gestattet werden, wenn keine wesentlichen öffentlichen und privaten Interessen entgegenstehen. Das Verwaltungsgericht erwog im angefochtenen Entscheid, der umstrittene Dachaufbau sei als Erweiterungsbau mit neubauähnlichem Charakter nach Massgabe dieser Bestimmung zu beurteilen (E. 2.2 S. 4 f.).
Dachgeschosse, die nach Art. 162 BauG nicht als Vollgeschosse gelten, sind bei der Berechnung der Ausnützungsziffer nicht zu berücksichtigen (Art. 36 BauG i.V.m. § 13 Ziff. 1 der Bauverordnung vom 3. Juli 1996, BauV). Ein Dachgeschoss gilt als Vollgeschoss, wenn seine Nutzfläche 70 % der Grundfläche des darunterliegenden Vollgeschosses übersteigt (Art. 162 Abs. 1 Ziff. 2 BauG). Nach den unbestrittenen Feststellungen des Verwaltungsgerichts beträgt die anrechenbare Nutzfläche des geplanten Dachgeschosses 55 m2, die Grundfläche des Vollgeschosses darunter 78.6 m2. Da somit die Nutzfläche des Dachgeschosses 70 % der Grundfläche des darunterliegenden Vollgeschosses (= 55.2 m2) nicht überschreitet, fällt es für das Verwaltungsgericht bei der Berechnung der Ausnützung ausser Betracht; seine Errichtung führe nicht zu einer Erhöhung der Ausnützung und damit nicht zu einer weiteren Verschärfung der bestehenden Baupolizeiwidrigkeit (E. 2.4 S 5). Das Vorhaben sei damit bewilligungsfähig, wenn ihm nicht wesentliche öffentliche oder private Interessen entgegenstünden. Da der kantonale Gesetzgeber in Art. 206 BauG von der Möglichkeit einer erweiterten Besitzstandsgarantie Gebrauch gemacht habe, sei davon auszugehen, dass eine neubauliche Erweiterung nicht gegen wesentliche öffentliche Interessen verstosse. Die Beschwerdeführerin befürchte hauptsächlich eine zusätzliche Beschattung ihrer Liegenschaft. Das vom Regierungsrat angeordnete Schattenwurfdiagramm zeige indessen, dass der geplante Dachaufbau den Schattenwurf auf die Liegenschaft der Beschwerdeführerin nur minimal vergrössere. Das Bauvorhaben verstosse weder gegen wesentliche öffentliche noch private Interessen und sei damit zu Recht bewilligt worden (E. 2.6 und 2.7 S. 6 f.).
3. 3.1 Die Beschwerdeführerin rügt, das Verwaltungsgericht gehe zu Unrecht davon aus, die umstrittene Baute habe ursprünglich den Bauvorschriften entsprochen und sei zu einem späteren Zeitpunkt durch eine Änderung der materiellen Rechtsgrundlage vorschriftswidrig geworden. Es übersehe, dass der heutige rechtswidrige Zustand durch eine Täuschung der Behörden und eine bewusste Verletzung der baugesetzlichen Bestimmungen herbeigeführt worden sei. Das Verwaltungsgericht gehe von einem falschen Sachverhalt aus.
Mit dieser Argumentation kritisiert die Beschwerdeführerin in erster Linie die Rechtsanwendung, nicht die Sachverhaltsfeststellung. Die Rüge geht schon aus diesem Grund an der Sache vorbei. Der Vorwurf trifft zudem nicht zu. Das Verwaltungsgericht geht explizit und offensichtlich zu Recht davon aus, dass die umstrittene Baute bereits bei ihrer Errichtung den damals geltenden Bauvorschriften widersprach. Über die Gründe, wie diese materiell baurechtswidrige Bewilligung zustande kam, ob der Grundeigentümer die Baubehörde täuschte, wie die Beschwerdeführerin behauptet, oder ob man in Ennetbürgen damals Nutzungsüberschreitungen generell zuliess, kann heute, rund 40 Jahre später, nur spekuliert werden. Tatsache ist indessen, dass die Baubewilligung in Rechtskraft erwuchs und nachträglich nicht aufgehoben wurde, was jedenfalls bei einer bewussten Irreführung der Baubehörde durch den Gesuchsteller in Betracht gefallen wäre.
3.2 Die Beschwerdeführerin behauptet, die an der Südwest-Ecke des Erdgeschosses gelegene Waschküche sei in rechtswidriger Weise zu einem Wohnraum umgebaut worden. Diesen Umstand wolle keine Behörde abklären. Die Gemeinde stelle sich auf den Standpunkt, dass sie allfällige (illegale) Zusatzbauten bei der Bauabnahme feststellen werde. Das sei zu spät. Das Verwaltungsgericht habe ihren Anspruch auf rechtliches Gehör verletzt, indem es diese Frage nicht geklärt habe.
In den Akten finden sich ausser der unbelegten Behauptung der Beschwerdeführerin keine Hinweise, dass die Waschküche ohne Bewilligung in einen Wohnraum umgewandelt wurde. Sollte dies allerdings geschehen sein, was der Baubehörde bei der Bauabnahme nicht verborgen bleiben kann, so wird der Umbau in einem nachträglichen Baubewilligungsverfahren auf seine Bewilligungsfähigkeit zu prüfen sein. Das Verwaltungsgericht hat daher das rechtliche Gehör der Beschwerdeführerin nicht verletzt, indem es im vorliegenden Verfahren nicht überprüfte, ob die Waschküche entgegen den Baugesuchsplänen umgebaut worden ist.
3.3 Die Beschwerdeführerin rügt sinngemäss eine willkürliche Anwendung von Art. 206 BauG. Das Verwaltungsgericht sei bei der Prüfung, ob das Dachgeschoss nach dieser Bestimmung als Vollgeschoss gelte, zu Unrecht von den effektiven, anstatt von den nach den Bauvorschriften maximal zulässigen Massen des bestehenden Obergeschosses ausgegangen. Diese Berechnungsweise führe dazu, dass die heute schon massiv übernutzte Parzelle noch weiter überbaut werde, was nicht angehe.
Die oben in E. 2.2 wiedergegebene gesetzliche Regelung bestimmt, dass ein Dachgeschoss für die Berechnung der Ausnützung dann ausser Betracht fällt, wenn seine Nutzfläche 70 % der Grundfläche des darunter liegenden Vollgeschosses nicht übersteigt. Es ist ohne weiteres haltbar, dass das Verwaltungsgericht dabei auf die Masse der bestehenden Bauten abstellt. Wenn ein Dachgeschoss wie hier die entsprechenden Voraussetzungen erfüllt, erhöht es nach dem klaren Willen des Gesetzgebers die Ausnützung nicht. Der Einwand der Beschwerdeführerin, die Errichtung des Dachgeschosses verschärfe die bereits bestehende Übernutzung, verletze damit öffentliche Interessen und sei deswegen unzulässig, geht fehl.
3.4 Die Beschwerdeführerin macht geltend, das Bauvorhaben stelle einen extremen Eingriff in ihr Eigentum dar. Die Auswirkungen des geplanten Dachgeschosses auf die Besonnung ihrer Liegenschaft seien einschneidend. Zum Beweis legt sie Fotos ins Recht, aus denen hervorgehen soll, dass ihre Stube in der ersten Aprilhälfte bisher bis 18:30 Uhr und nach dem geplanten Umbau nur bis 16:55 Uhr besonnt sei. Sie sei zur Einreichung neuer Beweismittel nach Art. 99 Abs. 1 BGG befugt, da erst die Feststellung des Verwaltungsgerichts, das Bauprojekt bewirke nur einen minimalen zusätzlichen Schattenwurf auf ihre Liegenschaft, dazu Anlass gegeben habe.
Die von der Beschwerdeführerin neu ins Recht gelegten Fotos sind entgegen ihrer Auffassung unbeachtlich. Im Verfahren vor dem Regierungsrat wurde ein Schattendiagramm eingeholt, wozu die Beschwerdeführerin Stellung nehmen konnte. Sie hatte damit bereits im Verwaltungsbeschwerdeverfahren Anlass und Gelegenheit, das von ihr als unzulänglich kritisierte Schattendiagramm mit eigenen Beweismitteln zu entkräften. Damit sind die Voraussetzungen von Art. 99 Abs. 1 BGG für das Einreichen neuer Beweismittel im bundesgerichtlichen Verfahren nicht erfüllt.
In der Sache ist die Auffassung des Verwaltungsgerichts nicht zu beanstanden, dass die Beschwerdeführerin den Schattenwurf einer bewilligungsfähigen Überbauung der Nachbarparzelle zu dulden hat. Mit dem Entscheid des Gesetzgebers, Dachgeschosse unter bestimmten Voraussetzungen nicht an die zulässige Ausnützung anzurechnen, ermöglicht er eine intensivere Nutzung der Bauplätze, was regelmässig mit einer stärkeren Beschattung der Nachbarparzellen verbunden ist. Das hat die Beschwerdeführerin hinzunehmen. Von einem "extremen" Eingriff in ihr Eigentum kann zudem keine Rede sein, selbst wenn der neue Dachaufbau die Beschattung wesentlicher Teile ihrer Parzelle in der Übergangszeit um rund 1 1⁄2 Stunden erhöhen würde, wie sie behauptet. Vor allem aber wird der Schattenwurf massgeblich vom Umstand beeinflusst, dass das Haus der Beschwerdegegnerin an die Grenze gebaut ist; es versteht sich von selbst, dass die Beschwerdeführerin die mit diesem privatrechtlichen Grenzbaurecht verbundenen Nachteile zu dulden hat.
4. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird die Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG). Sie hat der obsiegenden Beschwerdegegnerin zudem eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten in Höhe von Fr. 3'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Ennetbürgen, dem Regierungsrat des Kantons Nidwalden und dem Verwaltungsgericht des Kantons Nidwalden, Verwaltungsabteilung, schriftlich mitgeteilt.
Lausanne, 31. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Störi