Sachverhalt:
A. Die Bootshafen AG Luzern betreibt den Segelbootshafen Tribschenhorn in Luzern. Sie beabsichtigt, diesen zu sanieren und zu erweitern. Grundeigentümer des Seegrundstücks Nr. 15, GB Luzern rechtes Ufer (Vierwaldstättersee), sowie des Ufergrundstücks Nr. 1424, GB Luzern linkes Ufer, ist der Kanton Luzern. Die Ufergrundstücke Nrn. 1370, 1373, 3667, alle GB Luzern linkes Ufer, stehen im Eigentum der Stadt Luzern. Im Wesentlichen umfassen die geplanten Sanierungs- und Erweiterungsmassnahmen den Ersatz der bestehenden Schwimmstege, die Erhöhung der Bootsplatzkapazität im Hafenbecken durch Verdichtung (Verringerung der Stegabstände) sowie die Erstellung eines zusätzlichen Stegs (fünf statt der bisherigen vier Stege). Die bestehende Mole soll Richtung See gedreht und um rund 23 m verlängert werden. Dies entspricht einer Vergrösserung des Hafenareals von heute 25'595 m2 um 6'170 m2 (ca 17 %) auf neu 41'764 m2. Die Anzahl der Bootsplätze soll von 578 um 55 (+ 9.5 %) auf 633 aufgestockt werden.
B. Das Baugesuch der Bootshafen AG Luzern lag zusammen mit dem Umweltverträglichkeitsbericht (UVB) vom 31. März 2009 im Zeitraum vom 28. September bis 19. Oktober 2009 öffentlich auf. Innert Frist gingen Einsprachen u.a. von der Korporation Luzern sowie des Landschaftsschutzverbands Vierwaldstättersee (LSVV), worin auch die Einsprache der Aqua Viva mitenthalten war, ein. Im Rahmen der Vernehmlassung reichten die kantonalen Dienst- und Amtsstellen Verkehr und Infrastruktur (vif), Umwelt und Energie (uwe), Landwirtschaft und Wald (lawa), Denkmalpflege und Archäologie (da), Strassenverkehrsamt, Wasserpolizei, Immobilien sowie die Stadt Luzern ihre Berichte ein. Mit Entscheid vom 30. Juni 2010 erteilte die Dienststelle Raumentwicklung, Wirtschaftsförderung und Geoinformation (rawi) des kantonalen Bau-, Umwelt- und Wirtschaftsdepartements dem Vorhaben die Baubewilligung, die raumplanungsrechtliche Ausnahmebewilligung, die Bewilligung nach Wasserbau-, Fischerei- und Waldgesetz sowie nach der Verordnung über die Schifffahrt, dies unter Auflagen und Bedingungen. Die Ausnahmebewilligung nach Art. 22 Abs. 2 des Bundesgesetzes über den Natur- und Heimatschutz vom 1. Juli 1966 (NHG; SR 451) für die Beseitigung der Ufervegetation erteilte sie im Rechtsspruch hingegen nicht ausdrücklich. Die Einsprache der Korporation Luzern wies sie ab, soweit sie darauf eintrat. Ebenso wies sie die Einsprachen des LSVV und der Aqua Viva ab, soweit sie diese nicht als erledigt erklärte.
C. Hierauf gelangten der LSVV und die Aqua Viva am 23. Juli 2010 ans Verwaltungsgericht des Kantons Luzern. Sie beantragten, der Entscheid der Dienststelle rawi sei aufzuheben und die Baubewilligung für die Erweiterung des Bootshafens sei zu verweigern. Auch die Korporation Luzern erhob am 27. Juli 2010 Beschwerde und stellte Antrag auf Aufhebung des Amtsentscheids.
Das Verwaltungsgericht des Kantons Luzern vereinigte die beiden Verfahren, hiess die Beschwerden gut und hob den Entscheid der Dienststelle rawi vom 30. Juni 2010 mit Urteil vom 1. September 2011 auf.
D. Mit ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Oktober 2011 beantragt die Bootshafen AG Luzern dem Bundesgericht, das Urteil des luzernischen Verwaltungsgerichts vom 1. September 2011 aufzuheben und den Entscheid der Dienststelle rawi vom 30. Juni 2010 zu bestätigen. Eventualiter sei das angefochtene Urteil aufzuheben und die Sache zur neuen Beurteilung an das Verwaltungsgericht des Kantons Luzern zurückzuweisen.
Der LSVV beteiligt sich mangels Legitimation nicht am Verfahren vor Bundesgericht, während die Korporation Luzern und die Aqua Viva je auf Abweisung der Beschwerde schliessen, soweit darauf eingetreten werden könne. Die Dienststelle rawi verzichtet auf eine Vernehmlassung, verweist aber auf seinen Entscheid. Das Verwaltungsgericht des Kantons Luzern beantragt unter Hinweis auf sein Urteil die Abweisung der Beschwerde.
Das Bundesamt für Umwelt (BAFU) hat sich ebenfalls zur Angelegenheit vernehmen lassen und stellt Antrag auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) verzichtet auf eine Vernehmlassung.
In ihren weiteren Eingaben zu den diversen Stellungnahmen hält die Beschwerdeführerin sinngemäss an ihren Anträgen und deren Begründung fest.
Erwägungen:
1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft eine Ausnahmebewilligung gemäss Art. 24 RPG sowie mehrere weitere erteilte Bewilligungen, die sich auf Bundesumwelt- und -naturschutzrecht stützen, also auf öffentliches Recht (Art. 82 lit. a und 86 Abs. 1 lit. d BGG). Es liegt kein Ausschlussgrund nach Art. 83 BGG vor (vgl. BGE 133 II 409 E. 1.1 S. 411). Die Beschwerdeführerin ist Betreiberin des heutigen Bootshafens und entsprechend zur Beschwerde legitimiert (Art. 89 BGG). Da die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist grundsätzlich auf die Beschwerde einzutreten.
2. Das Verwaltungsgericht hat seinen Entscheid in erster Linie damit begründet, dass für das Bootshafenprojekt keine Ausnahmebewilligung nach Art. 22 Abs. 2 NHG erteilt werden könne. Die Dienststelle rawi hatte eine solche aufgrund der in Art. 24c RPG gewährleisteten Bestandesgarantie als unnötig erachtet.
Wie die nachfolgenden Erwägungen zeigen, ist die Beschwerde auf der Grundlage von Art. 21 f. NHG in Verbindung mit Art. 5 Abs. 4 WaG abzuweisen. Es erübrigt sich deshalb, die Bewilligungsvoraussetzungen von Art. 24 RPG ausführlich zu behandeln. Aus dem gleichen Grund ist auf die Erörterung der Frage zu verzichten, ob das umstrittene Vorhaben allenfalls planungspflichtig ist.
2.1 Vorgesehen ist - wie in lit. A hiervor dargelegt - der Ersatz der bestehenden Schwimmstege und eine Erhöhung der Bootsplatzkapazität im Hafenbecken durch Verdichtung (Erstellung von fünf neuen Stegen, bisher waren es vier). Die Stegabstände sollen verringert und die Bootsplätze von 578 auf 633 erhöht werden (UVB vom 31. März 2009 [act. 6 der Dienststelle rawi im vorinstanzlichen Verfahren] S. 18). Mit dem Vorhaben erhöht sich gemäss UVB die Beschattung der Wasserpflanzen durch Boote und Stege als Folge der Verdichtung im bestehenden Hafenperimeter um rund 4'340 m2 (UVB S. 1). Die Beanspruchung des Seegrunds vergrössert sich um 6'170 m2, was einem Zuwachs um 17.5 % entspricht (UVB S. 18). Auf dieser zusätzlichen Fläche kommt es insbesondere zur Beschattung durch Mole, Stege und Boote sowie zu mechanischen Auswirkungen durch den Betrieb. Insgesamt geht der Bericht von einer Mehrbelastung der Unterwasservegetation auf einer Gesamtfläche von 10'510 m2 aus, für die angemessener Ersatz im Sinn von Art. 18 NHG zu leisten sei. Auch das Störpotenzial für Wasservögel im Zufahrtsbereich des Hafens wird im Vergleich zum IST-Zustand grösser: Trotz Einhaltung einer Sperrzone von 50 m und zusätzlichen Anweisungen in der Hafenordnung wird sich gemäss UVB eine Mehrbelastung ergeben, die mit geeigneten Massnahmen kompensiert werden sollte. Nähere Auskunft über die betroffenen Wasserpflanzen gibt sodann die "Wasserpflanzenkartierung Bootshafen Tribschen" vom 24. Juli 2008 (dazu E. 2.5.3 und 2.6 hiernach).
2.2 Art. 21 NHG sieht einen besonderen, über Art. 18 NHG hinausgehenden Schutz für die Ufervegetation vor. Diese darf weder gerodet noch überschüttet noch auf andere Weise zum Absterben gebracht werden (Abs. 1). Soweit es die Verhältnisse erlauben, sorgen die Kantone dafür, dass dort, wo sie fehlt, Ufervegetation angelegt wird oder zumindest die Voraussetzungen für deren Gedeihen geschaffen werden (Abs. 2). Die Beseitigung von Ufervegetation kann nur ausnahmsweise, in den durch die Wasserbaupolizei- oder Gewässerschutzgesetzgebung erlaubten Fällen für standortgebundene Vorhaben bewilligt werden (Art. 22 Abs. 2 NHG). Hierbei handelt es sich - im Gegensatz zu Art. 18 Abs. 1ter NHG - um ein selbständiges Bewilligungsverfahren (BGE 115 Ib 224 E. 5c/ca S. 228), das mit den parallel laufenden Verfahren zu koordinieren ist.
2.3 Wie das Bundesgericht in BGE 130 II 313 E. 3.3 S. 316 ff. eingehend dargelegt hat, ist die Beseitigung von Ufervegetation nur bewilligungsfähig, wenn sie für ein Vorhaben erfolgt, welches entweder durch das Bundesgesetz über die Wasserbaupolizei vom 22. Juni 1877 (WBPG; SR 721.10), das Bundesgesetz über den Wasserbau vom 21. Juni 1991 (WBG, SR 721.100) und das Bundesgesetz über die Nutzbarmachung der Wasserkräfte vom 22. Dezember 1916 (Wasserrechtsgesetz; WRG, SR 721.80) oder durch das EIDGENÖSSISCHE GEWÄSSERSCHUTZGESETZ VOM 24. JANUAR 1991 (GSCHG; SR 814.20) erlaubt und zudem standortgebunden ist. Bei den von der Wasserbaupolizei- und der Gewässerschutzgesetzgebung ausdrücklich vorgesehenen Fällen handelt es sich um Massnahmen des Hochwasserschutzes, wo es um den Schutz von Menschen oder erheblichen Sachwerten geht (vgl. die Art. 1, 3 und 4 WBG), sowie um Massnahmen im Zusammenhang mit der Nutzung der Wasserkraft (vgl. insbesondere Art. 2 ff. WRG und Art. 29 ff. GSchG). Das Gewässerschutzgesetz erlaubt unter näher geregelten Voraussetzungen die Entnahme von Wasser über den Gemeingebrauch hinaus (Art. 29 ff.), die Verbauung und Korrektion von Fliessgewässern (Art. 37), das ausnahmsweise Überdecken und Eindolen von Fliessgewässern (Art. 38), ausnahmsweise die Schüttung von Feststoffen in Seen (Art. 39), die Spülung und Entleerung von Stauräumen (Art. 40), die Entnahme und Einleitung von Wasser oder Abwasser (Art. 42) sowie die Ausbeutung von Kies, Sand und anderem Material (Art. 44; BGE 130 II 313 E. 3.5 S. 319). Ist der streitige Eingriff in die Ufervegetation weder in der Wasserbaupolizei- noch in der Gewässerschutzgesetzgebung geregelt, führt dies nicht dazu, dass die Beseitigung von Ufervegetation ohne Weiteres zu bewilligen wäre; vielmehr kann für derartige Eingriffe keine Ausnahmebewilligung nach Art. 22 Abs. 2 NHG erteilt werden (so schon BGE 130 II 313 E. 3.7 S. 320 für das dort streitige Strassenbauprojekt). Vorbehalten bleibt die polizeiliche Generalklausel zur Abwehr unmittelbarer Gefahren, die Menschenleben oder erhebliche Sachwerte bedrohen (Urteil 1A.30/2006 vom 10. Oktober 2006 E. 3.8, publ. in: URP 2006 S. 792, mit Hinweisen auf HANS-PETER JENNI, Kommentar NHG, Zürich 1997, N 21 zu Art. 21 NHG; HERIBERT RAUSCH/ARNOLD MARTI/ALAIN GRIFFEL IN WALTER HALLER [HRSG.], Umweltrecht, ZÜRICH 2004, RZ. 609 S. 203).
2.4 In dem Sinn hält § 32 Abs. 1 des kantonalen Wasserbaugesetzes vom 30. Januar 1979 (WBG/LU; SRL Nr. 760) fest, dass wer eine Baute oder Anlage unter Inanspruchnahme eines öffentlichen Gewässers erstellen oder baulich oder in ihrer Nutzung ändern will, dafür eine Bewilligung der zuständigen Dienststelle einzuholen hat. Eine solche Bewilligung darf laut § 37 Abs. 3 WBG/LU nur erteilt werden, wenn die Bauten oder Anlagen am vorgesehenen Standort erforderlich sind, die Inanspruchnahme des Gewässers im öffentlichen Interesse liegt und ihr keine überwiegenden Interessen, insbesondere keine nachteiligen Auswirkungen auf den Wasserkreislauf und die Wasserlebensräume, entgegenstehen.
2.5 Das Verwaltungsgericht hält zunächst fest, der Bau und die Erweiterung eines Sportbootshafens seien klarerweise nicht unter die durch die Wasserbaupolizei- oder Gewässerschutzgesetzgebung erlaubten Fälle zu subsumieren. Mit Blick auf die bundesgerichtliche Rechtsprechung erachtet es auch eine Bewilligung in analoger Anwendung von Art. 39 Abs. 2 lit. a GSchG als unmöglich. Nach dieser Bestimmung müsse die Massnahme für eine Baute im überbauten Gebiet erforderlich sein. Sie sei auf Aufschüttungen zugeschnitten, mit denen zusätzliches Land für ein Projekt gewonnen werden solle, das sich aufgrund der vorhandenen Überbauung landseitig nicht realisieren lasse. Dagegen würden Abgrabungen - wie vorliegend auch - in der Regel für Anlagen vorgenommen, die auf dem See errichtet werden sollen, das heisst in einem Gebiet, das nicht überbaut ist und in dem deshalb regelmässig Ausweichmöglichkeiten bestehen (so das Urteil 1A.30/2006 vom 10. Oktober 2006 E. 3.8, publ. in: URP 2006 S. 792).
2.6 Von einer Rückweisung an die Vorinstanz hat das Verwaltungsgericht abgesehen, weil eine Bewilligungserteilung auch aus weiteren Überlegungen ausser Betracht falle.
2.6.1 So gesteht die Vorinstanz der Beschwerdeführerin sinngemäss zu, dass der Bootshafen seinerzeit rechtmässig bewilligt worden und in seinem Bestand geschützt sei. Grundsätzlich dürfte die Konzentration von Segelbooten an einem bestimmten Standort auch aus Sicht des Verwaltungsgerichts im öffentlichen Interesse liegen. Allerdings sei fraglich, ob für die geplante Erweiterung des Segelboothafens überhaupt ein hinreichender Bedarf bestehe. Wie sich aus dem UVB vom 31. März 2009 ergebe, bestünden aufgrund der diversen festgestellten Blässhuhn- und Haubentaucher-Nester gar Anhaltspunkte dafür, dass ein Teil der Boote nicht oder nur selten bewegt werde. Ob es sich bei der geplanten flächenmässigen Erweiterung um 17.5 % und der Erhöhung der Bootsplätze um 9.5 % noch um eine massvolle bzw. geringfügige Erweiterung handle, könne im Hinblick auf den Verfahrensausgang offen bleiben. Immerhin solle die Fläche um fast 1/5 vergrössert und 44 (die Zahlen sind widersprüchlich, die Dienststelle rawi geht in ihrem Entscheid vom 30. Juni 2010 S. 7 von 44 zusätzlichen Standplätzen für das dauernde Stationieren und 11 zusätzlichen Wasserplätzen für das temporäre Stationieren von Gästeschiffen aus [Beilage 1 der rawi im bundesgerichtlichen Verfahren], der UVB nennt direkt 55 und die Dienststelle uwe spricht in ihrer Beurteilung des UVB vom 9. Februar 2010 S. 3 von 80 bis 100 neuen Wasserplätzen für Segelboote [Beilage 2 der Dienststelle rawi im bundesgerichtlichen Verfahren]) zusätzliche Boote zugelassen werden. Angesichts dieser Zahlen wären nach Auffassung des Verwaltungsgerichts eingehendere Ausführungen zur Erschliessung im Entscheid der Dienststelle und im UVB wünschenswert gewesen. Zudem stehe der Bootshafen nur für ein Teilpublikum offen, was Zweifel am öffentlichen Interesse aufkommen lasse.
2.6.2 Weiter übt das Verwaltungsgericht Kritik an der Argumentation der Dienststelle und am Inhalt des UVB. So erkenne die Dienststelle rawi zwar, dass durch die Beseitigung von Auflandungen auf einer Fläche von mindestens 15'000 m2 die vorhandene Unterwasservegetation zerstört werde, was gemäss Art. 21 NHG nicht erlaubt sei. Gestützt auf die Bestandesgarantie nach Art. 24c RPG halte sie dieses Vorgehen aber dennoch für zulässig. Ebenso zeige die Dienststelle auf, dass sich die beschattete Fläche im bestehenden Hafenperimeter um rund 4'340 m2 erhöhe, was zwar nicht zu einem Absterben der Unterwasservegetation führe, aber zu einer Beeinträchtigung des schutzwürdigen Lebensraums, die gemäss Art. 18 Abs. 1ter NHG ersatzpflichtig sei. Auch durch die Erweiterung der Hafenanlage um 6'170 m2 komme es zu einer grösseren Beschattung durch Mole, Stege und Boote, und es ergäben sich mechanische Auswirkungen durch den Betrieb. Insgesamt gehe die Dienststelle rawi davon aus, dass die Beeinträchtigungen mindestens 10'000 m2 umfassten, wofür Ersatzmassnahmen von mindestens Fr. 250'000.-- zu leisten seien. Die Dienststelle erlaube somit einerseits die ersatzlose Zerstörung von Ufervegetation durch die Beseitigung von Auflandungen, statuiere aber andererseits eine Ersatzpflicht für weniger weitgehende Beeinträchtigungen der Vegetation namentlich durch vermehrte Beschattung, was widersprüchlich sei.
2.6.3 Als beachtlich qualifiziert das Verwaltungsgericht den Umstand, dass im UVB nicht näher darauf eingegangen wird, welche Folgen die Entfernung der Auflandungen auf die Ufervegetation zeitigen. Begründet wurde dieser Mangel im UVB selber damit, dass "aufgrund des Status Unterhalt (im Sinne der Bestandeswahrung)" die Zerstörung der Vegetation zulässig sei. Der UVB beachtet nach Meinung des Verwaltungsgerichts die gesetzlichen Anforderungen von Art. 10b Abs. 2 USG nicht. Immerhin lasse sich aus dem Bericht entnehmen, dass im streitbetroffenen Hafengebiet verschiedene Pflanzenarten wachsen würden, die in der Roten Liste der gefährdeten Farn- und Blütenpflanzen der Schweiz verzeichnet seien. Dies betreffe insbesondere das stark gefährdete Fries' Laichkraut, das als verletzliche Art mit hohem Aussterberisiko eingestuft sei, sowie das Haarblättrige Laichkraut, das vom Aussterben bedroht sei. Aufgrund des UVB müsse davon ausgegangen werden, dass durch die geplante Beseitigung der Auflandungen mindestens ein Teil der gefährdeten Wasserpflanzen vernichtet und damit geschützte Ufervegetation gemäss Art. 21 NHG beseitigt würde. Da derartige Eingriffe nach Art. 22 Abs. 2 NHG einer Ausnahmebewilligung bedürften, sei das geplante Bauvorhaben auf einen Dispens angewiesen, selbst dann, wenn Art. 24c RPG zur Anwendung käme, da auch diese Bestimmungen wichtige Anliegen der Raumplanung vorbehalte.
2.6.4 Zusammenfassend gewichtet das Verwaltungsgericht die mit dem Uferschutz verbundenen öffentlichen Interessen sinngemäss höher als diejenigen an der Erweiterung der Hafenanlage. Aus diesem Grund könne weder eine Bewilligung nach Art. 22 Abs. 2 NHG, noch eine wasserbaurechtliche nach § 37 Abs. 3 WBG/LU, eine forstrechtliche nach § 136 Abs. 4 PBG/LU oder eine Ausnahmebewilligung gestützt auf Art. 24 ff. RPG erteilt werden. Dem Bauprojekt stünden gerade wegen der nachteiligen Auswirkungen auf die Wasserlebensräume überwiegende Interessen entgegen.
2.7 Das BAFU schützt diese Einschätzung der Vorinstanz. Angesichts der ökologischen Bedeutung der Ufervegetation rechtfertige sich Zurückhaltung. Gerade dem Vierwaldstättersee komme unter diesem Aspekt gesamtschweizerisch und dem Luzerner Becken im Speziellen eine grosse Bedeutung zu, weil hier ein relativ grosser, zusammenhängender Lebensraum für gefährdete, die Ufervegetation betreffende Arten der Roten Liste bestehe. Im Vordergrund stünden insbesondere die Armleuchteralgen (Characeen), die zwar hier noch relativ reichlich vorhanden, indes an anderen Orten nur noch sporadisch vorzufinden seien. So komme beispielsweise die Art Chara tomentosa (Raue Armleuchteralge gemäss Vernehmlassung, Geweih-Armleuchteralge gemäss Liste der National Prioritären Arten - Arten mit nationaler Priorität für die Erhaltung und Förderung, Stand 2010, BAFU 2011, S. 99) vor. Es handle sich dabei um eine national prioritäre Art der Priorität 3 (1 = höchste Priorität, 4 = niedrige Priorität). Sie sei gefährdet (Rote Liste Armleuchteralgen, Gefährdete Arten der Schweiz, Stand 2010, BAFU 2012, S. 44, Status "VU", also vulnerabel/verletzlich). Die Schweiz habe zudem eine gewisse internationale Verantwortung für deren Erhalt. Im Übrigen sei die Tribschen-Bucht Lebensraum des Fries' Laichkrauts (Potamogeton friesii) sowie des seltenen Haarblättrigen Laichkrauts (Potamogeton trichoides). Diese Pflanzen wiesen einen Prioritätsstatus von 3 respektive 2 auf (Rote Liste der gefährdeten Farn- und Blütenpflanzen der Schweiz, BUWAL Bern 2002, S. 87: Gefährdung einerseits "EN" [endangered = stark gefährdet], andererseits "CR" [critically endangered = vom Aussterben bedroht]). Die aufgeführten Arten finden sich im UVB vom 31. März 2009, Beilage 2, Wasserpflanzenkartierung Bootshafen Tribschen S. 14 (act. rawi Nr. 8).
Die Berufung der Beschwerdeführerin auf die Bestandesgarantie hält das BAFU für unbehelflich, da es sich beim Projekt um eine neue Anlage handle, die sich zwar mehr oder weniger im gleichen Perimeter befinde, aber doch eine Erweiterung mit sich bringe. Die Stege und die Mole würden völlig neu errichtet. Zugleich führe das Vorhaben zu einer Intensivierung der beanspruchten Uferzone und stelle nicht nur eine Sanierung dar. Der Behauptung der Beschwerdeführerin, wonach der Hafen gar nicht sanierungsfähig sei, hält das BAFU entgegen, mit angemessenen Pflegemassnahmen wie dem Mähen mit einem schwimmenden Krautmäher ("Seekuh"), könne eine Sanierung durchgeführt werden. Dies sei möglich, auch wenn die Sanierung angesichts der Ausbreitungstendenz der Laichkrautvegetation und der übrigen Ufervegetation zugegebenermassen erschwert sei.
2.8 Für das Bundesgericht besteht kein Anlass, von der Einschätzung der eidgenössischen Fachstelle abzuweichen. Mit Blick auf die zitierte Rechtsprechung wird deutlich, dass eine Ausnahmebewilligung nach Art. 22 Abs. 2 NHG vorliegend nicht erteilt werden kann, da die Ufervegetation im Projektperimeter nach Art. 21 f. NHG geschützt ist und die Voraussetzungen von Art. 22 Abs. 2 NHG nicht erfüllt sind. Die Erwägungen des Verwaltungsgerichts sind im Übrigen schlüssig und geben die bundesgerichtliche Praxis korrekt wieder. Gerechtfertigt ist insbesondere die Kritik der Vorinstanz am UVB. Dieser zeigt zwar auf, dass im betroffenen Hafengebiet verschiedene Pflanzenarten vorkommen, die sich auf den entsprechenden Roten Listen finden, lässt aber Aussagen über die voraussichtlich verbleibende Belastung der Umwelt vermissen. Stossend erscheint insbesondere, was auch das Verwaltungsgericht erwähnt: So wird einerseits dargelegt, dass die vorhandene Vegetation durch die Abtiefungen partiell zerstört wird. Dies "wäre gemäss Art. 21 NHG im Prinzip nicht zulässig" (UVB S. 31), sei jedoch aufgrund des Status "Unterhalt" (im Sinne einer Bestandeswahrung) bewilligungsfähig. Dem Schutz werde in der Projektausführung insofern Rechnung getragen, als die Abtiefung nur in Teilbereichen des Hafenareals stattfinde und andererseits eine Etappierung auf zwei Jahre erfolge. Auf den abgetieften Stellen könne sich damit die Vegetation aus den benachbarten (intakten) Bereichen wieder regenerieren. Weiter wird auch zugestanden, dass die gefährdete chara tomentosa (Geweih-Armleuchteralge) stark abhängig sei von der mechanischen Belastung, d.h. vom Verkehrsaufkommen in den Rinnen ab ca. 150 m Uferdistanz. Mit der neu geschaffenen Beschattung verkleinere sich der Anteil der charakteristischen Vegetationsformen in den Zufahrtsrinnen (UVB S. 31). Konsequenzen zieht der Bericht daraus aber nicht.
2.9 Weitere Erwägungen erübrigen sich bei dieser Sachlage. Die gefestigte Rechtsprechung wird im angefochtenen Urteil korrekt wiedergegeben und die Argumentation des Verwaltungsgerichts überzeugt. Die vorgenommene Interessenabwägung ist denn auch nicht zu beanstanden. Daran ändert die von der Beschwerdeführerin angerufene Besitzstandsgarantie nichts, zumal der bestehende Bootshafen insgesamt bedeutende Veränderungen erfährt, die nicht vom Bestandesschutz erfasst werden. Diese Änderungen lassen sich nicht unter blossen Unterhalt subsumieren. Die Dienststelle rawi selber geht von einem Neubau aus, welcher der Pflicht einer Umweltverträglichkeitsprüfung untersteht (Entscheid der Dienststelle rawi vom 30. Juni 2010 S. 8). Fraglich ist, ob Art. 24c RPG überhaupt zur Anwendung gelangt. Dies kann offen bleiben, da das Projekt wie gesehen den Rahmen des Bestandesschutzes sprengt und ihm gewichtige öffentliche Interessen am Erhalt der Ufervegetation entgegenstehen. Anders als die Beschwerdeführerin behauptet, finden etwa auch Ausbaggerungen im Erweiterungsteil statt (Plan Ausbaggerung Seegrund Nr. 2201-13 vom 26. März 2009, Massstab 1:500 [Beilage 2 der Korporation Luzern im bundesgerichtlichen Verfahren]). Hinzu kommt, dass mit Art. 22 Abs. 2 NHG eine genügende gesetzliche Grundlage für die Eigentumsbeschränkung besteht und die vom Verwaltungsgericht dargelegten öffentlichen Interessen am Erhalt der schützenswerten Ufervegetation die privaten Interessen eines eingeschränkten Personenkreises überwiegen.
3. Das Verwaltungsgericht stützt seine Ablehnung des Weitern u.a. auf den Umstand, dass keine Rodungsbewilligung für die Unterschreitung des Waldabstands erteilt werden könne. Das Projekt sieht einen Waldabstand von 4 bis 8 m vor. Nach Auffassung der Beschwerdeführerin hätte eine Sonderbewilligung erteilt werden müssen.
3.1 Art. 17 Abs. 2 des Bundesgesetzes vom 4. Oktober 1991 über den Wald (WaG; SR 921.0) sieht vor, dass die Kantone einen angemessenen Mindestabstand der Bauten und Anlagen vom Waldrand vorschreiben. Dabei berücksichtigen sie die Lage und die zu erwartende Höhe des Bestands. Nach dem kantonalen Waldgesetz vom 1. Februar 1999 (WaG/LU; SRL Nr. 945) haben Bauten und Anlagen, bei denen keine Baulinien bestehen, grundsätzlich einen Abstand von mindestens 20 m zum Wald einzuhalten (§ 14 Abs. 1 WaG/LU). Über Ausnahmebewilligungen bis minimal 15 m Waldabstand für Wohn- und Arbeitsräume sowie 10 m für übrige Bauten und Anlagen entscheidet die Baubewilligungsbehörde unter Berücksichtigung der Wohnhygiene, der Sicherheit und der Erhaltung des Waldes und seiner Funktionen (§ 136 Abs. 3 des kantonalen Planungs- und Baugesetzes vom 7. März 1989 [PBG/LU; SRL Nr. 735]). Für Bauten und Anlagen unterhalb der in Abs. 3 genannten Minimalabstände bedarf es einer Sonderbewilligung der zuständigen Dienststelle. Diese kann nur erteilt werden, wenn die Voraussetzungen für eine Rodungsbewilligung sinngemäss erfüllt sind. Die Bewilligung kann durch das zuständige Departement erteilt werden, wenn in ausserordentlichen Fällen historische oder wichtige raumplanerische Gründe für ein Bauvorhaben sprechen und diese Gründe gegenüber den forstlichen Interessen überwiegen (§ 136 Abs. 4 PBG/LU). Auf Bundesebene sieht Art. 5 Abs. 2 WaG vor, dass für das Vorhaben wichtige Gründe vorliegen müssen, die das Interesse an der Walderhaltung überwiegen und die zudem die weiteren gesetzlichen Voraussetzungen nach Art. 5 Abs. 2 lit. a-c WaG erfüllen. Zudem ist dem Natur- und Heimatschutz Rechnung zu tragen (Art. 5 Abs. 4 WaG).
3.2 Dazu führt die Vorinstanz in E. 10c aus, die Dienststelle rawi habe sich nicht eingehend mit den Voraussetzungen für die Gewährung einer Rodungsbewilligung auseinandergesetzt, sondern einzig die Sanierungsmassnahmen berücksichtigt. Inwiefern überwiegende wichtige Gründe vorlägen, die für eine Rodungsbewilligung im Zusammenhang mit der Erweiterung der Hafenanlage sprächen, lege die Dienststelle nicht detailliert dar. Dabei sei zu beachten, dass das tangierte Waldgebiet im Grenzbereich des Perimeters des von Bundesrechts wegen geschützten Vierwaldstättersees mit Kernwald, Bürgenstock und Rigi liege (BLN-Objekt Nr. 1606, Anhang 1 der Verordnung über das Bundesinventar der Landschaften und Naturdenkmäler vom 10. August 1977 [VBLN; SR 451.11]). Die geplante Erweiterung stelle zweifellos einen Eingriff ins Landschaftsbild dar, indem die bestehende Hafenmole Richtung See gedreht und um rund 23 m verlängert werde. Zudem werde ein neuer Steg erstellt und die bestehenden Stege würden verlängert. Von der ungeschmälerten Erhaltung eines Schutzobjekts im Sinn von Art. 6 Abs. 1 NHG könne aber nur abgewichen werden, wenn ihr gleich- oder höherwertige Interessen von ebenfalls nationaler Bedeutung entgegenstünden. Davon könne keine Rede sein.
3.3 Nachdem der Bootshafen lediglich ans BLN-Objekt Nr. 1606 angrenzt, ist fraglich, ob Art. 6 Abs. 1 NHG tatsächlich einschlägig ist; dies kann aber offen bleiben, da dem Projekt in jedem Fall die Bewilligung versagt bleiben muss: Nachdem das Vorhaben nach Art. 22 Abs. 2 NHG nicht bewilligungsfähig ist, läuft es auch Art. 5 Abs. 4 WaG zuwider: Dem Natur- und Heimatschutz wird mit dem Bootshafenprojekt nicht genügend Rechnung getragen. Das Vorhaben scheitert folglich auch unter dem forstrechtlichen Aspekt. Die Vorwürfe der Beschwerdeführerin, wonach das Verwaltungsgericht ihr rechtliches Gehör oder das Willkürverbot verletzt habe, sind unbegründet. Das Verwaltungsgericht war nicht gehalten, die Schlussfolgerungen des UVB unbesehen zu übernehmen. Zudem war es - wie gesehen zu Recht - bereits zum Ergebnis gelangt, dass das Projekt nach Art. 22 Abs. 2 NHG nicht bewilligungsfähig ist, weshalb sich detaillierte Ausführungen zur forstrechtlichen Sonderbewilligung erübrigten.
4. Daraus ergibt sich, dass die Beschwerde abzuweisen ist. Bei diesem Verfahrensausgang hat die Beschwerdeführerin für die bundesgerichtlichen Kosten aufzukommen (Art. 66 Abs. 1 BGG). Zudem hat sie die beiden Beschwerdegegnerinnen je angemessen zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegnerinnen Aqua Viva und Korporation Luzern mit je Fr. 3'000.-- für das bundesgerichtliche Verfahren zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Bau-, Umwelt- und Wirtschaftsdepartement, Dienststelle Raumentwicklung, Wirtschaftsförderung und Geoinformation (rawi), dem Verwaltungsgericht des Kantons Luzern, Verwaltungsrechtliche Abteilung, dem Bundesamt für Raumentwicklung sowie dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 5. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber