Umnutzung eines Fischteiches, hat sich ergeben:
A.- Am Ufer des Zugersees in der Einwohnergemeinde Risch auf der heutigen Parzelle Grundstück Nr. 405 stand seit mindestens der Mitte des 19. Jahrhunderts eine Bootshütte mit Aufenthaltsraum. Neben dem Gebäude waren drei Fischteiche angelegt worden. Die Anlagen dienten früher einem Berufsfischer aus Zug. Gemäss Zonenplan der Einwohnergemeinde Risch vom 12. Juni 1994 liegt das Grundstück Nr. 405 in der von der Landschaftsschutzzone überlagerten Landwirtschaftszone. Auf der Nordseite grenzt es an ein kantonales Naturschutzgebiet, auf der Südseite an den öffentlichen Badeplatz Zweiern. Es liegt überdies in der Landschaft von nationaler Bedeutung "Zugersee", Objekt Nr. 1309 gemäss der Verordnung über das Bundesinventar der Landschaften und Naturdenkmäler vom 10. August 1977 (VBLN, SR 451. 11).
X._ erwarb das Grundstück Nr. 405 mit Kaufvertrag vom 4. Januar 1996 für Fr. 850'000.-- vom Fischermeister A._. Am 1. März 1996 reichte er bei der Einwohnergemeinde Risch ein Baugesuch betreffend "Ersatzbau Bootshaus und Sanierung Kleinbootshafen" ein. Am 2. Dezember 1996 verweigerte die Forstdirektion des Kantons Zug der Sanierung des Bootshafens die fischereirechtliche Bewilligung, erklärte sich aber mit dem Ersatzbau des Bootshauses unter Auflagen einverstanden. Am 21. Januar 1997 verweigerte die Baudirektion des Kantons Zug dem Vorhaben die Zustimmung, weil es mit Art. 24 RPG und mit § 36bis des kantonalen Baugesetzes nicht vereinbar sei. Daraufhin lehnte der Gemeinderat Risch das Baugesuch ab. Ende Januar 1997 brannte das Bootshaus aus ungeklärten Gründen bis auf die Grundmauern ab.
Gegen die Bewilligungsverweigerung gelangte X._ an das Verwaltungsgericht des Kantons Zug, welches die Beschwerde am 4. April 2000 abwies, soweit es darauf eintrat.
B.- X._ erhob gegen den Entscheid des Verwaltungsgerichts am 18. Mai 2000 Verwaltungsgerichtsbeschwerde und am 30. Mai 2000 staatsrechtliche Beschwerde. Er beantragt die Aufhebung des angefochtenen Entscheids und - in der Verwaltungsgerichtsbeschwerde - die Gutheissung seines Baugesuchs vom 1. März 1996, eventuell die Rückweisung der Sache an das Verwaltungsgericht.
C.- Die Baudirektion und das Verwaltungsgericht beantragen die Abweisung der Beschwerden, soweit darauf einzutreten ist. Der Gemeinderat Risch verweist auf seine Äusserungen im kantonalen Verfahren und ersucht damit sinngemäss um Gutheissung der Beschwerden. Das Bundesamt für Raumentwicklung beantragt Abweisung der Verwaltungsgerichtsbeschwerde.

Das Bundesgericht zieht in Erwägung:
1.- a) Der Beschwerdeführer hat sowohl staatsrechtliche Beschwerde als auch Verwaltungsgerichtsbeschwerde erhoben. Welches Rechtsmittel zulässig ist, ob vorliegend beide Rechtsmittel ergriffen werden können und in welchem Umfang darauf einzutreten ist, prüft das Bundesgericht von Amtes wegen und mit freier Kognition. Entsprechend der subsidiären Natur der staatsrechtlichen Beschwerde ist zunächst zu prüfen, ob die Verwaltungsgerichtsbeschwerde offen steht (<ref-ruling> E. 2a).
b) Gemäss Art. 34 Abs. 1 des Bundesgesetzes über die Raumplanung vom 22. Juni 1979 (RPG; in der Fassung vom 20. März 1998, in Kraft seit 1. September 2000) ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht unter anderem zulässig gegen Entscheide letzter kantonaler Instanzen über Bewilligungen im Sinne der Art. 24-24d RPG.
Soweit die Verwaltungsgerichtsbeschwerde zulässig ist, kann der Beschwerdeführer die Verletzung von Bundesrecht, einschliesslich Überschreitung und Missbrauch des Ermessens geltend machen; zum Bundesrecht im Sinne von Art. 104 lit. a OG gehört auch das Bundesverfassungsrecht (<ref-ruling> E. 2d/bb S. 47, 72 E. 1b, je mit Hinweisen). Soweit der Beschwerdeführer die Verletzung kantonalen Ergänzungsrechts zu Art. 24-24d RPG bzw. kantonalen Prozessrechts rügt, sind auch diese Rügen kraft Sachzusammenhangs im Rahmen der Verwaltungsgerichtsbeschwerde zu behandeln. Die Kognition richtet sich dabei allerdings nach den für die staatsrechtliche Beschwerde geltenden Grundsätzen. Danach wird die Auslegung und Anwendung des kantonalen Rechts auf eine Verletzung des Willkürverbots hin überprüft (<ref-ruling> E. 1b mit Hinweisen).
c) Vorliegend rügt der Beschwerdeführer in der Verwaltungsgerichtsbeschwerde die Verletzung von Art. 24 RPG (in der bis 31. August 2000 gültigen Fassung, nachstehend zitiert als Art. 24 aRPG, heute Art. 24 und 24c RPG) sowie von verfassungsrechtlichen Verfahrensgarantien.
In der staatsrechtlichen Beschwerde rügt er die Verletzung von mit Art. 24 aRPG zusammenhängendem kantonalem Recht, von verfassungsrechtlichen Verfahrensgarantien sowie der Eigentumsgarantie. Diese Rügen können im Rahmen des Verfahrens der Verwaltungsgerichtsbeschwerde geprüft werden.
Für die staatsrechtliche Beschwerde bleibt kein Raum; auf sie nicht einzutreten (Art. 84 Abs. 2 OG).
d) Der Beschwerdeführer ist als Verfügungsadressat gemäss Art. 103 lit. a OG zur Verwaltungsgerichtsbeschwerde legitimiert. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, kann auf die Verwaltungsgerichtsbeschwerde eingetreten werden.
e) Der massgebliche Sachverhalt ergibt sich hinreichend klar aus den Akten. Auf den beantragten Augenschein ist daher zu verzichten.
2.- Der Beschwerdeführer wirft dem Verwaltungsgericht vor, trotz einem entsprechenden Antrag keinen Augenschein durchgeführt zu haben. Dadurch habe das Gericht seinen Anspruch auf rechtliches Gehör verletzt und den Sachverhalt offensichtlich unrichtig bzw. unvollständig erhoben.
a) Der Augenschein ist ein Mittel der Sachverhaltsabklärung.
Aufgrund von <ref-law> ist die urteilende Behörde verpflichtet, die zur Klärung des rechtserheblichen Sachverhalts beitragenden, rechtsgültig angebotenen Beweismittel abzunehmen (vgl. <ref-ruling> E. 3b mit Hinweisen).
Zur Durchführung eines Augenscheins - wie auch zur Einholung von Gutachten - ist eine Behörde nur verpflichtet, wenn die Verhältnisse anders nicht schlüssig abgeklärt werden können (vgl. die Hinweise bei René A. Rhinow/Beat Krähenmann, Schweizerische Verwaltungsrechtsprechung, Ergänzungsband, Basel etc. 1990, Nr. 82 IV b).
Mit dem Augenschein wollte der Beschwerdeführer nachweisen, dass sein Vorhaben lediglich eine bauliche Massnahme im Sinne von Art. 24 Abs. 2 RPG darstelle, dass kein Konflikt zwischen der bisherigen Nutzung (Bootshaus mit Hafen) und den Anliegen des Umwelt- und Tierschutzes bestanden habe und dass sein Bauvorhaben nicht mit einer Steigerung der Nutzungsintensität verbunden gewesen wäre.
Nachdem das bisherige Bootshaus bereits vor der Einreichung der Beschwerde an das Verwaltungsgericht abgebrannt war, hätte ein Augenschein von vornherein keine Erkenntnisse über seine bauliche Ausgestaltung vermitteln können. Zudem lag dem Verwaltungsgericht eine Fotodokumentation über das Bootshaus vor. Ein Augenschein wäre auch ganz grundsätzlich ungeeignet gewesen, um Aufschlüsse über die bisherige und zukünftige Nutzungsintensität, und als Folge davon, über die möglichen Konflikte mit Natur- und Landschaftsschutzinteressen, zu erhalten. Das Verwaltungsgericht konnte daher ohne Verletzung des rechtlichen Gehörs auf einen Augenschein verzichten.
b) Das Bundesgericht ist an die Sachverhaltsfeststellungen des Verwaltungsgerichts gebunden, soweit sie nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften zustande gekommen sind (Art. 105 Abs. 2 OG). Das Verwaltungsgericht hat festgestellt, beim alten Bootshaus habe es sich um eine einfache Holzkonstruktion ohne isolierende Wände gehandelt, mit aussen liegender Toilette, ohne Strom- und Wasserzufuhr.
Was der Beschwerdeführer in diesem Zusammenhang vorbringt, genügt nicht, um diese Feststellungen als offensichtlich unzutreffend oder unvollständig erscheinen zu lassen. Dass die erwähnte Toilette keinen Anschluss an die Kanalisation besass, bestätigt die Feststellung des Verwaltungsgerichts, dass die Altbaute kein dauerndes Wohnen erlaubte. Dieser Schluss erscheint auch angesichts des Fehlens von Isolation, Wasser- und Elektrizitätsanschluss ohne weiteres als gerechtfertigt, selbst wenn in Rechnung gestellt wird, dass das Bootshaus über ein Kamin und damit wahrscheinlich über einen Holzofen verfügte und dass ein mobiler Gasherd vorhanden war. Auf die Bezeichnung im Grundbuchblatt und im Protokoll der Gebäudeversicherung kommt es in diesem Zusammenhang nicht an.
Das Verwaltungsgericht hat weiter festgestellt, dass der geplante Ersatzbau trotz des nur geringfügig veränderten Aussehens eine ganzjährige Nutzung gestatte und mehr einem Ferienhaus mit Bootsliegeplatz gleiche als einer Fischerhütte. Das Verwaltungsgericht hat diese Auffassung nachvollziehbar begründet, nämlich mit dem vorgesehenen Ausbaustandard (Wärmedämmung, Strom- und Wasseranschluss) und der Ausgestaltung der vorgesehenen Zweizimmerwohnung mit Küche, Dusche/WC und Terrasse.
Der Beschwerdeführer rügt in diesem Zusammenhang, dass das Verwaltungsgericht die Stellungnahme des Gemeinderats Risch vom 20. Juni 1997 übergangen habe. Darin führte der Gemeinderat aus, nach seiner Ansicht sei das Baugesuch mit keiner Nutzungsänderung oder -steigerung verbunden.
Zudem habe der bisherige Betrieb des Bootsplatzes und der Bootshütte nie Anlass zu Beschwerden Dritter gegeben. Der Gemeinderat widerspricht sich mit dieser Stellungnahme insofern selbst, als er gegenüber der Baudirektion ausgeführt hatte, die Erneuerung der Hafenanlage könne nur bewilligt werden, wenn die Parkplatzfrage geklärt sei. Damit geht der Gemeinderat offensichtlich davon aus, dass entweder der heutige Zustand polizeilich nicht befriedigt oder dass mit einer Nutzungsintensivierung zu rechnen ist, welche zusätzliche Parkplätze erforderlich macht. Im Übrigen erlaubt das Verhalten des ehemaligen Eigentümers, der sich mit dem alten Bootshaus zufrieden gab und anscheinend auch für den Unterhalt des Hafens kaum Mittel aufwendete, keine Schlüsse auf die Nutzung durch den neuen Eigentümer. Der Vorwurf der offensichtlich unrichtigen oder unvollständigen Sachverhaltsfeststellung ist unbegründet.
3.- a) Durch die Gesetzesrevision vom 20. März 1998, in Kraft seit 1. September 2000, wurde Art. 24 aRPG durch die Art. 24-24d RPG ersetzt. Gemäss Art. 52 Abs. 2 der am 1. September 2000 in Kraft getretenen Raumplanungsverordnung vom 28. Juni 2000 (RPV, SR 700. 1) werden hängige Beschwerdeverfahren nach bisherigem Recht zu Ende geführt, sofern das neue Recht für den Gesuchsteller oder die Gesuchstellerin nicht günstiger ist. Demnach ist vorliegend zu prüfen, ob das Verwaltungsgericht Art. 24 aRPG richtig angewendet hat, sofern sich nicht aus dem neuen Recht eine für den Beschwerdeführer günstigere Lösung ergibt.
b) Gemäss Art. 24 Abs. 1 aRPG können ausserhalb der Bauzonen Bewilligungen erteilt werden, Bauten und Anlagen zu errichten oder ihren Zweck zu ändern, wenn der Zweck der Bauten und Anlagen einen Standort ausserhalb der Bauzonen erfordert (lit. a) und keine überwiegenden Interessen entgegenstehen (lit. b). Art. 24 des revidierten Gesetzes enthält keinen Abs. 2 mehr, da dessen Gegenstand neu in Art. 24c RPG geregelt wird. Der bisherige Abs. 1 wurde unverändert beibehalten. Eine materielle Veränderung liegt nicht vor.
c) Gemäss Art. 24c RPG werden bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt (Abs. 1). Mit Bewilligung der zuständigen Behörde können solche Bauten und Anlagen erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind. In jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Abs. 2).
Art. 24 Abs. 2 aRPG ermächtigte die Kantone, innert der bundesrechtlichen Grenzen die Erneuerung, die teilweise Änderung und den Wiederaufbau von Bauten und Anlagen zuzulassen (vgl. <ref-ruling> E. 3 mit Hinweisen). Der neue Art. 24c RPG ist demgegenüber unmittelbar anwendbar, erfordert also kein kantonales Ausführungsrecht mehr. Für den Beschwerdeführer bringt dies keinen Vorteil, da das Zuger Bau- und Planungsrecht bereits bisher in § 36bis BauG bzw. inzwischen in § 10 Abs. 2 des Planungs- und Baugesetzes vom 26. November 1998 Änderungen von Bauten und Anlagen ausserhalb der Bauzonen im bundesrechtlich zulässigen Umfang gestattete.
Art. 24c Abs. 2 RPG lässt ausdrücklich auch eine massvolle Erweiterung zu (vgl. dazu die Hinweise bei Walter Haller/Peter Karlen, Raumplanungs-, Bau- und Umweltrecht,
3. Aufl. , Band I, Zürich 1999, Rz. 738). Materiell liegt darin grundsätzlich nichts Neues, da massvolle Erweiterungen auch nach der Praxis zu Art. 24 Abs. 2 aRPG möglich waren (vgl. <ref-ruling> E. 2b). <ref-law> präzisiert die Voraussetzungen für Änderungen im Sinne von Art. 24c RPG:
Übereinstimmend mit der bundesgerichtlichen Rechtsprechung zu Art. 24 Abs. 2 aRPG (<ref-ruling> E. 4 S. 261) hält Abs. 1 fest, dass Änderungen nur zulässig sind, wenn die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleibt; Verbesserungen gestalterischer Art sind erlaubt. Gemäss Abs. 3 ist unter Würdigung der gesamten Umstände zu beurteilen, ob die Identität der Baute oder Anlage im Wesentlichen gewahrt bleibt. Auch dies entspricht der bisherigen Praxis.
Materiell behält daher Art. 24c RPG die bisherige Regelung von Art. 24 Abs. 2 aRPG bei. Gewisse Anpassungen mögen sich daraus ergeben, dass Art. 42 Abs. 3 lit. a und b RPV nunmehr ausdrücklich eine quantitative Obergrenze der erlaubten flächenmässigen Erweiterungen festlegt. Da der Beschwerdeführer keine solchen geplant hat, kann dahingestellt bleiben, ob darin eine für die Bauwilligen gegenüber der bisherigen Rechtsprechung günstigere Lösung liegt.
Schliesslich gestattet Art. 24d Abs. 1 RPG den Kantonen, in landwirtschaftlichen Wohnbauten, die in ihrer Substanz erhalten sind, landwirtschaftsfremde Wohnnutzung zuzulassen. Gemäss Abs. 2 dieser Bestimmung kann das kantonale Recht überdies die vollständige Zweckänderung von als schützenswert anerkannten Bauten und Anlagen zulassen, wenn bestimmte Bedingungen erfüllt sind. Beim bisherigen Bootshaus handelte es sich nicht um eine landwirtschaftliche Wohnbaute; es ist auch offensichtlich nicht als schützenswert anerkannt. Daher braucht nicht geprüft zu werden, ob bereits kantonales Recht vorliegt, welches Ausnahmen im Sinne von Art. 24d RPG zulassen würde.
Es ergibt sich, dass die RPG-Revision keine Besserstellung des Beschwerdeführers bewirkt. Die Beschwerde ist somit nach dem bisherigen Recht zu beurteilen.
4.- a) Gemäss den nicht angefochtenen Feststellungen des Verwaltungsgerichts und der Baudirektion bestand das Bootshaus samt den drei daran angrenzenden Fischteichen bereits seit dem 19. Jahrhundert. Im Jahre 1949 erteilte der Regierungsrat des Kantons Zug dem damaligen Eigentümer der Liegenschaften GBP Nrn. 405 und 443 eine Konzession für drei bestehende Fischteiche und eine Schiffshütte für eine unbeschränkte Dauer. Die Anlage bildete Teil eines Berufsfischereibetriebes.
Offenbar weil er nicht mehr alle Fischteiche gemäss ihrem ursprünglichen Zweck benötigte, vermietete der damalige Eigentümer seit den sechziger Jahren in einem der Teiche einige Bootsplätze. Diese Umnutzung wurde indessen nie bewilligt. 1985 lehnte die Baudirektion ein Gesuch ab, in einem weiteren Teich die Einrichtung von Bootsplätzen zu konzessionieren.
Bei dieser Ausgangslage ist das ursprüngliche Bootshaus als rechtmässig bewilligt anzusehen, während der Fischteich entgegen der Konzession von 1949 und damit widerrechtlich als Bootshafen genutzt wurde. Bezüglich des Neubauprojektes für das Bootshaus ist daher in erster Linie zu prüfen, ob eine Bewilligung gemäss Art. 24 Abs. 2 aRPG in Frage kommt, während das Hafenbecken von vornherein gemäss Art. 24 Abs. 1 aRPG zu beurteilen ist. Ob eine Bewilligung allenfalls aus Gründen des Vertrauensschutzes erteilt werden kann, ist anschliessend zu untersuchen (E. 5).
b) Nach der Rechtsprechung des Bundesgerichts werden unter teilweisen Änderungen nebst Um- und Anbauten auch Erweiterungen und Zweckänderungen verstanden. Sie gelten als teilweise, wenn sie Umfang und Erscheinung, also die Identität der Baute, in den wesentlichen Zügen wahren und keine wesentlich neuen Auswirkungen auf die Nutzungsordnung, die Erschliessung und die Umwelt verursachen. Gemessen an der bestehenden Anlage muss die Änderung von untergeordneter Bedeutung sein (<ref-ruling> E. 4 mit Hinweis). Eine Umnutzung der Baute ist nur in engen Grenzen zulässig (vgl. <ref-ruling> E. 2c und d).
Wie erwähnt, war die bestehende Bootshütte von bescheidenem Ausbaustandard. Sie diente der Berufsausübung des Fischers, d.h. der Unterbringung von Boot und Gerätschaften und dem gelegentlichen Aufenthalt. Für einen dauernden Aufenthalt, namentlich in der kälteren Jahreszeit, war sie offensichtlich ungeeignet. Der Ausbau- und der Erschliessungsstandard, der durch das Projekt des Beschwerdeführers erreicht werden soll, gestattet hingegen die Verwendung als Wochenend- und Ferienhäuschen. Was vorher in erster Linie ein die Arbeit erleichterndes Bootshaus war, würde nachher die Wohnnutzung zu Freizeit- und Ferienzwecken während praktisch des ganzen Jahres erlauben. Darin liegt eine Zweckänderung, welche die Identität der vorbestehenden Baute nicht mehr wahrt und daher den Rahmen von Art. 24 Abs. 2 aRPG sprengt (vgl. Haller/Karlen, a.a.O., Rz. 734).
Es versteht sich, dass das Projekt des Beschwerdeführers erst recht nicht als "Erneuerung" verstanden werden kann, weil die Bestimmung der Baute nicht beibehalten wird (vgl. Haller/Karlen, a.a.O., Rz. 731).
Unter diesen Umständen kann dahingestellt bleiben, ob eine massvolle Renovation der Bootshütte für sich allein betrachtet mit den wichtigen Anliegen der Raumplanung vereinbar wäre.
c) Zu prüfen ist somit, ob Bootshaus und Hafen gemäss Art. 24 Abs. 1 aRPG bewilligt werden können.
aa) Der Beschwerdeführer macht geltend, das Bootshaus sei standortgebunden im Sinne von Art. 24 Abs. 1 lit. a aRPG, weil ein Bootshaus wesensgemäss einen Standort an einem See erfordere.
Die Standortgebundenheit setzt nach der bundesgerichtlichen Rechtsprechung voraus, dass eine Baute aus technischen oder betriebswirtschaftlichen Gründen oder wegen der Bodenbeschaffenheit auf einen Standort ausserhalb der Bauzonen angewiesen ist. Dabei beurteilen sich die Voraussetzungen nach objektiven Massstäben, und es kann weder auf die subjektiven Vorstellungen und Wünsche des Einzelnen noch auf die persönliche Zweckmässigkeit oder Bequemlichkeit ankommen.
Generell ist bei der Beurteilung der Voraussetzungen ein strenger Massstab anzulegen (<ref-ruling> E. 4a mit Hinweisen, 123 II 256 E. 5a).
Es trifft zu, dass ein Bootshaus der Natur der Sache nach nur an einem Gewässer errichtet werden kann.
Unzutreffend ist hingegen die Auffassung des Beschwerdeführers, damit sei auch zwingend ein Standort ausserhalb der Bauzone erforderlich. Es ist durchaus denkbar, dass die Nutzungsplanung Bootshäuser grundsätzlich nur in der Bauzone zulässt. Zudem müssen Boote nicht zwingend in Bootshäusern untergebracht werden, da es möglich und zumutbar ist, dies in offenen Hafenanlagen zu tun. Diese können überdies mehr oder minder stark konzentriert werden.
Der kantonale Richtplan 1987 sieht verschiedene zentrale Bootsstationierungsanlagen vor. Der Richtplan weist eine solche Anlage rund 2 km nördlich von Zweieren als Ausgangslage und eine weitere einen knappen Kilometer südlich (in Buonas) als Planungs- und Koordinationsaufgabe aus. Keinesfalls standortgebunden ist zudem die im Bootshaus vorgesehene Zweizimmerwohnung. Das Verwaltungsgericht hat daher die Standortgebundenheit des Bootshauses zu Recht verneint.
bb) Hinsichtlich des Bootshafens hat das Verwaltungsgericht die Standortgebundenheit bejaht. Es hat jedoch erwogen, dass dem Hafenausbau überwiegende Interessen im Sinne von Art. 24 Abs. 1 lit. b aRPG entgegenstehen. Als solche kommen namentlich Interessen des Natur- und Landschaftsschutzes in Frage (vgl. <ref-ruling> E. 3).
Zunächst verweist das Verwaltungsgericht darauf, dass der Regierungsrat gemäss § 4 Abs. 2 der Verordnung über die Inbetriebnahme und das Stationieren von Booten vom 17. Dezember 1974 grundsätzlich nur noch zentrale Bootsanlagen konzessioniert, namentlich aus Gründen des Landschafts- und Uferschutzes. Davon seien allerdings Ausnahmen möglich. Indessen grenze das Grundstück Nr. 405 unmittelbar an eines der bedeutendsten Naturschutzgebiete des Kantons Zug (9.01 Dersbach), dem eine der zwei ebenfalls geschützten Flachwasserzonen des Zugersees vorgelagert seien. Die kantonale Forstdirektion habe im Rahmen des fischereirechtlichen Bewilligungsentscheids vom 2. Dezember 1996 dargelegt, dass das Hafenprojekt den Interessen des Naturschutzes zuwiderlaufe, und die Baudirektion habe darauf hingewiesen, dass der kantonale Richtplan in Zweieren keine zentrale Bootsstationierung vorsehe.
Der Umstand, dass das Bootshaus und der ehemalige Fischteich nicht im eigentlichen Naturschutzgebiet, sondern in der Seeuferschutzzone 3 liegen, ändert nichts daran, dass eine intensivere Nutzung der Anlagen negative Auswirkungen auf das Naturschutzgebiet hätte. Die Forstdirektion hat hiezu überzeugend dargelegt, dass der verursachte Lärm die Wasservögel im angrenzenden Schilf v.a. während der Brutzeit stören würde. Die baulichen Massnahmen am Hafen würden einen Fremdkörper zwischen dem terrestrischen und dem aquatischen Biotop bilden, den Kontakt zwischen Wasser und Riedland unterbrechen, die Rhizomschicht im Seegrund verletzen und die Wellendynamik verändern. Die Bootsmotoren würden Substrat des flachen Seebodens aufwirbeln und verlagern und Fischlaich auf dem Seeboden zudecken; zudem würden sie zusätzliche und harte Wellen erzeugen. Der Wellenschlag beeinträchtige den Schilfbestand im Zufahrtsbereich. Schliesslich werde das Röhricht geschwächt, was die Uferstabilität und wertvollste Laichplätze beeinträchtige. Dass der Beschwerdeführer beabsichtigt, die Zufahrt zum Bootshaus und zum Hafen zusammenzulegen, hebt diese negativen Einflüsse nicht auf, auch wenn dadurch der Unterbruch im Schilfgürtel vor der heutigen Hafeneinfahrt geschlossen werden könnte.
Die kantonalen Instanzen gehen ausdrücklich oder stillschweigend davon aus, dass das Projekt des Beschwerdeführers eine Nutzungsintensivierung nach sich ziehen wird.
Diese Annahme ist entgegen der Auffassung des Beschwerdeführers nicht zu beanstanden. Wie erwähnt, vermag die Stellungnahme des Gemeinderats Risch in diesem Zusammenhang keinen Aufschluss zu erteilen. Hingegen lassen sowohl der Kaufpreis für das Grundstück als auch die geplanten Aufwendungen für die Sanierung von Gebäude und Hafen vermuten, dass die bisherige sehr zurückhaltende Nutzung nach den Vorstellungen des Beschwerdeführers erheblich intensiviert werden soll. Darauf deutet auch die Tatsache hin, dass der Beschwerdeführer im Bootshaus bereits sogenannte Seevelos gelagert hatte, welche nach den Erfahrungen der Baudirektion als Mietfahrzeuge auf dem See eingesetzt werden. Dass die heutigen Benützer aus wirtschaftlichen Gründen nicht auf eine zentrale Bootsanlage ausweichen können, ist unglaubhaft; der Beschwerdeführer unterlässt hierzu konkrete Angaben. Irreführend erscheint auch die Behauptung, die Fischer, die heute den Bootshafen benützten, seien auf diese Standplätze angewiesen, weil sie andernfalls täglich mit dem Boot von weither anfahren müssten. Damit wird unterstellt, dass es sich bei den Mietern um Berufsfischer handle, was in keiner Weise belegt ist. Vielmehr fällt auf, dass bereits die Mieter in den sechziger und siebziger Jahren andere Berufe ausübten (vgl. Akten Beschwerdeführer Nr. 6, in act. 8). Unterlagen über die heutigen Mieter bringt der Beschwerdeführer nicht bei.
Als völlig offen muss gelten, welche Mieter zu welchen Preisen in Zukunft beim Beschwerdeführer einen Bootsplatz mieten würden. Auch sind zuverlässige Aussagen zu den stationierten Schiffen und deren künftiger Nutzung nicht möglich.
Nicht weiter eingegangen sind die kantonalen Instanzen auf den Umstand, dass das Bauprojekt in einem geschützten BLN-Objekt liegt. Durch die Aufnahme eines Objekts von nationaler Bedeutung in ein Inventar des Bundes wird dargetan, dass es in besonderem Masse die ungeschmälerte Erhaltung oder jedenfalls grösstmögliche Schonung verdient (Art. 6 Bundesgesetz über den Natur- und Heimatschutz vom 1. Juli 1966, NHG; SR 451). Die geplante Anlage stellt zweifellos einen Eingriff in das Landschaftsbild dar, umso mehr als damit auch Erschliessungsmassnahmen wie die Befestigung der Zufahrt und die Anlage von zusätzlichen Parkplätzen verbunden wäre. Indessen kann von der ungeschmälerten Erhaltung des Schutzobjektes nur abgewichen werden, wenn ihr gleich- oder höherwertige Interessen von ebenfalls nationaler Bedeutung entgegenstehen (<ref-law>; vgl. <ref-ruling> E. 2a). Davon kann vorliegend keine Rede sein.
Insgesamt ist daher der Feststellung des Verwaltungsgerichts zuzustimmen, dass einer raumplanerischen Ausnahmebewilligung für den Bootshafen überwiegende Interessen des Landschafts- und Naturschutzes entgegenstehen.
5.- Der Beschwerdeführer leitet einen Anspruch auf die Bewilligung seines Projektes auch daraus ab, dass die Behörden bei ihm ein berechtigtes Vertrauen erweckt hätten, wonach der Betrieb des Bootshafens gestattet sei und seinem Bauvorhaben nichts im Wege stünde. Gestützt auf diese Vertrauensgrundlage habe er erhebliche Vermögensdispositionen getroffen. Dabei beruft er sich darauf, dass einerseits die Behörden die Umnutzung des Fischteichs in einen Hafen jahrzehntelang geduldet hätten und dass andererseits das Raumplanungsamt durch aktives Handeln den Eindruck erweckt habe, das Bauvorhaben sei bewilligungsfähig.
a) Nach der Rechtsprechung des Bundesgerichts verleiht der Grundsatz von Treu und Glauben (<ref-law>) dem Bürger einen Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörde (<ref-ruling> E. 3a). Eine (selbst unrichtige) Auskunft oder Zusicherung, welche eine Behörde dem Bürger erteilt und auf die er sich verlassen hat, ist unter gewissen Umständen bindend. Voraussetzung dafür ist, dass sich die Angaben der Behörde auf eine konkrete, den betreffenden Bürger berührende Angelegenheit beziehen, dass die Amtsstelle, welche die Auskunft gegeben hat, hiefür zuständig war, dass der Bürger die Unrichtigkeit des Bescheids nicht ohne weiteres hat erkennen können, dass er im Vertrauen auf die Auskunft nicht wieder rückgängig zu machende Dispositionen getroffen hat und dass die Rechtslage zur Zeit der Verwirklichung des Tatbestandes noch die gleiche ist wie im Zeitpunkt der Auskunftserteilung (<ref-ruling> E. 3b/cc S. 123, 117 Ia 285 E. 2b mit Hinweisen).
b) Wie bereits dargelegt, erfolgte die Umnutzung des Fischteichs zu einem Hafen ohne Anpassung der Konzession und damit widerrechtlich. Die kantonalen Behörden haben nie durch aktives Handeln zu erkennen gegeben, dass sie dieser Umnutzung zustimmen. Hingegen hatte die Baudirektion spätestens seit 1985, als sich der Rechtsvorgänger des Beschwerdeführers erkundigte, ob er einen weiteren Fischteich als Hafen erschliessen könne, Kenntnis von der Umnutzung. Die kantonale Schifffahrtskontrolle, welche ein Verzeichnis der Standorte der registrierten Schiffe führt, hatte sogar schon wesentlich früher Kenntnis vom Standort Zweieren. Indessen legte das Verwaltungsgericht dar, dass gemäss seiner konstanten Praxis ein Bootsbesitzer aus dem Wissen der Schifffahrtskontrolle kein Vertrauen hinsichtlich der Zulässigkeit einer Konzession schöpfen könne. Der Beschwerdeführer setzt sich mit dieser jedenfalls nicht willkürlichen Praxis nicht auseinander.
Die Duldung eines baurechtswidrigen Zustandes vermag überdies nur in Ausnahmefällen einen Vertrauenstatbestand zu begründen (vgl. Haller/Karlen, a.a.O., Rz. 879 ff.).
Vorliegend kann der Beschwerdeführer aus der mindestens zehnjährigen Untätigkeit der Baudirektion bzw. des Regierungsrats als Konzessionsbehörde nichts für sich ableiten. Dabei ist insbesondere auch in Rechnung zu stellen, dass gemäss § 136 des Gesetzes über die Gewässer vom 22. Dezember 1969 (aGewG; inzwischen abgelöst durch das Gesetz über die Gewässer vom 25. November 1999, GewG) die vor Inkrafttreten des Gesetzes unbefristet erteilten Konzessionen spätestens am 31. Dezember 1999 zu Ende gingen und dass Anspruch auf eine Neukonzession (nur) bestand, sofern keine öffentlichen Interessen entgegenstanden.
Angesichts dieser Rechtslage durfte sich der Beschwerdeführer - ungeachtet der Duldung des bisherigen Zustandes durch die Behörden - im Zeitpunkt des Grundstückkaufs keinesfalls darauf verlassen, dass die Nutzung des Fischteiches als Hafen von Bestand sein würde.
c) Im Frühling 1995 fanden zwischen einem Vertreter des Raumplanungsamtes und dem Rechtsvorgänger des Beschwerdeführers Gespräche über die Umnutzung des Fischteiches zur Bootsstationierung statt. Diese mündeten in einen Konzessionsentwurf vom 22. Mai 1995, den das Raumplanungsamt dem Rechtsvorgänger des Beschwerdeführers und dem Gemeinderat Risch zur Stellungnahme unterbreitete. Der Beschwerdeführer räumt ein, den Entwurf gekannt zu haben, ja er erblickt darin eine wesentliche Grundlage des behaupteten Vertrauens. Aus dem Entwurf geht indessen klar hervor, dass nicht das Raumplanungsamt, sondern die Baudirektion zuständig für die Änderung der Konzession war. So wird darin unter anderem ausdrücklich auf § 83 Abs. 1 aGewG hingewiesen, wonach jede Änderung der bisherigen Nutzungsart sowie der Umbau oder die Erweiterung der Nutzungsanlagen einer Bewilligung der Baudirektion bedurften. Selbst wenn die Auskunft erteilende Behörde (der Vertreter des Raumplanungsamtes) als sachbearbeitende Instanz für die Vorbereitung der Konzessionsänderung zuständig war, so war doch für den Beschwerdeführer ohne weiteres zu erkennen, dass diese Behörde nicht zuständig war für den in Frage stehenden Entscheid. Der Beschwerdeführer kann sich daher nicht auf den Schutz des durch eine unrichtige Auskunft geschaffenen Vertrauens berufen. Es kann unter diesen Umständen dahingestellt bleiben, ob der Beschwerdeführer nicht auch Kenntnis davon erhielt, dass die Baudirektion mit Schreiben vom 28. August 1995 an den Gemeinderat Risch - mit Kopie an den Rechtsvorgänger des Beschwerdeführers - ausdrücklich festhielt, dass aus dem Entwurf keinesfalls ein Rechtsanspruch auf Bewilligung abgeleitet werden könne, da der definitive Entscheid der Baudirektion bzw. dem Regierungsrat vorbehalten bleibe. Dass der Beschwerdeführer davon keine Kenntnis erhielt, wie er behauptet, erscheint insofern unwahrscheinlich, als offenbar andere Kaufinteressenten, die mit dem vormaligen Eigentümer in Verhandlung standen, wegen der bekannt gewordenen Unsicherheit über die Nutzungsmöglichkeiten von einem Kauf Abstand nahmen. Wie das Verwaltungsgericht zutreffend erwogen hat, wäre es in jedem Fall Sache des Beschwerdeführers gewesen, sich vor dem Kauf nochmals bei der Baudirektion über den Stand des Geschäfts zu erkundigen. Die Tatsache, dass offenbar der Vertreter des Raumplanungsamtes an einer Begehung im Dezember 1995 nach wie vor von der Zulässigkeit der Umnutzung ausging, ändert daran nichts.
Die Situation lässt sich entgegen der Auffassung des Beschwerdeführers auch nicht mit jener vergleichen, welche im Urteil des Bundesgerichts vom 9. Mai 1979 (in ZBl 81/1980 S. 70 ff.) zu beurteilen war. Dort ging es um die Frage, innert welcher Frist eine Behörde nach zwanzigjähriger Duldung eines rechtswidrigen Zustandes die Wiederherstellung rechtmässiger Verhältnisse verlangen konnte.
Vorliegend hingegen ist zu beurteilen, ob die Duldung der bisherigen Umnutzung sowie das Verhalten des Raumplanungsamtes die Baudirektion daran hindern, das auf die Legalisierung der Umnutzung (und eine Nutzungsintensivierung) gerichtete Gesuch des Beschwerdeführers nicht zu bewilligen.
Diese Frage ist nach dem zuvor Ausgeführten zu verneinen.
6.- Der Beschwerdeführer erachtet es als überspitzt formalistisch, dass sein Baugesuch nicht mit der Auflage bewilligt wurde, ein bezüglich Ausbaustandard einfacheres Projekt vor Baubeginn einzureichen.
a) Überspitzter Formalismus ist eine besondere Form der Rechtsverweigerung. Er liegt vor, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und dem Bürger den Rechtsweg in unzulässiger Weise versperrt (<ref-ruling> E. 2a). Das Bundesgericht hat immer wieder betont, dass im Rechtsgang prozessuale Formen unerlässlich sind, um die ordnungsgemässe und rechtsgleiche Abwicklung des Verfahrens sowie die Durchsetzung des materiellen Rechts zu gewährleisten.
Nicht jede prozessuale Formenstrenge steht daher mit der Verfassung im Widerspruch. Überspitzter Formalismus ist nur gegeben, wenn die strikte Anwendung der Formvorschriften durch keine schutzwürdigen Interessen gerechtfertigt ist, zum blossen Selbstzweck wird und die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschwert oder verhindert (<ref-ruling> E. 2a).
Das Bundesgericht prüft frei, ob eine solche Rechtsverweigerung vorliegt und der angefochtene Entscheid damit gegen <ref-law> (Art. 4 aBV) verstösst (<ref-ruling> E. 3a); die Auslegung und Anwendung des massgeblichen kantonalen Rechts prüft es auf Willkür hin (<ref-ruling> E. 1).
b) Wie das Verwaltungsgericht mit Recht erwogen hat, ist Gegenstand des Verfahrens das von der Vorinstanz beurteilte Baugesuch. Das Rechtsmittelverfahren dient allein der Überprüfung der Rechtmässigkeit des angefochtenen Bauentscheides.
Es hätte den Streitgegenstand gesprengt und könnte nicht als zulässige Auflage angesehen werden, dem Beschwerdeführer im Rechtsmittelverfahren gewissermassen ein redimensioniertes Projekt aufzuerlegen, dies umso weniger, als unklar ist, ob der Beschwerdeführer am Wiederaufbau der Bootshütte ein Interesse auch dann hat, wenn die Umnutzung des Fischteiches nicht mehr gestattet wird. Der Vorwurf des überspitzten Formalismus ist offensichtlich unberechtigt.
Es steht dem Beschwerdeführer frei, ein neues Gesuch für eine Wiederherstellung des abgebrannten Bootshauses zu stellen.
7.- Schliesslich beruft sich der Beschwerdeführer auf die Eigentumsgarantie (<ref-law>). Er macht geltend, die Verweigerung der Baubewilligung komme einem Eingriff in wohlerworbene Rechte gleich, ohne dass die entsprechenden Voraussetzungen erfüllt seien.
In der Konzession vom 8. April 1949 stellte der Regierungsrat fest, "dass die 3 Fischteiche und die Schiffhütte vor dem am 1. Juli 1874 in Kraft getretenen zugerischen Sachenrecht erbaut wurden, weshalb sie als wohlerworbene Rechte am Zugersee zu betrachten sind". Die Tragweite dieser Feststellung ist jedoch unklar, da der Konzessionsnehmer und Rechtsnachfolger gemäss Ziffer 1 lit. c des Dispositivs die Anlage zu beseitigen hat, sofern öffentliche Interessen dies verlangen sollten. Ausserdem wäre bei einer Würdigung der Tragweite der Konzession zu berücksichtigen, dass diese damals unentgeltlich erteilt wurde. Vor allem ist aber festzuhalten, dass die Konzession lediglich die damalige Bootshütte und die Nutzung von Fischteichen erlaubte. Daraus lässt sich von vornherein kein wohlerworbener Anspruch auf einen eine Zweckänderung gestattenden Umbau des Bootshauses oder die Nutzung des Fischteiches als Hafen ableiten.
8.- Demnach ist die Verwaltungsgerichtsbeschwerde abzuweisen, während auf die staatsrechtliche Beschwerde nicht einzutreten ist.
Bei diesem Ausgang des Verfahrens sind die Kosten des bundesgerichtlichen Verfahrens dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG). Eine Parteientschädigung ist indessen nicht zuzusprechen.

Demnach erkennt das Bundesgericht:
1.- Auf die staatsrechtliche Beschwerde wird nicht eingetreten.
2.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
3.- Die Kosten von insgesamt Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
4.- Dieses Urteil wird dem Beschwerdeführer, dem Gemeinderat Risch, der Baudirektion und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
_
Lausanne, 30. Oktober 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: