(Uferschutzplanung Sigriswil), hat sich ergeben:
A.- Die Einwohnergemeinde Sigriswil legte im Oktober 1994 einen Entwurf für die Uferschutzplanung der sog.
schwierigen Abschnitte Delta Merligen/Merligen Usserdorf und Delta Gunten/Örtli-Du Lac öffentlich auf. Der Plan basiert auf dem kantonalen See- und Flussuferrichtplan für das Teilgebiet Region Thun aus dem Jahr 1985, der gestützt auf das bernische Gesetz über See- und Flussufer vom 6. Juni 1982 (SFG) erlassen wurde und den Schutz des Uferbereichs sowie dessen öffentliche Zugänglichkeit sicherstellen soll. Weiter orientiert sich der Uferschutzplan am kantonalen Richtplan Bootsstationierung für den Thuner- und Brienzersee vom Juli 1995, der im Rahmen der kantonalen Seeverkehrsplanung erlassen und am 17. April 1996 vom Regierungsrat des Kantons Bern genehmigt wurde. Dieser Richtplan sieht in der Bucht Herzogenacker 10 neue Gästeplätze und 30-40 neue Anbindestellen am Ufer vor; die für den Hafenbereich vorgesehene Wasserfläche ist im Plan eingetragen. Im Objektblatt des entsprechenden Richtplanabschnitts wird der Hafen als Neuanlage bezeichnet und festgehalten, bei der Realisierung seien die bestehenden 5-10 Bojen aufzuheben.
Der kommunale Uferschutzplan legt Uferschutzzonen, Baubeschränkungen, allgemein benutzbare Freiflächen und einen Uferweg fest. Er umfasst neben den nach Abschnitten gegliederten Kartenbildern im Massstab 1:1000 die Vorschriften zu den Uferschutzplänen (UeV) und ein Realisierungsprogramm.
Der den Abschnitt Delta Gunten/Örtli-Du Lac betreffende Uferschutzplan 3R.21/22 sieht einen Uferweg vor, der ab der Gemeindegrenze Oberhofen im Gebiet Herzogenacker in östlicher Richtung entlang des mit einem Wohnhaus überbauten Grundstücks Nr. 4343 sowie eines Teils des benachbarten Grundstücks Nr. 1371 verläuft. Letzteres ist unbebaut und soll der Öffentlichkeit für Erholung, Spiel und Sport zur Verfügung gestellt werden (nach dem Plan: Freifläche 37).
Von dort soll der Uferweg auf die neu anzulegende, rund 2 m breite und 150 m lange Hafenmole überleiten, die nach dem Plan die vor den Parzellen Nrn. 301, 411, 99 und 4287 liegende Bucht umspannen und bis zu rund 50 m ausserhalb der Uferlinie zu liegen kommen soll. Der vorgesehene Uferweg führt am Ende der Mole über den östlichen Teil der Parzelle Nr. 4287 an die nördlich angrenzende Staatsstrasse. Von dort setzt sich der Weg rückwärtig der Parzellen Nrn. 509, 2086 und 409 fort und führt auf letzterer wieder ans Ufer zurück.
B.C._ und A.C._ sind Eigentümer der Parzelle Nr. 301, auf deren nördlicher Hälfte sich ein Wohnhaus befindet. Die östlich anschliessende Parzelle Nr. 411 steht im Eigentum von D._ und E._. Sie besteht ebenfalls aus einem Wohnhaus mit Umschwung. Die beiden östlich benachbarten, unbebauten Parzellen Nrn. 99 und 4287 (nach dem Plan: Freifläche 36) gehören der Gemeinde und sollen der Öffentlichkeit zugänglich gemacht werden. Die Parzelle Nr. 99 wird bereits heute als Bootsanlegestelle für ca. zehn Boote genutzt.
Den Erben von F._ gehören die Parzellen Nrn. 4343 und 1371. Jene grenzt westlich an den Örtlibach, umfasst eine Fläche von 1160 m2, und ist mit einem Wohnhaus und einer Garage bebaut. Das östlich benachbarte Grundstück Nr. 1371 weist eine Fläche von 1460 m2 auf, ist unüberbaut und gehört als Umschwung mit Garten zum erwähnten Wohnhaus.
Es ist als öffentliche Fläche für Erholung und Sport vorgesehen (Freifläche 37).
Gegen den aufgelegten Planentwurf ergingen zahlreiche Einsprachen. Am 3. Dezember 1994 beschloss die Gemeindeversammlung Sigriswil die vorgesehene Uferschutzplanung mit wenigen, hier nicht interessierenden Änderungen. Am 20. August 1996 genehmigte das Amt für Gemeinden und Raumordnung des Kantons Bern die Uferschutzplanung für die erwähnten Abschnitte und wies gleichzeitig die von A.C._ und B.C._, D._, E._ sowie den Erben von F._ erhobenen Einsprachen ab. Hiergegen wehrten sich diese bei der Justiz-, Gemeinde- und Kirchendirektion des Kantons Bern, welche die Beschwerden am 11. Juni 1999 abwies.
Das in der Folge angerufene kantonale Verwaltungsgericht gelangte mit Urteil vom 10. August 2000 ebenfalls zu einer Abweisung der Beschwerden.
B.- A.C._ und B.C._, D._ sowie E._ (nachfolgend Beschwerdeführer 1) führen gegen das Urteil des Verwaltungsgerichts in einer gemeinsamen Eingabe sowohl Verwaltungsgerichts- als auch staatsrechtliche Beschwerde.
Sie beantragen die Aufhebung des angefochtenen Entscheids, soweit dieser die in der Uferschutzplanung vorgesehene Hafenmole mit darauf verlaufendem Uferweg bestätige.
In prozessualer Hinsicht beantragen sie, der Beschwerde sei die aufschiebende Wirkung zu erteilen. Die Erben von F._ (nachfolgend Beschwerdeführer 2) ersuchen ebenfalls um Aufhebung des verwaltungsgerichtlichen Entscheids, soweit er sie betrifft. Die Beschwerdeführer machen im Wesentlichen eine Verletzung der Eigentumsgarantie (<ref-law>), eine willkürliche Anwendung kantonaler Zuständigkeits-, Planungs- und Bauvorschriften (<ref-law>) sowie eine Verletzung resp. Umgehung von Art. 24 RPG und <ref-law> geltend.
Das Verwaltungsgericht sowie die Justiz-, Gemeinde- und Kirchendirektion beantragen die Abweisung der Beschwerden.
Das Bundesamt für Raumentwicklung hat auf eine Stellungnahme ausdrücklich verzichtet, und auch der Gemeinderat Sigriswil hat sich zu den Beschwerden nicht geäussert. Das Bundesamt für Umwelt, Wald und Landschaft (BUWAL) hält in seiner Stellungnahme zur Frage der Verletzung von <ref-law> fest, die Planung der Mole lasse genügend Spielraum für ein umweltrechtkonformes Ausführungsprojekt.
C.- Der Präsident der I. öffentlichrechtlichen Abteilung des Bundesgerichts hat dem Gesuch um Gewährung der aufschiebenden Wirkung am 13. Oktober 2000 entsprochen.

Das Bundesgericht zieht in Erwägung:
1.- a) Der rechtserhebliche Sachverhalt ergibt sich mit hinreichender Klarheit aus den kantonalen Akten, welche neben Plänen und Augenscheinprotokollen auch Fotografien enthalten.
Auf die Durchführung des beantragten Augenscheins kann daher verzichtet werden.
b) Sämtliche der einander benachbarten Beschwerdeführer wehren sich gegen die im angefochtenen Entscheid bestätigte Planung einer Hafenmole in der Bucht vor ihren Grundstücken sowie gegen den Fussweg, der darüber verlaufen soll. Die Beschwerdeführer 2 fechten zudem die Umzonung ihres privaten Grundstücks Nr. 1371 an, welches der Öffentlichkeit als Freifläche für Erholung und Sport dienen soll.
Der enge Sachzusammenhang sowie die weitgehende Übereinstimmung in den vorgebrachten Rügen rechtfertigen es, die Verfahren zu vereinigen und die Beschwerden in einem Entscheid zu behandeln.
c) Die Beschwerdeführer rügen eine Verletzung von Art. 24 Abs. 1 in der bis zum 31. August 2000 geltenden Fassung des Raumplanungsgesetz des Bundes (aRPG; SR 700) und von Art. 39 des Bundesgesetzes über den Schutz der Gewässer vom 24. Januar 1991 (Gewässerschutzgesetz, GSchG; SR 814. 20). Weiter berufen sie sich auf die Eigentumsgarantie (<ref-law>), das Rechtsgleichheitsgebot (<ref-law>) sowie das Willkürverbot (<ref-law>). Sie haben sowohl Verwaltungsgerichtsbeschwerde als auch staatsrechtliche Beschwerde erhoben. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, welches der beiden Rechtsmittel inwieweit zulässig ist (<ref-ruling> E. 1 mit Hinweisen).
Angesichts der subsidiären Natur der staatsrechtlichen Beschwerde (Art. 84 Abs. 2 OG) ist vorerst zu prüfen, inwieweit die Verwaltungsgerichtsbeschwerde gegeben ist (<ref-ruling> E. 2a; <ref-ruling> E. 1a).
2.- a) Beim kommunalen Uferschutzplan, der auch die Hafenplanung enthält, handelt es sich um einen Nutzungsplan im Sinn der Art. 14 ff. RPG. Gemäss Art. 34 Abs. 1 RPG ist die Verwaltungsgerichtsbeschwerde im Bereich der Raumplanung auf letzte kantonale Entscheide über Entschädigungen als Folge von Eigentumsbeschränkungen, über die Zonenkonformität von Bauten und Anlagen ausserhalb der Bauzonen sowie über Bewilligungen im Sinne der Art. 24-24d RPG beschränkt. Alle anderen Entscheide können grundsätzlich nur mit staatsrechtlicher Beschwerde beim Bundesgericht angefochten werden (Art. 34 Abs. 3 RPG). Eine Ausnahme besteht nach der bundesgerichtlichen Rechtsprechung lediglich, soweit die Anwendung des bundesrechtlich geordneten Umwelt- oder Naturschutzrechts in Frage steht (<ref-ruling> E. 1b S. 75).
Nach der Rechtsprechung betrifft die Rüge, mit der angefochtenen Nutzungsplanung werde Art. 24 RPG umgangen, eine der Verwaltungsgerichtsbeschwerde unterliegende Frage (BGE <ref-ruling> E. 1b und c S. 291 mit Hinweisen). Die Beschwerdeführer tragen diese Rüge somit zu Recht mit Verwaltungsgerichtsbeschwerde vor. Soweit sie allerdings geltend machen, die Hafenplanung erfülle die Voraussetzungen von Art. 11 Abs. 1 bzw. Abs. 2 des Baugesetzes des Kantons Bern vom 9. Juni 1985 (BauG) nicht, bestreiten sie die materiellen Voraussetzungen der umstrittenen Nutzungsplanfestsetzungen.
Diese können jedoch nur mit staatsrechtlicher Beschwerde angefochten werden (Art. 34 Abs. 3 RPG). Daran ändert nichts, dass die in Art. 11 Abs. 1 und 2 BauG aufgestellten Kriterien (Standortgebundenheit und Interessenabwägung) mit denjenigen von Art. 24 RPG vergleichbar sind; denn mit Blick auf diese Bestimmung wird einzig geprüft, ob mit der Festsetzung des Hafens im Nutzungsplan das Ausnahmebewilligungsverfahren umgangen wurde. Ebenfalls nur mit staatsrechtlicher Beschwerde kann dem Bundesgericht der Einwand unterbreitet werden, die kommunale und die kantonale Kompetenzordnung seien missachtet worden.
Die Beschwerdeführer vertreten sodann den Standpunkt, die angefochtene Nutzungsplanung widerspreche dem in <ref-law> aufgestellten Verbot des Einbringens fester Stoffe in Seen, und die Voraussetzungen für eine Schüttung (Art. 39 Abs. 2 und 3 GSchG) seien nicht erfüllt.
Diese Rüge ist ebenfalls mit Verwaltungsgerichtsbeschwerde vorzubringen.
b) Soweit kein enger Sachzusammenhang mit den aufgeworfenen bundesverwaltungsrechtlichen Fragen - insbesondere <ref-law> - besteht, sind die übrigen Rügen der Beschwerdeführer im Rahmen der staatsrechtlichen Beschwerden zu prüfen. Allerdings setzt die Prüfung voraus, dass die Legitimation gegeben ist. Hierzu wird unten in E. 7 Stellung genommen.
VERWALTUNGSGERICHTSBESCHWERDEN 3.- a) Zur Verwaltungsgerichtsbeschwerde ist nach Art. 103 lit. a OG legitimiert, wer durch den angefochtenen Entscheid berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat. Dabei muss es sich um ein aktuelles und praktisches Interesse handeln, das rechtlicher oder tatsächlicher Natur sein kann und nicht unter den Schutz der als verletzt angerufenen Norm zu fallen braucht. Weiter ist zur Bejahung der Legitimation erforderlich, dass das Anfechtungsobjekt den Beschwerdeführer in stärkerem Mass berührt als die Allgemeinheit und er dazu eine besondere, beachtenswerte und nahe Beziehung aufweist (<ref-ruling> E. 3c S. 305; <ref-ruling> E. 2c/aa, 171 E. 2b; <ref-ruling> E. 4 S. 386 f.).
In der bundesgerichtlichen Rechtsprechung wird darauf verzichtet, hinsichtlich der Legitimation zur Anfechtung von Bauprojekten auf bestimmte räumliche Distanzen oder andere fixe Werte abzustellen. Vielmehr ist unter Berücksichtigung der Umstände des Einzelfalls zu prüfen, ob sich die projektierte Anlage mit Sicherheit oder grosser Wahrscheinlichkeit störend auf das Grundstück des Betroffenen auswirkt (vgl. <ref-ruling> E. 2b; <ref-ruling> E. 1c und 379 E. 4c S. 387; <ref-ruling> E. 1c S. 184). Ein schutzwürdiges Anfechtungsinteresse setzt sodann voraus, dass die Auswirkungen des beanstandeten Bauvorhabens nach ihrer Art und Intensität so beschaffen sind, dass sie auch bei objektivierter Betrachtungsweise als Nachteil empfunden werden müssen; eine besondere subjektive Empfindlichkeit des Betroffenen verdient keinen Rechtsschutz (<ref-ruling> E. 4a).
Die Mole umschliesst die nebeneinander liegenden Uferparzellen der Beschwerdeführer 1 sowie zwei weitere in der Bucht Herzogenacker liegende Grundstücke (Freifläche 36). Sie ist von jenen rund 20-30 m entfernt. In westlicher Richtung endet die Mole unmittelbar neben dem östlichen Zipfel von Parzelle Nr. 1371, die im Eigentum der Beschwerdeführer 2 steht. Nach dem Richtplan Bootsstationierung sind in der Bucht 30-40 Bootsanbindestellen am Ufer vorgesehen.
Auch wenn hinsichtlich Anzahl und Standorte dieser Boots-plätze noch nichts Definitives feststeht und der Bootshafen nicht über eines der erwähnten Grundstücke erschlossen werden soll, ist damit zu rechnen, dass die Beschwerdeführer von ihren Liegenschaften aus gewisse Geräusche, insbesondere Stimmenlärm, wahrnehmen werden. Weiter hat die Benützung des Bootshafens und des auf der Mole verlaufenden Fusswegs für die Beschwerdeführer eine Beeinträchtigung der Seesicht zur Folge. Sie haben somit ein schutzwürdiges faktisches Inte-resse an der Aufhebung der Hafenplanung. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist im dargelegten Umfang auf die Verwaltungsgerichtsbeschwerden einzutreten.
b) Vorliegend hat eine richterliche Behörde als Vorinstanz entschieden. Das Bundesgericht ist daher an die Feststellung des Sachverhalts gebunden, sofern diese nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen zustande gekommen ist (Art. 105 Abs. 2 OG).
Die Beschwerdeführer 1 beanstanden die Ausführungen des Verwaltungsgerichts zur Entstehungsgeschichte der Richt-planung Bootsstationierung und der Uferschutzplanung, soweit darin Angaben zur früheren Nutzung der Bucht im Herzogen-acker gemacht werden. Bei den dahingehenden Ausführungen handelt es sich jedoch lediglich um Randbemerkungen, wie sich aus dem angefochtenen Entscheid selbst ergibt (in E. 6d). Sie sind daher auch für das vorliegende Verfahren unbeachtlich.
4.- Die Beschwerdeführer erblicken in der Planung der Hafenmole und in der Einzonung der entsprechenden Seefläche eine Umgehung von Art. 24 RPG, wonach Bewilligungen für Bauten und Anlagen ausserhalb der Bauzonen nur erteilt werden können, wenn deren Zweck einen Standort ausserhalb der Bauzonen erfordert und keine überwiegenden Interessen entgegenstehen.
Die Beschwerdeführer 1 machen unter Hinweis auf die Rechtsprechung zu den unzulässigen Kleinstbauzonen gel-tend, die der Nutzungszone zugewiesene Seefläche von rund 300 m2 (2 m Breite x 150 m Länge) sei zu klein, um als eigenständige Zone ausgeschieden zu werden; sie beschränke sich auf die Grösse des eigentlichen Bauprojekts, für welches eine Bewilligung nach Art. 24 RPG erforderlich wäre.
a) Sollen Bauten oder Anlagen ausserhalb der Bauzone erstellt werden, so bedürfen sie grundsätzlich einer Ausnahmebewilligung gemäss Art. 24 RPG. Dies gilt auch nach der am 1. September 2000 in Kraft gesetzten Revision des Raumplanungsrechts vom 20. März 1998 (AS 2000 2042 ff.; die neuen Ausnahmebewilligungstatbestände gemäss Art. 24a-24d RPG n.F. spielen im vorliegenden Zusammenhang keine Rolle). Handelt es sich indes um planungspflichtige Vorhaben, setzt dies eine Änderung des Zonenplans voraus, d.h. der Weg der Ausnahmebewilligung kann nicht beschritten werden (vgl.
BGE 120 Ib 207 E. 5 S. 212 mit Hinweisen). Ist das Bauvorhaben nicht planungspflichtig, so darf hierfür nach der Rechtsprechung ebenfalls eine Erweiterung der Bauzone vorgenommen und von der Standortgebundenheit der geplanten Baute abgesehen werden, sofern die projektbedingte Zonenplanänderung den Zielen und Grundsätzen der Nutzungsplanung gemäss RPG entspricht (<ref-ruling> E. 2c S. 393 f.). Andernfalls wären Erweiterungen der in einem Nutzungsplan festgelegten Bauzone generell und für konkrete Bauvorhaben nur unter den Voraussetzungen von Art. 24 RPG statthaft, was nicht der Sinn des Raumplanungsgesetzes sein kann. Geht es um ein konkretes Bauvorhaben, ist vielmehr zu prüfen, ob die Zonenerweiterung den Zielen und Grundsätzen der Nutzungsplanung gemäss RPG entspricht. Ist dies der Fall, so ist sie rechtmässig und stellt keine Umgehung von Art. 24 RPG dar, auch wenn eine Ausnahmebewilligung für das Bauvorhaben mangels Standortgebundenheit ausgeschlossen wäre. Eine Umgehung von Art. 24 RPG ist nur dann anzunehmen, wenn mit der fraglichen Planungsmassnahme eine unzulässige Kleinbauzone geschaffen wird (<ref-ruling> E. 6e S. 248 mit Hinweisen), oder wenn sie sonst auf einer sachlich nicht vertretbaren Abwägung der berührten räumlichen Interessen basiert (<ref-ruling> E. 2c S. 394).
b) Der Uferschutzplan ist ein Nutzungsplan im Sinn von Art. 14 ff. RPG. Er umfasst neben dem Bootshafen eine Vielzahl von Parzellen, die bereits weitgehend überbaut sind und in der Bauzone liegen. Für diese sind Nutzungsbeschränkungen zum Schutz des Thunersee-Ufers vorgesehen (Erhaltungszonen A und B, Freiflächen, usw.). Zusätzlich wird der Verlauf des Uferwegs festgelegt und - jedenfalls nach dem Verständnis des Verwaltungsgerichts - das Gewässer zwischen dem Ufer und der umstrittenen Mole für die Nutzung als Bootshafen freigegeben. Es handelt sich somit nicht um die Ausscheidung einer isolierten Kleinzone, sondern um eine zusammenhängende Planung für einen Teil des Uferbereichs der Gemeinde Sigriswil, wobei die einzelnen Planfestsetzungen alle einen Bezug zum Uferschutz bzw. zur Ufernutzung haben.
Sie stehen in einem engen sachlichen Zusammenhang, was sich auch daraus ergibt, dass ihnen die beiden Richtpläne betreffend See- und Flussufer und betreffend Bootsstationierung zu Grunde liegen. Hinzu kommt, dass Art. 16 Abs. 2 der Bauver-ordnung des Kantons Bern vom 6. März 1985 (BauV) für die Freigabe von Gewässern ausdrücklich die Form des Nutzungsplans vorsieht. Ob es sich dabei um einen kantonalen oder kommunalen Plan handelt, ist bei der Prüfung einer Umgehung von Art. 24 RPG ohne Belang.
c) Unzutreffend ist auch der Einwand, die Mole sei derart konkret geplant, dass mit dem Uferschutzplan das Baubewilligungsverfahren weitgehend präjudiziert werde. Die Mole ist zwar insofern projektbezogen, als ihr Verlauf und die für den Bootsverkehr vorgesehene Öffnung genau festgelegt sind. Andererseits enthält die Nutzungsplanung keine Aussagen über die genaue Anzahl der Bootsanlegestellen sowie deren Lageorte in der Bucht (am Ufer oder als Bojen). Die im Richtplan Bootsstationierung vorgesehenen 30-40 Plätze dienen lediglich als Richtschnur. Sowohl hinsichtlich Verwendungszweck und Nutzungsintensität der Mole als auch ihrer baulichen Ausgestaltung und Erschliessung verbleibt im Hinblick auf das Detailprojekt somit ein erheblicher Spielraum.
d) Nicht ersichtlich ist sodann, dass der umstrittene Uferschutzplan auf einer sachlich nicht vertretbaren Abwägung der berührten raum- und umweltrelevanten Interessen beruhen würde (vgl. Art. 3 RPG; <ref-ruling> E. 2c; <ref-law>; Art. 21 und 22 Abs. 2 des Bundesgesetzes über den Natur- und Heimatschutz vom 1. Juli 1966 [NHG; SR 451]; Art. 8 f. des Bundesgesetzes über die Fischerei vom 21. Juni 1991 [BGF; SR 923. 0]). Die Ermittlung und Auswertung der für den Hafen in Frage kommenden Standorte ist im Rahmen der Richtplanung Bootsstationierung erfolgt, an welcher u.a. die kantonale Seeverkehrskommission, das AGR, das Fischereiinspektorat, das Naturschutzinspektorat, das kantonale Tiefbauamt, das kantonale Schifffahrtsamt sowie der Uferschutzverband Thuner- und Brienzersee mitgewirkt haben. Ausserdem sind die privaten Eingaben des öffentlichen Mitwirkungsverfahrens berücksichtigt worden. Aus den allgemeinen Erläuterungen zum Richtplan Bootsstationierung ergibt sich, dass nicht nur der Bootsplatzbedarf ein Kriterium für die Stand-ortauswahl war, sondern dass mit der Bezeichnung der Schilf-, Naturschutz- und Fischlaichgebiete auch die Anliegen des Gewässerschutzes, des Natur- und Heimatschutzes und der Fischerei miteinbezogen wurden.
Im Verfahren betreffend Genehmigung der Uferschutzplanung hat das AGR die in den Einsprachen geltend gemachten privaten Interessen an einer möglichst störungsfreien Nutzung der Uferliegenschaften gegen die öffentlichen Interessen der Benutzung von See und Uferbereich abgewogen (Verfügung vom 20. August 1996). Dabei hat es das kantonale Tiefbauamt, das damalige Amt für Wald und Natur und die kantonale Denkmalpflege vorgängig angehört. Ergänzende Abklärungen und Abwägungen hat sodann das Verwaltungsgericht vorgenommen, indem es von der kantonalen Kommission zur Pflege der Orts- und Landschaftsbilder (OLK) ein Gutachten zur Frage der ästhetischen Auswirkungen des Bootshafens auf das Orts- und Landschaftsbild und vom Fischereiinspektorat eine Stellungnahme eingeholt hat. Die von der OLK im Bericht vom 20. März 2000 geäusserten ästhetischen Bedenken sowie der von ihr vorgeschlagene Alternativstandort wurden vom Verwaltungsgericht geprüft und mit der Empfehlung, die Mole schwimmend anzulegen, verworfen (angefochtener Entscheid, E. 6e S. 19 ff.). Die angefochtene Uferschutzplanung berücksichtigt die berührten räumlichen Interessen und beruht auf einer korrekten Abwägung. Ob die umstrittene Nutzungsplanung die formellen und materiellen Voraussetzungen des kantonalen Rechts erfüllt, ist eine andere Frage, die unter dem Blickwinkel von Art. 24 RPG nicht zu prüfen ist.
Nach dem Gesagten liegt keine Umgehung von Art. 24 RPG vor.
5.- Die Beschwerdeführer vertreten den Standpunkt, die angefochtene Nutzungsplanung verletze <ref-law>. Nach dieser Bestimmung ist es untersagt, feste Stoffe in Seen einzubringen, auch wenn sie Wasser nicht verunreinigen können (<ref-law>). Die kantonale Behörde kann indessen in überbauten Gebieten für standortgebundene Bauten Schüttungen bewilligen, wenn überwiegende öffentliche Interessen eine Schüttung erfordern und sich der angestrebte Zweck anders nicht erreichen lässt (<ref-law>).
a) Die Beschwerdeführer 2 halten die Erteilung einer Ausnahmebewilligung für ausgeschlossen. Soweit nämlich die Mole als Uferweg Verwendung finden solle, fehle es an der Standortgebundenheit; der Weg könne - und müsse nach Art. 4 Abs. 2 SFG - am Ufer geführt werden. Dem ist entgegenzuhalten, dass der angefochtene Uferschutzplan einerseits die Uferwegplanung und andererseits die Planung der neuen Hafenanlage umfasst. Für die Standortgebundenheit der Mole ist die geplante Hafenanlage ausschlaggebend. Die Standortgebundenheit ist unter dem Blickwinkel von <ref-law> ohne weiteres zu bejahen. Wenn die geplante Hafenmole realisiert wird, ist es durchaus sinnvoll und - in Abweichung von der in Art. 4 Abs. 2 SFG vorgeschriebenen und im See- und Flussufer-Richtplan festgelegten ufernahen Wegführung - auch zulässig, den Uferweg über die Mole zu führen.
b) Die Beschwerdeführer 1 bestreiten zudem ein öffentliches Interesse an der geplanten Hafenanlage. Der angestrebte Zweck lasse sich auch anders erreichen, indem beispielsweise ein Hafen andernorts geplant, zusätzliche Bojen bewilligt oder bestehende Bootsanbindeanlagen massvoll vergrössert werden könnten. Wie bereits ausgeführt, wurde der Standort Herzogenacker im Rahmen der Richtplanung Bootsstationierung gewählt, die parallel zur Uferschutzplanung erfolgte und neben dem Bedarf an Bootsplätzen auch Anliegen des Gewässerschutzes, des Natur- und Heimatschutzes und der Fischerei miteinbezog. Im verwaltungsgerichtlichen Verfahren konnte die OLK ihre Vorbehalte anbringen. Das Verwaltungsgericht hat sich mit diesen auseinander gesetzt und aufgezeigt, inwieweit den geäusserten Bedenken Rechnung getragen werden könne. Unter dem Blickwinkel des Gewässerschutzes erscheint die von den kantonalen Behörden getroffene Standortwahl nicht bundesrechtswidrig. Das Verwaltungsgericht durfte die Voraussetzungen für eine Ausnahmebewilligung nach <ref-law> grundsätzlich bejahen. Allerdings stellen sich noch Fragen im Zusammenhang mit der Befestigung der Mole und der Nutzungsintensität des von dieser umschlossenen Seegebiets, besonders im unmittelbaren Uferbereich.
Für die Ausarbeitung des konkreten Projekts besteht aber nach der kommunalen Nutzungsplanung genügend Spielraum für eine umweltrechtskonforme Lösung, die zugleich dem Ufer- und Landschaftsbild Rechnung trägt. Das BUWAL weist in seiner Stellungnahme darauf hin, dass insbesondere eine auf Pfählen errichtete Mole den Vorteil eines flächenmässig begrenzten Eingriffs auf den Seegrund hätte, welcher die freie Zirkulation der Fische und des Wassers nicht behindern würde.
Im Gegensatz zu einer mit Ketten verankerten Mole bestehe dabei auch nicht die Gefahr, dass der Seegrund durch Scheuerbewegungen beschädigt werde. Die Ausgestaltung im Einzelnen wird Gegenstand des Baubewilligungsverfahrens sein, in dessen Rahmen neben der Art und Weise der Befestigung der Mole auch über die Anzahl und die jeweiligen Stand-orte der Anlegestellen definitiv zu befinden sein wird.
Die Feststellung des Verwaltungsgerichts, die angefochtene Planung lasse verschiedene Varianten von Hafenmolen zu, die nicht gegen <ref-law> verstiessen, ist somit nicht bundesrechtswidrig.
6.- Die Verwaltungsgerichtsbeschwerden erweisen sich sowohl hinsichtlich der gerügten Umgehung von Art. 24 RPG als auch der geltend gemachten Verletzung von <ref-law> als unbegründet und sind daher abzuweisen.
STAATSRECHTLICHE BESCHWERDEN 7.- a) Wie oben in E. 2b ausgeführt, sind alle übrigen Rügen der Beschwerdeführer im Rahmen ihrer staatsrechtlichen Beschwerden zu prüfen, soweit die Legitimation gegeben ist.
Dabei geht es einerseits um die geplante Hafenmole und andererseits um die Ausscheidung der Parzelle Nr. 1371 als Frei-fläche. Im Wesentlichen machen die Beschwerdeführer eine Verletzung der Eigentumsgarantie (<ref-law>), des rechtlichen Gehörs (<ref-law>) und des Gebots rechtsgleicher Behandlung (<ref-law>) geltend. Weiter rügen sie Willkür (<ref-law>) in der Anwendung kantonaler Vorschriften und in der Umsetzung der kantonalen Richtpläne sowie in der Feststellung des rechtserheblichen Sachverhalts.
b) Die staatsrechtliche Beschwerde steht dem Einzelnen sowie Körperschaften bezüglich solcher Rechtsverletzungen zu, die sie durch allgemein verbindliche oder sie persönlich treffende Entscheide oder Verfügungen erlitten haben (Art. 88 OG). Mit ihr kann lediglich die Verletzung in rechtlich geschützten eigenen Interessen geltend gemacht werden. Zur Verfolgung tatsächlicher Vorteile oder zur Wahrnehmung allgemeiner öffentlicher Anliegen ist die staatsrechtliche Beschwerde nicht gegeben. Die eigenen rechtlichen Interessen, auf die sich der Beschwerdeführer berufen muss, können entweder durch kantonales oder eidgenössisches Gesetzesrecht oder unmittelbar durch ein angerufenes spezielles Grundrecht geschützt sein, müssen aber auf dem Gebiet liegen, das die als verletzt gerügte Verfassungsbestimmung beschlägt (<ref-ruling> E. 2 mit Hinweisen). Eine willkürliche Rechtsanwendung kann - auch unter der neuen Bundesverfassung vom 18. April 1999 - nur insoweit gerügt werden, als die Anwendung von Normen zur Diskussion steht, welche dem Beschwerdeführer einen Rechtsanspruch einräumen oder den Schutz seiner Interessen bezwecken (Art. 88 OG; <ref-ruling> E. 2-6; <ref-ruling> E. 3c/aa; <ref-ruling> E. 2 mit Hinweisen).
c) Es ist zunächst festzuhalten, dass die Beschwerdeführer 2 als Eigentümer der Parzelle Nr. 1371 legitimiert sind, deren Zuweisung zu einer öffentlichen Freifläche mit staatsrechtlicher Beschwerde anzufechten und eine Verletzung der Eigentumsgarantie, des rechtlichen Gehörs sowie eine willkürliche Anwendung von kantonalen Planungsvorschriften geltend zu machen. In Bezug auf die geplante Hafenmole, die im Seegebiet verläuft, bedarf die Legitimation der näheren Prüfung:
aa) Die Beschwerdeführer 2 erblicken - wie bereits erwähnt - in der Aussonderung einer Freifläche auf ihrer Parzelle Nr. 1371 eine Verletzung der Eigentumsgarantie. In Bezug auf die Hafenmole berufen sie sich nicht direkt auf dieses Verfassungsrecht. Sie erheben in dem Sinn Einwände, als sie davon ausgehen, die Hafenmole stelle die Ursache dafür dar, dass ihre Parzelle Nr. 1371 in eine Freifläche umgezont worden sei (dazu unten E. 8b). Indessen machen sie nicht geltend, sie seien durch die geplante Hafenmole in ihren durch die Eigentumsgarantie geschützten Interessen verletzt.
bb) Demgegenüber führen die Beschwerdeführer 1 zur Legitimation in allgemeiner Weise aus, ein Bootshafen würde sie in der Ausübung ihres Grundeigentums beschränken. Die bisherige Nutzung würde durch die vom Hafen und den Fusswegbenützern ausgehenden Lärmimmissionen erheblich beeinträchtigt, und auch der Gebrauch des zu ihren Liegenschaften gehörenden separaten Bootshauses mit Anlegesteg wäre erschwert.
Die Hafenmole verläuft zu den Grundstücken der Beschwerdeführer 2 in einer Entfernung von 20-30 m. Durch die für die Hafenplanung ausgeschiedene Gewässerfläche wird das bestehende Recht beziehungsweise die faktische Möglichkeit der Beschwerdeführer auf Seezugang keinen Beschränkungen unterworfen.
Dies geschieht ebenso wenig durch den geplanten Uferweg, da dieser auf der Mole und eben nicht auf den Grundstücken der Beschwerdeführer angelegt werden soll. Die Hafenmole sieht im Übrigen eine für Boote passierbare Öffnung vor. Es ist nicht ersichtlich, inwiefern die Beschwerdeführer durch die fragliche Nutzungsplanfestsetzung in ihren bestehenden Rechten auf Seezugang oder der tatsächlichen Möglichkeit dazu beeinträchtigt würden (vgl. <ref-ruling> E. 2 S. 222). Zwar fallen nach der neueren Rechtsprechung des Bundesgerichts gewisse faktische Voraussetzungen zur Ausübung der aus dem Eigentum fliessenden rechtlichen Befugnisse in den Schutzbereich der Eigentumsgarantie (<ref-ruling> E. 1b). Indessen sind vorliegend keine solchen faktischen Interessen betroffen. Auf die Beschwerde kann somit insoweit nicht eingetreten werden, als eine Verletzung der Eigentumsgarantie geltend gemacht wird.
d) Soweit sich die Beschwerdeführer im Übrigen gegen die Hafenmole und die Ausscheidung einer Seefläche als Hafengebiet wenden, tun sie dies als Eigentümer benachbarter Liegenschaften. Nach der bundesgerichtlichen Rechtsprechung ist der Eigentümer einer benachbarten Liegenschaft zur Anfechtung eines Nutzungsplans mit staatsrechtlicher Beschwerde nur befugt, wenn er geltend macht, die Planfestsetzungen verletzten ihn in seinen verfassungsmässigen Rechten, weil dadurch Normen, die auch seinem Schutz dienten, nicht mehr oder in geänderter Form gelten würden, oder weil sie die Nutzung seiner Liegenschaft beschränkten (<ref-ruling> E. 1c; <ref-ruling> E. 1b). Ähnliches gilt für die Legitimation des Nachbarn zur Anfechtung einer Baubewilligung: Hierzu ist er nur befugt, wenn er geltend macht, diese verletze Bauvorschriften, die ausser dem Interesse der Allgemeinheit auch oder in erster Linie dem Schutz des Nachbarn dienen, sofern er sich im Schutzbereich dieser Bauvorschriften befindet und durch die behauptete Rechtsverletzung betroffen wird (<ref-ruling> E. 2a; <ref-ruling> E. 1b). In allen Fällen reicht die Anfechtungsbefugnis nur so weit, als die Auswirkungen des umstrittenen Plans oder der umstrittenen Bewilligung auf das eigene Grundstück in Frage stehen (<ref-ruling> E. 1c S. 443 mit Hinweisen).
aa) Die Beschwerdeführer machen zunächst eine willkürliche Verletzung der planerischen Zuständigkeitsordnung geltend. Sie berufen sich auf Art. 101 Abs. 1 BauV, wonach für die Bewilligung von Bauvorhaben in Gewässern, die keiner Gemeindehoheit unterliegen, der Regierungsstatthalter zuständig ist. Weiter bringen sie vor, entsprechende Wasserflächen müssten nach Art. 16 Abs. 2 BauV vom AGR freigegeben werden; wenn dieses den Uferschutzplan - wie vorliegend - genehmige, so sei damit entgegen der Auffassung des Verwaltungsgerichts die Missachtung der Zuständigkeitsordnung nicht geheilt, da nach Art. 61 Abs. 1 BauG die Genehmigungsbehörde die Planung nur auf ihre Rechtmässigkeit und die Vereinbarkeit mit den übergeordneten Planungen überprüfen könne, ihr im Genehmigungsverfahren jedoch kein eigenes Planungsermessen zukomme.
Es ist unbestritten, dass der Thunersee unmittelbar der Hoheit des Kantons untersteht und die Gemeinden hinsichtlich der Seefläche keine Planungsbefugnisse haben. Demzufolge hätte die Hafenmole beziehungsweise die Freigabe der dafür benötigten Gewässerfläche in der Form eines kantonalen Nutzungsplans erfolgen müssen: Der Kanton hätte eine mit der Uferschutzplanung der Gemeinde koordinierte Hafenplanung auflegen müssen. Die Beschwerdeführer machen aber nicht geltend, mit dem Abweichen von der ordentlichen Zuständigkeitsordnung seien Mitwirkungs- und Rechtsschutzgarantien missachtet worden. Nach den Ausführungen des Verwaltungsgerichts sind diese bei einem kommunalen Plan gar noch besser ausgebaut als bei einer kantonalen, vom Regierungsrat beschlossenen Überbauungsordnung. Das wird von den Beschwerdeführern nicht in Abrede gestellt. Die Einhaltung der vorliegend zur Diskussion stehenden Zuständigkeitsordnung dient ausschliesslich öffentlichen Interessen, nämlich der Beachtung der Gewässerhoheit des Kantons. Zwar mögen die Beschwerdeführer ein tatsächliches Interesse an der Respektierung der hoheitlichen Befugnisse des Kantons haben, weil sie sich erhoffen, die zuständige kantonale Behörde würde eine andere Hafenplanung vornehmen. Dabei handelt es sich allerdings nicht um eine verfassungsrechtlich geschützte Position, welche die Beschwerdeführer zur staatsrechtlichen Beschwerde berechtigen würde. Auf die entsprechenden Rügen kann daher nicht eingetreten werden.
bb) Die Beschwerdeführer bemängeln sodann, es sei bei der Standortwahl dem Schutz der Uferlandschaft sowie des Ortsbildes zu wenig Beachtung geschenkt worden. Sie berufen sich dabei auf Art. 9 f., 11 und 54 Abs. 2 lit. e und f BauG. Diese Bestimmungen, welche die Einordnung und Gestaltung von Bauten sowie Anlagen regeln, liegen im Interesse der Allgemeinheit. Es kommt ihnen keine spezifisch nachbarschützende Funktion zu (vgl. die oben in lit. d zitierte Rechtsprechung). Daran ändert nichts, dass es die Liegenschaften der Beschwerdeführer sein sollen, die vom See her betrachtet das Uferbild verschönern. Ein rechtlich geschütztes eigenes Interesse fehlt auch hinsichtlich der Rüge, der Uferschutzplan verstosse gegen Art. 4 Abs. 2 SFG sowie den See- und Flussuferrichtplan, da der Fussweg in der Bucht Herzogenacker nicht unmittelbar dem Ufer entlang geführt werde.
cc) Sind die Beschwerdeführer durch die angefochtene Bootshafenplanung nicht in ihrer Rechtsstellung als Eigentümer betroffen, sind sie auch nicht legitimiert, unter Berufung auf die Rechtsgleichheit geltend zu machen, sie seien im Verhältnis zu anderen Eigentümern von Ufergrund-stücken benachteiligt worden. Dem Gleichheitsgebot kommt bei Planungsmassnahmen wegen der beschränkten Vergleichbarkeit von örtlichen Verhältnissen ohnehin nur eine abgeschwächte Bedeutung zu; in verfassungsrechtlicher Hinsicht genügt es, dass die Planung sachlich vertretbar ist (<ref-ruling> E. 5a S. 88; <ref-ruling> E. 6e/bb; <ref-ruling> E. 6c S. 162).
Folglich sind sie auch nicht legitimiert, den Vorwurf zu erheben, die Planung basiere mangels ausreichender Standortabklärungen auf einer unzureichenden Feststellung des massgeblichen Sachverhalts.
e) Die Beschwerdeführer können - unabhängig von der Legitimation in der Sache selbst - eine Verletzung von Verfahrensvorschriften rügen, deren Missachtung eine formelle Rechtsverweigerung darstellt (<ref-ruling> E. 1c; <ref-ruling> E. 1b; <ref-ruling> E. 1a; <ref-ruling> E. 3). Soweit die Beschwerdeführer 2 eine Verletzung des rechtlichen Gehörs rügen, betrifft dies, wie schon erwähnt, die Ausscheidung des Grundstücks Nr. 1371 als Freifläche und nicht die Hafenmole.
In letzterer Hinsicht liegen keine formellen Rechts-verweigerungsgründe vor, und es ist aktenkundig, dass die Beschwerdeführer im Mitwirkungsverfahren Stellung nehmen konnten und ihnen im Rechtsmittelverfahren der Rechtsschutz umfassend gewährt wurde.
f) Nach dem Gesagten ergibt sich zusammenfassend, dass auf die staatsrechtliche Beschwerde der Beschwerdeführer 1 nicht eingetreten werden kann. Auf diejenige der Beschwerdeführer 2 kann nur insoweit eingetreten werden, als die angefochtene Nutzungsplanfestsetzung das Grundstück Nr. 1371 betrifft.
8.- a) Die im Uferschutzplan Sigriswil vorgesehene Umzonung des Ufergrundstücks Nr. 1371 in eine öffentliche Freifläche stellt für die Beschwerdeführer 2 einen schweren Eingriff in ihr Eigentum dar. Mit der Rechtskraft des Uferschutzplans verfügt die Gemeinde über das Recht, dieses Grundstück zu enteignen (Art. 3 Abs. 1 lit. c und Art. 5 Abs. 2 SFG i.V.m. Art. 128 Abs. 1 lit. a BauG) und der Öffentlichkeit zu Erholungs- und Sportzwecken zur Verfügung zu stellen. Eine solche Eigentumsbeschränkung ist mit <ref-law> nur vereinbar, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und sich unter den gegebenen Umständen als verhältnismässig erweist (<ref-law>). Verhältnismässig ist eine Beschränkung des Privateigentums dann, wenn sie geeignet und erforderlich ist, das angestrebte, im öffentlichen Interesse liegende Ziel zu erreichen, und wenn sie zu diesem in einem vernünftigen Verhältnis steht (<ref-ruling> E. 4b, 370 E. 4a). Bei einem schweren Eingriff in das Eigentum verlangt das Bundesgericht eine eindeutige und klare gesetzliche Grundlage, was es ohne Beschränkung seiner Kognition prüft. Frei prüft das Bundesgericht auch die Fragen der Verhältnismässigkeit und des öffentlichen Interesses an einer Eigentumsbeschränkung (<ref-ruling> E. 3c S. 121; <ref-ruling> E. 3a mit Hinweisen).
Es auferlegt sich jedoch Zurückhaltung, soweit die Beurteilung von einer Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser überblicken.
Die Sachverhaltsfeststellungen und die Beweiswürdigung prüft das Bundesgericht auf Willkür hin (BGE <ref-ruling> E. 3a mit Hinweisen).
b) Das Grundstück Nr. 1371 weist eine Fläche von 1460 m2 auf und ist nicht überbaut. Es dient der westlich angrenzenden, ebenfalls im Eigentum der Beschwerdeführer 2 stehenden Liegenschaft als Garten und Umschwung. Nach dem Uferschutzplan soll der Fussweg von der Mole her dem Ufer entlang auf diesen beiden Grundstücke verlaufen. Die Beschwerdeführer 2 akzeptieren heute diese Wegführung. Demgegenüber sind sie nach wie vor der Auffassung, das Überlagern ihres Grundstücks Nr. 1371 mit einer Freifläche stelle einen unverhältnismässigen Eingriff in ihr Eigentum dar; nicht nur wegen des Verlusts ihrer privaten Erholungsfläche, sondern auch wegen der Immissionen, die aufgrund der Zweckbestimmung als Freifläche für Sport und Spiel zu erwarten seien. Im Sinne eines Entgegenkommens erklären sie sich mit einem räumlich begrenzten Rastplatz im Uferbereich der besagten Parzelle einverstanden. Sie berufen sich auf den See- und Flussuferrichtplan, der an der fraglichen Stelle nur einen Rastplatz vorsehe. Das Umzonen in eine Freifläche erachten sie als willkürliche Richtplanabweichung, die sich nur mit der Planung des Bootshafens erklären lasse. Sie werfen dem Verwaltungsgericht vor, die beanstandete Planabweichung mit einer unhaltbaren Auslegung der Begriffe "Rastplatz" und "Freifläche für Erholung und Sport" geschützt zu haben.
c) Nach Art. 3 Abs. 1 lit. c SFG und Art. 13 Abs. 1 UeV sind Freiflächen öffentlich zugänglich und dienen Erholung, Sport und Spiel. Der See- und Flussuferrichtplan sieht im Bereich der Parzelle Nr. 1371 unbestrittenermassen keine eigentliche Freifläche, sondern lediglich einen Rastplatz vor. Dies ergibt sich aus dem Kartenbild selbst (Vermerk "R" anstatt "FF") sowie dem entsprechenden Objektblatt. Das Verwaltungsgericht geht davon aus, dass es sich bei den Rastplätzen um eine Unterkategorie der Freiflächen nach Art. 3 Abs. 1 lit. c SFG handle. Im Sinne einer Eventualbegründung hält es für den Fall einer anzunehmenden Richtplanabweichung fest, diese sei nach der Praxis zulässig, da sie jedenfalls sachlich gerechtfertigt und von untergeordneter Bedeutung sei.
Der kantonalen See- und Flussuferrichtplanung liegt die "Richtlinie SFG" des ehemaligen Raumplanungsamts des Kantons Bern vom November 1986 über "Planung, Bau und Ausstattung der Freiflächen und Rastplätze nach SFG" zu Grunde.
Diese unterscheidet unter dem Titel "Anlagetypen" zwischen "Freihalteflächen", "Rastplätzen", "Liege- und Badewiesen" und "Uferparks" und umschreibt deren jeweilige Bedeutung.
Die Schaffung solcher Unterkategorien einer Freifläche erscheint unter dem Gesichtswinkel der gesetzlichen Grundlage unbedenklich, da sie sich weniger einschneidend auf die betroffenen Grundeigentümer auswirken als die in Art. 3 Abs. 1 lit. c SFG vorgesehenen (eigentlichen) Freiflächen. Rastplätze sind demnach für den kurzfristigen Gebrauch vorgesehen; sie sollen mit einfachen, räumlich begrenzten Einrichtungen ausgestattet werden (Ziff. 3.2. der Richtlinie). Die im Nutzungsplan vorgenommene Überlagerung des Grundstücks Nr. 1371 mit einer Freifläche für Erholung, Sport und Spiel (Art. 13 Abs. 1 UeV) ist daher als Abweichung vom See- und Flussuferrichtplan zu betrachten. Ob es sich dabei um eine zulässige Abweichung handelt (vgl. zu den entsprechenden Voraussetzungen: BGE <ref-ruling> E. 4a S. 368; Urteil des Bundesgerichts vom 1. März 1999 i.S. I. und Mitb. , E. 5e, publ. in BVR 1999, S. 308), kann hier offen bleiben, da sich die umstrittene Zonierung ohnehin als unverhältnismässig erweist, wie nachstehend darzulegen ist.
d) Die beiden Ufergrundstücke Nrn. 4343 und 1371 der Beschwerdeführer 2 grenzen im Norden an die Staatsstrasse und im Süden an den Thunersee an. Nach der kommunalen Bau- und Zonenordnung von 1976 waren sie der Bauzone zugewiesen.
Die Möglichkeit eines Ausbaus oder einer Umgestaltung des auf Parz. Nr. 4343 liegenden Wohnhauses ist durch die mit der Uferschutzplanung vorgenommene Zuteilung zur Erhaltungszone A erheblich eingeschränkt worden. In dieser Zone sind nach Art. 6 UeV bei Neu-, Um- und Erweiterungsbauten mindestens 70% der für das Wohnen genutzten Bruttogeschossfläche als Erstwohnungsanteil auszuweisen; ausserdem dürfen Neu-, Neben- und Anbauten lediglich auf der dem See abgewandten Seite erstellt werden (Art. 7 Abs. 3 UeV). Eine weitere Eigentumsbeschränkung ergibt sich für die Beschwerdeführer 2 aus dem geplanten Seeuferweg, auch wenn er von ihrem Wohnhaus noch rund 5-20 m entfernt ist. Soll ihnen ausserdem die Parzelle Nr. 1371 der (alleinigen) Nutzung entzogen werden, wiegt dieser Eingriff - zusammen mit den übrigen Planungsmassnahmen - schwer. Bereits das Einrichten eines Rastplatzes im südlichen Bereich des Grundstücks wäre für die Beschwerdeführer 2 mit einer deutlich spürbaren Störung ihrer Privatsphäre verbunden. Für den Miteinbezug des nördlichen, vom Wohnhaus nur ca. 4 m entfernt liegenden Teils der Parzelle als Freifläche bedarf es daher eines besonders gewichtigen öffentlichen Interesses.
Die Justiz-, Gemeinde- und Kirchendirektion begründet dieses Interesse in ihrem Entscheid (E. 9c S. 15) nahezu ausschliesslich mit der geplanten Benützung der Bucht als Bootshafen, welche eine Aufwertung des Rastplatzes zu einer "Bade- und Liegewiese" rechtfertige; die darauf zu erstellenden Infrastrukturen sollen auch den Hafenbenützern zugute kommen. Das Verwaltungsgericht führt dazu unter Hinweis auf Art. 77 BauG aus, die Gemeinden seien in allgemeiner Weise zur Ausscheidung von Zonen für öffentliche Nutzungen befugt (angefochtenes Urteil, E. 7c S. 23). Nach der kommunalen Planung selbst ist das Grundstück Nr. 1371 ausdrücklich als Freifläche nach SFG ausgeschieden (Art. 13 Abs. 1 UeV). Das öffentliche Interesse muss sich mithin aus der diesem Erlass selbst zugrunde liegenden Zielsetzung ergeben. Diese besteht nach Art. 1 SFG im Schutz der Uferlandschaft und der öffentlichen Zugänglichkeit des Ufers, nicht jedoch in der Erleichterung eines Bootshafenbetriebs. Die vorliegende Situation ist daher nicht vergleichbar mit dem Sachverhalt, den das Verwaltungsgericht des Kantons Bern in der Sache W. gegen Einwohnergemeinde Twann zu beurteilen hatte (Urteil vom 22. Mai 1997, publ. in BVR 1998 S. 250 ff.). Nach dem Uferschutzplan ist die Begehbarkeit des Uferbereichs Herzogenacker mit dem seeseitigen, teils über die Mole, teils über die Grundstücke der Beschwerdeführer 2 führenden Uferweg gewährleistet.
Zum Schutz der Uferlandschaft und des bestehenden Ortsbilds wurden die in der Bucht liegenden bebauten Grundstücksteile der Erhaltungszone A zugewiesen. Was die konkrete Nutzung des Grundstücks Nr. 1371 betrifft, geht das Verwaltungsgericht gestützt auf die vom Gemeinderatspräsidenten am Augenschein abgegebene Zusicherung davon aus, die Uferparzelle werde lediglich als "Minipark" ausgestaltet und solle vorwiegend Erholungszwecken dienen (angefochtenes Urteil, E. 7d S. 24). Diese Annahme steht in einem gewissen Gegensatz zu dem im Nutzungsplan festgelegten Zweck, der auch Sportanlagen ermöglichen würde.
Das Verwaltungsgericht begründet nicht näher, weshalb die ganze Parzelle Nr. 1371 als Freifläche benötigt wird. Vom Plan her wäre denkbar, nur die südliche Hälfte der Parzelle als Freifläche auszuscheiden, entsprechend der Grenzziehung zwischen Uferschutzzone A und Erhaltungszone A.
In diesem Fall wären die Nachteile für die Beschwerdeführer 2 erheblich geringer: Ihnen würde zumindest im nördlichen Teil, wo das Wohnhaus nur rund 4 m von der Parzellengrenze entfernt liegt, ein Garten verbleiben, und sie wären von Immissionen etwas abgeschirmt. Da es sich um eine Freifläche nach SFG handelt, die in erster Linie über den Uferweg erreichbar sein soll, erscheint es auch nicht erforderlich, sie von der nördlich gelegenen Strasse her zugänglich zu machen. Anders würde es sich verhalten, wenn auf dem Grundstück, wie die Beschwerdeführer 2 vermuten, auch Infrastrukturanlagen für den geplanten Bootshafen erstellt werden sollen, die eine Erschliessung für Boote auch von der Strassenseite her erfordern würden. Im verwaltungsgerichtlichen Verfahren hat die Gemeinde allerdings in Abrede gestellt, dass hier eine Einwasserungsstelle oder ein Trockenplatz für die Lagerung von Booten geplant sei; dafür sei bereits Freifläche 36 vorgesehen (vgl. Urteil des Verwaltungsgerichts, S. 24). Die Inanspruchnahme des Grundstücks Nr. 1371 zu diesen Zwecken fällt somit ausser Betracht. Es erscheint im Übrigen fraglich, ob ein derartiger Zweck durch die Richtplanfestsetzung überhaupt gedeckt wäre.
e) Welchem konkreten Verwendungszweck das Grundstück zugeführt werden soll, erscheint aufgrund der Nutzungsplanung sowie den Ausführungen im angefochtenen Entscheid insgesamt unklar. Wenn die Gemeinde mit Rücksicht auf die Belastung, welche die Eingriffe gesamthaft für die Beschwerdeführer 2 darstellen, ohnehin eine Einschränkung der Nutzungsmöglichkeiten in Betracht zieht, so ist nicht einzusehen, weshalb das Einrichten eines Rastplatzes auf dem vorderen Teil der Wiese dem öffentlichen Interesse an einem Erleben der Seelandschaft nicht ausreichend Rechnung tragen soll.
Demnach ist die Beschwerde in diesem Punkt gutzuheissen.
Es erübrigt sich, auf die anderen Rügen einzugehen, die in diesem Zusammenhang erhoben wurden.
9.- Zusammenfassend ist festzuhalten, dass sich die gegen die Planung der Hafenmole gerichteten Beschwerden als unbegründet erweisen, soweit darauf eingetreten werden kann.
Gutzuheissen ist demgegenüber die staatsrechtliche Beschwerde der Beschwerdeführer 2, soweit sie sich gegen die Umzonung ihres Grundstücks Nr. 1371 in eine öffentliche Freifläche richtet. Bei diesem Ausgang des bundesgerichtlichen Verfahrens sind die Kosten den Beschwerdeführern anteilsmässig aufzuerlegen (Art. 156 Abs. 1 und 7 OG). Die Gemeinde Sigriswil hat sich an den vorliegenden Verfahren nicht beteiligt.
Als Urheberin der aufgehobenen Planfestsetzung ist sie gleichwohl als unterliegende Gegenpartei zu betrachten.
Ihr obliegt somit, die Beschwerdeführer 2 im Umfang deren Obsiegens angemessen zu entschädigen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Beschwerdeverfahren werden vereinigt.
2.- Die Verwaltungsgerichtsbeschwerden werden abgewiesen.
3.- Soweit auf die staatsrechtliche Beschwerde der Erben von F._ eingetreten wird, wird diese gutgeheissen.
Der Entscheid des Verwaltungsgerichts des Kantons Bern vom 10. August 2000 wird aufgehoben, soweit
a) in Ziffer 1 des Dispositivs die Zonierung des Grundstücks Nr. 1371 bestätigt worden ist und
b) in Ziffer 2 des Dispositivs Verfahrenskosten zulasten der Erben von F._ und der Einwohnergemeinde Sigriswil verlegt worden sind.
4.- Auf die staatsrechtliche Beschwerde von A.C._ und B.C._, D._ und E._ wird nicht eingetreten.
5.- Die Gerichtsgebühr von Fr. 6'000.-- für die Verfahren 1P.562/2000 und 1A.244/2000 wird A.C._ und B.C._, D._ und E._ auferlegt.
6.- Die reduzierte Gerichtsgebühr von Fr. 3'000.-- für die Verfahren 1P.576/2000 und 1A.250/2000 wird den Erben von F._ auferlegt.
7.- Die Einwohnergemeinde Sigriswil hat den Erben von F._ für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
8.- Dieses Urteil wird den Beschwerdeführern, der Einwohnergemeinde Sigriswil, der Justiz-, Gemeinde- und Kirchendirektion, dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung sowie dem Bundesamt für Raumentwicklung und dem Bundesamt für Umwelt, Wald und Landschaft schriftlich mitgeteilt.
_
Lausanne, 8. November 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: