Art. 6 Ziff. 1 EMRK - Gestaltungsplan "Becki Ost", hat sich ergeben:
A.- Am 22. Juni 1998 erliess der Gemeinderat Wollerau einen Gestaltungsplan "Becki Ost" mit Sonderbauvorschriften für die im Eigentum von Josef Kälin-Portmann stehenden Grundstücke KTN 1393 und 1076 in Wollerau. Zugleich wies er eine Einsprache von Heinz und Amanda Schmid ab. Eine dagegen erhobene Verwaltungsbeschwerde wurde vom Regierungsrat des Kantons Schwyz im Sinne der Erwägungen gutgeheissen. Der Regierungsrat hob den angefochtenen Beschluss auf und wies die Sache zur Reduktion des Gestaltungsplanperimeters und zur Vornahme zusätzlicher Abklärungen an den Gemeinderat zurück.
Eine dagegen von Heinz und Amanda Schmid erhobene Verwaltungsgerichtsbeschwerde wurde vom Verwaltungsgericht des Kantons Schwyz gutgeheissen; das Gericht entschied, dass der Gemeindeschreiber von Wollerau bei der Behandlung des Gestaltungsplanes "Becki Ost" in den Ausstand zu treten habe.
B.- Am 8. November 1999 genehmigte der Gemeinderat Wollerau den geänderten Gestaltungsplan "Becki Ost" und wies zugleich eine Einsprache von Heinz und Amanda Schmid ab. Der Gemeindeschreiber von Wollerau befand sich bei den Beratungen im Ausstand, unterzeichnete aber dennoch den Beschluss des Gemeinderates.
C.- Heinz und Amanda Schmid erhoben am 6. Dezember 1999 Beschwerde an den Regierungsrat des Kantons Schwyz mit dem Antrag, den Beschluss des Gemeinderats Wollerau aufzuheben und den Gestaltungsplan nicht zu erlassen. Der Regierungsrat überwies die Beschwerde an das Verwaltungsgericht des Kantons Schwyz. Dieses wies das Rechtsmittel mit Entscheid vom 14. April 2000 ab. Es erwog, die Unterzeichnung des angefochtenen Beschlusses durch den im Ausstand befindlichen Gemeindeschreiber sei zwar ein Mangel, der jedoch im konkreten Fall nicht schwer wiege. Materiell stehe der angefochtene Gestaltungsplan im Einklang mit dem massgebenden Bau- und Planungsrecht.
D.- Heinz und Amanda Schmid erheben staatsrechtliche Beschwerde mit dem Antrag, den Entscheid des Verwaltungsgerichts vom 14. April 2000 aufzuheben.
E.- Josef Kälin-Portmann beantragt, auf die staatsrechtliche Beschwerde nicht einzutreten. Sofern auf die Beschwerde eingetreten werde, sei sie abzuweisen. Die Gemeinde Wollerau sowie das Verwaltungsgericht schliessen auf Abweisung der Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.- a) Die staatsrechtliche Beschwerde ist zulässig gegen letztinstanzliche kantonale Endentscheide, gegen die kein anderes bundesrechtliches Rechtsmittel gegeben ist (Art. 84 Abs. 2, Art. 86 Abs. 1 und Art. 87 OG). Beim umstrittenen Gestaltungsplan handelt es sich um einen Nutzungsplan im Sinne von Art. 14 ff. des Raumplanungsgesetzes des Bundes vom 22. Juni 1979 (RPG; SR 700). Kantonal letztinstanzliche Entscheide über solche Pläne unterliegen grundsätzlich der staatsrechtlichen Beschwerde (Art. 34 Abs. 3 RPG). Sind allerdings im Nutzungsplan enthaltene, auf Bundesverwaltungsrecht abgestützte Anordnungen umstritten oder wird das Fehlen solcher Anordnungen bemängelt, so ist die Verwaltungsgerichtsbeschwerde zulässig, soweit der Nutzungsplan die Merkmale einer Verfügung im Sinne von <ref-law> erfüllt und kein Ausschlussgrund gemäss Art. 99 ff. OG gegeben ist (<ref-ruling> E. 1a S. 91, 231 E. 2 S. 233 f., 289 E. 1b S. 291, je mit Hinweisen).
Der im vorliegenden Verfahren beanstandete Gestaltungsplan hat Verfügungscharakter. Indessen rügen die Beschwerdeführer ausschliesslich eine Verletzung verfassungsmässiger Rechte, und es ist nicht ersichtlich, dass Bundesverwaltungsrecht nicht oder nicht richtig angewendet worden wäre. Die Verwaltungsgerichtsbeschwerde ist daher unzulässig und somit grundsätzlich die staatsrechtliche Beschwerde gegeben.
b) Die Beschwerdeführer sind unmittelbare Nachbarn des streitbetroffenen Grundstücks und als solche zur staatsrechtlichen Beschwerde legitimiert, soweit sie geltend machen, die umstrittene Planfestsetzung verletze sie in verfassungsmässigen Rechten, weil dadurch Normen, die auch dem Schutz der Nachbarn dienten, nicht mehr oder in geänderter Form gelten würden (Art. 88 OG; <ref-ruling> E. 1c S. 442 f.; <ref-ruling> E. 1b S. 364 f.; <ref-ruling> E. 3, je mit Hinweisen). Ferner sind sie befugt, Verletzungen verfassungsmässiger Verfahrensrechte zu rügen, namentlich eine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>).
c) Nutzungspläne werden nach Art. 26 Abs. 3 RPG erst mit der Genehmigung durch die kantonale Behörde verbindlich.
Diese Genehmigung, für welche im Kanton Schwyz der Regierungsrat zuständig ist (§ 28 und § 30 Abs. 5 des kantonalen Planungs- und Baugesetzes vom 14. Mai 1987, PBG), wurde im vorliegenden Fall noch nicht erteilt. Rechtsmittelentscheide über Nutzungspläne, die vor dem Genehmigungsentscheid ergehen, sind nach der Rechtsprechung des Bundesgerichts noch keine letztinstanzlichen Endentscheide und grundsätzlich nicht mit staatsrechtlicher Beschwerde anfechtbar.
Entsprechende Beschwerden sind deshalb zu sistieren oder es ist darauf nicht einzutreten. Indessen kann auf die staatsrechtliche Beschwerde dennoch eingetreten werden, wenn der positive Genehmigungsentscheid im Wesentlichen bereits vorliegt oder zu erwarten ist (<ref-ruling> E. 2a S. 22; <ref-ruling> E. 2a S. 168, je mit Hinweisen). Dies ist vorliegend der Fall: Der Regierungsrat hat den Gestaltungsplan in einer ersten Variante bereits beurteilt und nicht grundsätzlich abgelehnt. Im zweiten Durchgang hat er von der fakultativen Möglichkeit der Sprungbeschwerde (§ 52 der Verordnung vom 6. Juni 1974 über die Verwaltungsrechtspflege, VRP) Gebrauch gemacht und die Sache dem Verwaltungsgericht überwiesen. Zudem betrifft der streitige Plan eine konkrete Überbauung aufgrund eines Gestaltungsplans. Die Beurteilung durch das Verwaltungsgericht, dem im Übrigen die gleiche Überprüfungsbefugnis zustand wie dem Regierungsrat beim Genehmigungsentscheid (§ 55 VRP und § 28 Abs. 2 PBG), bedeutet praktisch die kantonal abschliessende Beurteilung der Zulässigkeit dieses Projekts. Hinzu kommt, dass die Beschwerdeführer in erster Linie die Verletzung von verfassungsmässigen Verfahrensrechten durch das Verwaltungsgericht rügen.
Würde der Genehmigungsentscheid abgewartet und anschliessend allenfalls das verwaltungsgerichtliche Urteil aufgehoben, so ergäbe sich eine erneute, prozessökonomisch sinnlose Verfahrensverzögerung.
Es ist unter diesen Umständen gerechtfertigt, auf die staatsrechtliche Beschwerde, deren weitere formelle Voraussetzungen erfüllt sind, einzutreten.
2.- Die Beschwerdeführer rügen eine Verletzung von Art. 6 Ziff. 1 EMRK (SR 0.101). Das Verwaltungsgericht habe keine öffentliche Verhandlung durchgeführt, obwohl sie auf die aus Art. 6 Ziff. 1 EMRK fliessenden Verfahrensrechte ausdrücklich nicht verzichtet hätten.
a) Nach Art. 6 Ziff. 1 EMRK besteht in Verfahren über zivilrechtliche Streitigkeiten ein Anspruch auf öffentliche Verhandlung, sofern die Parteien nicht ausdrücklich oder stillschweigend darauf verzichten (<ref-ruling> E. 4f S. 426; <ref-ruling> E. 2b/c S. 89; <ref-ruling> E. 5f S. 37 f., und E. 6a S. 40 f.). Ein Entscheid über zivilrechtliche Ansprüche im Sinne von Art. 6 Ziff. 1 EMRK liegt unter anderem vor, wenn eine bau- oder planungsrechtliche Massnahme direkte Auswirkungen auf die Ausübung der Eigentumsrechte der Grundeigentümer hat (<ref-ruling> E. 3e S. 300; <ref-ruling> E. 5c S. 34 f.).
b) Die Beschwerdeführer machen als Nachbarn des Gestaltungsplangebiets geltend, die Terrassenbauweise sowie die Erhöhung der Ausnützungsziffer und der Gebäudelängen hätten zur Folge, dass z.B. der Lichteinfall auf ihr Grundstück beeinträchtigt werde. Zudem würden die nachbarlichen Immissionen (Lärm und Geruch) durch das verdichtete Bauen erheblich steigen. Insbesondere kritisieren die Beschwerdeführer, dass die Einfahrt in die geplante zentrale Tiefgarage direkt auf Höhe ihres Wohnzimmers liegen soll, obwohl eine andere, weniger störende Anordnung der Einfahrt problemlos möglich wäre.
c) Nach der Strassburger Rechtsprechung ist Art. 6 EMRK bei Drittinterventionen gegen die Erteilung einer Bau- oder sonstigen behördlichen Genehmigung anwendbar, soweit auf das Eigentum gegründete Abwehrrechte geltend gemacht werden (Frowein/Peukert, EMRK-Kommentar, 2. Aufl. 1996, S. 187). Nicht anwendbar ist Art. 6 EMRK, wenn lediglich die Einhaltung öffentlich-rechtlicher Bestimmungen verfolgt wird (Frowein/Peukert, a.a.O., S. 191). Im Urteil Ortenberg c.
Österreich vom 25. November 1994, in welchem ebenfalls eine Nachbarbeschwerde gegen eine Terrassenhausüberbauung zur Diskussion stand, führte der Strassburger Gerichtshof aus, die Beschwerdeführerin stütze sich zwar auf öffentliches Recht; indem sie dies tue, wünsche sie trotzdem, die Verletzung ihrer Vermögensrechte zu verhindern, weil sie befürchte, dass die Arbeiten auf der benachbarten Liegenschaft die Achtung ihres Eigentums gefährdeten und dessen Marktwert verringerten. Ziehe man den engen Bezug zwischen dem von Frau Ortenberg angestrengten Verfahren und den Auswirkungen des Ausgangs dieses Verfahrens für ihre Besitzrechte in Betracht, dann sei das in Rede stehende Recht ein "ziviles".
Art. 6 Ziff. 1 EMRK fand demgemäss Anwendung (Ziff. 28 des genannten Urteils, Serie A Nr. 295-B). Entscheidend war dabei, dass das anwendbare österreichische Recht dem Nachbarn die Möglichkeit gab, im Baubewilligungsverfahren die Verletzung subjektiver Rechte geltend zu machen. Hingegen führt noch nicht jede rein faktische oder erst potenzielle Beeinträchtigung in der Ausübung von Rechten zur Anwendbarkeit von Art. 6 EMRK (<ref-ruling> E. 4a S. 13). So erachtete der Strassburger Gerichtshof am 26. August 1997 in seinem Urteil i.S. Balmer-Schafroth etc. c. Schweiz Art. 6 EMRK als nicht anwendbar, da die Gefahr der Beeinträchtigung der Rechte der Beschwerdeführer durch das Kernkraftwerk Mühleberg nicht sehr wahrscheinlich war und damit der erforderliche nahe Bezug der befürchteten gesundheitlichen Beeinträchtigung zu den Betriebsbedingungen des Kraftwerks fehlte (VPB 61/1997 Nr. 103 Ziff. 40).
Nach der Rechtsprechung des Bundesgerichts zu Art. 88 OG ist ein Nachbar zur staatsrechtlichen Beschwerde legitimiert, wenn er die Verletzung von Normen geltend macht, die auch seinem Schutz dienen, weil er insoweit in seinen eigenen Nutzungsbefugnissen beschränkt wird (BGE <ref-ruling> E. 1b S. 364 f.). Diese Normen umschreiben - nebst anderen - den Umfang der Nutzungsrechte des Nachbarn. Soweit solche Normen verletzt werden, ist der Nachbar in seinen "civil rights" im Sinne von Art. 6 Ziff. 1 EMRK berührt und kann sich auf diese Bestimmung berufen.
d) Vorliegend steht ein Gestaltungsplan zur Diskussion, der die künftige Bebauung des Nachbargrundstücks der Beschwerdeführer detailliert festlegt (Gebäudevolumen, Bauabstände, zentrale Parkierungsanlage, Lage der Einfahrt etc.). Die Beschwerdeführer verlangen nicht lediglich die Einhaltung rein öffentlich-rechtlicher Bestimmungen auf dem Baugrundstück, sondern berufen sich zumindest teilweise auf Normen, die auch ihrem Schutz dienen (Baudichte, Bauabstände, Immissionen). Das Bundesgericht hat in ständiger Rechtsprechung anerkannt, dass Bestimmungen über den Immissionsschutz, die Ausnützungsziffern und die zulässigen Baumasse und -abstände auch dem Schutz der Nachbarn dienen. Die damit geschützten rechtlichen Interessen der Nachbarn bilden auch die Grundlage für deren Legitimation zur staatsrechtlichen Beschwerde gegen Baubewilligungen und Planerlasse (Art. 88 OG; <ref-ruling> E. 1c S. 443; <ref-ruling> E. 1b S. 364 f.; <ref-ruling> E. 2a S. 116; <ref-ruling> E. 1e S. 461 f.; s. auch Kasuistik bei Walter Kälin, Das Verfahren der staatsrechtlichen Beschwerde, 2. Aufl. , Bern 1994, S. 249 f.; Pierre Moor, RPG-Kommentar, Art. 14 Rz. 18).
Die Liegenschaft der Beschwerdeführer grenzt unmittelbar an den Perimeter des umstrittenen Gestaltungsplans.
Die darin vorgesehene Überbauung ist geeignet, direkte Auswirkungen auf die Vermögens- und Eigentumsrechte der Beschwerdeführer zu entfalten, da der Gestaltungsplan in Bezug auf nachbarschützende Bestimmungen verschiedene Abweichungen von der für dieses Gebiet bisher geltenden Normalbauweise und damit eine intensivere Nutzung des Plangebiets zulässt.
Die Beschwerdeführer können den Inhalt des Gestaltungsplans nach dessen rechtskräftiger Genehmigung grundsätzlich nicht mehr in Frage stellen. Der Rechtsschutz gegen den Gestaltungsplan wird auch gegenüber den Nachbarn im Zeitpunkt des Planerlasses und nicht bei seiner Anwendung gewährt (Art. 33 RPG; § 30 Abs. 3 PBG; vgl. <ref-ruling> E. 2c S. 232 mit Hinweisen; Thierry Tanquerel, RPG-Kommentar, Art. 21 Rz. 26; Heinz Aemisegger/Stephan Haag, RPG-Kommentar, Art. 33 Rz. 63 ff.). Es liegt somit eine Streitigkeit über zivilrechtliche Ansprüche im Sinne der Strassburger Rechtsprechung zu Art. 6 Ziff. 1 EMRK vor (Urteil Ortenberg c.
Österreich vom 25. November 1994, Ziff. 28, Serie A Nr. 295-B; s. auch Ruth Herzog, Art. 6 EMRK und kantonale Verwaltungsrechtspflege, Diss. Bern 1995, S. 150 f. und S. 46).
e) Die Bestimmung von Art. 6 Ziff. 1 EMRK räumt jedermann einen Anspruch darauf ein, dass seine zivil- oder strafrechtliche Angelegenheit von einem Gericht öffentlich gehört werde. Dieser Öffentlichkeitsgrundsatz stellt ein fundamentales Prinzip dar, bedeutet eine Absage an jegliche Form der Kabinettsjustiz und soll dem Betroffenen wie der Allgemeinheit ermöglichen, Prozesse unmittelbar zu verfolgen und Kenntnis davon zu erhalten, wie das Recht verwaltet und die Rechtspflege ausgeführt wird (vgl. <ref-ruling> S. 104; <ref-ruling> S. 51, mit Hinweisen).
aa) Die Rechtsprechung des Bundesgerichts und der Strassburger Organe anerkennt, dass auf die Durchführung einer öffentlichen Verhandlung verzichtet werden kann. Der Verzicht muss - ausdrücklich oder stillschweigend erfolgt - eindeutig und unmissverständlich sein. Ein Verzicht wird insbesondere angenommen, wenn kein Antrag auf Durchführung einer öffentlichen Verhandlung gestellt wird, obwohl das Gericht in der Regel nicht öffentlich verhandelt (vgl.
BGE <ref-ruling> E. 2d S. 52 mit zahlreichen Hinweisen).
bb) Die Beschwerdeführer haben im kantonalen Verfahren ausdrücklich erklärt, dass sie nicht auf die aus Art. 6 Ziff. 1 EMRK fliessenden Verfahrensrechte verzichteten.
Das Verwaltungsgericht führt im bundesgerichtlichen Verfahren aus, die Äusserung der Beschwerdeführer habe keinen konkreten Antrag auf Durchführung einer mündlichen öffentlichen Verhandlung enthalten, weshalb eine solche habe unterbleiben dürfen, zumal die kantonale Verordnung über die Rechtspflege (VRP) keine mündliche Verhandlung vorschreibe.
Dieser Sichtweise des Verwaltungsgerichts kann nicht gefolgt werden. Auch wenn die Äusserung der Beschwerdeführer keinen konkreten Antrag auf öffentliche Anhörung enthielt, kann daraus jedenfalls nicht geschlossen werden, auf die Durchführung einer öffentlichen Anhörung sei eindeutig und unmissverständlich im Sinne der bundesgerichtlichen Rechtsprechung verzichtet worden. Das Verwaltungsgericht hätte bei Zweifeln über den Antrag nachfragen können und müssen, ob die Beschwerdeführer eine öffentliche Verhandlung wünschten. Unter den gegebenen Umständen lässt sich das Absehen von einer öffentlichen Verhandlung mit der Garantie von Art. 6 Ziff. 1 EMRK nicht vereinbaren. Die Beschwerde erweist sich daher als begründet. Sie ist gutzuheissen und der angefochtene Entscheid aufzuheben (vgl.
BGE <ref-ruling> E. 5j S. 40).
3.- Bei diesem Ausgang des bundesgerichtlichen Verfahrens erübrigt sich grundsätzlich eine Auseinandersetzung mit den weiteren Rügen der Beschwerdeführer. Es erscheint jedoch aus prozessökonomischen Gründen gerechtfertigt, die Frage der Unterzeichnung der umstrittenen Verfügung durch den Gemeindeschreiber zu klären.
a) Die Beschwerdeführer rügen einen Verstoss gegen <ref-law>, da der Gemeindeschreiber den Gestaltungsplanbeschluss trotz seiner Ausstandspflicht unterzeichnet habe. Dieser Mangel führe zur Nichtigkeit des Entscheides.
b) Nach Lehre und Rechtsprechung ist die Unterschrift nicht von Bundesrechts wegen Gültigkeitserfordernis für eine Verfügung, solange das anwendbare Recht nicht ausdrücklich eine Unterschrift verlangt (<ref-ruling> E. 1; <ref-ruling> E. 4 S. 251 ff.). Das Fehlen einer vorgeschriebenen Unterschrift führt zudem in der Regel nicht zur Nichtigkeit, sondern höchstens zur Anfechtbarkeit der Verfügung (Alfred Kölz/Isabelle Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2. Aufl. , Zürich 1998, S. 131 Rz. 365; René A. Rhinow/Beat Krähenmann, Schweizerische Verwaltungsrechtsprechung, Ergänzungsband, Basel/Frankfurt 1990, S. 104, 283). Dies gilt zumindest dann, wenn sie anstatt von zwei nur von einer Person unterzeichnet wurde (Rhinow/Krähenmann, a.a.O., S. 120 f.).
c) Vorliegend wurde der Gestaltungsplan durch den Gemeindepräsidenten sowie durch den Gemeindeschreiber, der sich im Ausstand befand, unterzeichnet. Das Verwaltungsgericht erwog, die Unterzeichnung eines Beschlusses durch den Gemeindeschreiber, der daran nicht mitgewirkt habe, stelle einen Eröffnungsmangel dar. Dieser Mangel wiege jedoch nicht schwer, zumal mindestens eine ordnungsgemässe Unterschrift, nämlich diejenige des Gemeindepräsidenten, vorhanden sei.
Zudem handle es sich um einen blossen Eröffnungsfehler, aus welchem den Beschwerdeführern kein Nachteil erwachsen sei.
Diese Erwägungen verstossen nach dem oben Dargelegten jedenfalls nicht gegen bundesrechtliche Grundsätze. Die Beschwerdeführer machen auch nicht geltend, dass und inwiefern darin eine willkürliche Anwendung oder Auslegung des massgebenden kantonalen Rechts liegen soll. Dass nach § 31 Abs. 1 lit. h VRP Verfügungen und Entscheide die Unterschrift enthalten müssen, bedeutet nicht zwingend, dass das Fehlen der Unterschrift die Nichtigkeit der Verfügung zur Folge hat. Der Mangel kann auch nicht als schwer betrachtet werden, haben ihn doch die Beschwerdeführer in ihrer Beschwerde an den Regierungsrat nicht einmal erwähnt. Zudem ist nicht ersichtlich, inwiefern die Beschwerdeführer durch den Mangel einen Nachteil erlitten haben sollen.
4.- Zusammenfassend ergibt sich, dass der angefochtene Entscheid des Verwaltungsgerichts in Gutheissung der Beschwerde aufzuheben ist. Angesichts des Umstands, dass das Urteil des Verwaltungsgerichts aus rein formellen Gründen aufgehoben wird, rechtfertigt es sich, keine Kosten zu erheben (Art. 154 OG) und die Pflicht zur Entrichtung einer Parteientschädigung an die Beschwerdeführer dem Kanton Schwyz aufzuerlegen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird gutgeheissen und der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 14. April 2000 aufgehoben.
2.- Es werden keine Gerichtskosten erhoben.
3.- Der Kanton Schwyz hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau sowie dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
_
Lausanne, 12. Dezember 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: