Sachverhalt:
A.
A.a. Am 13. Juli 2012 reichten C. und D. E._ sowie die B._ AG bei der Gemeinde Wollerau ein Gesuch für den Bau von drei Einfamilienhäusern (Einfamilienhäuser Ost, Mitte und West) auf den Grundstücken KTN 2392 und KTN 1663 mit vier Abstellplätzen und einer Tiefgarage an der Riedstrasse "..." ein. Ein weiteres Baugesuch erstreckte sich auf den Rückbau der bestehenden Parkplätze auf der Parzelle KTN 234 und die Verbreiterung der Riedstrasse im Anstossbereich des Grundstücks KTN 2392. Gegen die beiden Bauvorhaben erhoben A._ und F._ je separat Einsprache. Das Verfahren endete vor dem Bundesgericht. Nachdem bereits der Regierungsrat des Kantons Schwyz die Bewilligung für das Einfamilienhaus Ost aufgehoben hatte, hob das Bundesgericht mit Urteil 1C_350/2014 vom 13. Oktober 2015 (teilweise publiziert in ZBl 117/2016 S. 267 und RDAF 2017 I S. 373) in Gutheissung einer Beschwerde von F._ auch die Bewilligung für die Einfamilienhäuser West und Mitte auf und wies das Baugesuch für die Erstellung dieser Häuser auf der Parzelle KTN 1663 in Wollerau ausdrücklich ab.
A.b. Am 22. Januar 2016 reichten C. und D. E._ sowie die B._ AG bei der Gemeinde Wollerau ein neues Gesuch für den Abbruch der Scheune auf der Liegenschaft KTN 2392 und den Neubau von drei Einfamilienhäusern auf den Parzellen KTN 2392 und KTN 1663 ein. A._ und F._ sowie die G._ AG erhoben dagegen je separat Einsprache. Mit Beschluss vom 14. November 2016 wies der Gemeinderat Wollerau die Einsprachen ab und erteilte die Baubewilligung unter Auflagen. Am 25. April 2017 hiess der Regierungsrat des Kantons Schwyz eine dagegen von A._ eingereichte Beschwerde im Sinne der Erwägungen teilweise gut, wies sie im Übrigen ab und ergänzte den Einspracheentscheid wie folgt:
"7.6 Die Bauherrschaft ist verpflichtet, vor Baubeginn mit den Grundeigentümern von KTN 2396 und KTN 2401 einen Dienstbarkeitsvertrag betreffend die ungleiche Verteilung der Grenzabstände abzuschliessen und im Grundbuch eintragen zu lassen. Vor der Baufreigabe ist dem Hochbauamt Wollerau eine Kopie des Grundbucheintrages einzureichen."
B.
Dagegen führte A._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz mit dem Hauptantrag, die Beschlüsse der unteren Instanzen aufzuheben bzw. die verlangte Baubewilligung zu verweigern. Mit Entscheid vom 3. Oktober 2017 wies das Verwaltungsgericht die Beschwerde ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragt A._, den Entscheid des Verwaltungsgerichts mitsamt der erteilten Baubewilligung aufzuheben. Zur Begründung macht sie geltend, es verletze Bundesrecht, Bauten in der Bauzone direkt auf der Grenze zur Landwirtschaftszone zu erstellen, wie dies im strittigen Bauvorhaben vorgesehen sei. In prozessualer Hinsicht ersuchte sie um Erteilung der aufschiebenden Wirkung.
C. und D. E._ sowie die B._ AG, der Gemeinderat Wollerau und das Amt für Raumentwicklung des Kantons Schwyz schliessen jeweils auf Abweisung der Beschwerde. Der Regierungsrat verzichtete auf eine Stellungnahme. Das Verwaltungsgericht hält an seiner im angefochtenen Entscheid verfolgten Auffassung fest, ohne Antrag zu stellen. Das Bundesamt für Raumentwicklung ARE führt, ebenfalls ohne ausdrückliches Rechtsbegehren, aus, die Ausnutzung der Bauzonen bis nahe an die Bauzonengrenzen sei aus Sicht des Bundesrechts grundsätzlich nicht zu beanstanden; es sei aber unerwünscht und problematisch, wenn die Wohnnutzung faktisch in die Landwirtschaftszone ausfranse, weshalb die Rechtmässigkeit des strittigen Bauvorhabens fraglich erscheine.
A._, C. und D. E._ sowie die B._ AG und der Gemeinderat Wollerau halten im zweiten Schriftenwechsel im Wesentlichen an ihren Standpunkten fest.
Mit einer weiteren Eingabe vom 18. September 2018 ersuchte A._ um Beizug zweier später ergangener Verwaltungsgerichtsentscheide, mit denen sie ihren Standpunkt zu unterlegen beabsichtigt.
D.
Mit Verfügung vom 11. Januar 2018 erteilte der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde die aufschiebende Wirkung.
E.
Die I. öffentlich-rechtliche Abteilung des Bundesgerichts hat am 31. Oktober 2018 in einer öffentlichen Beratung über die Beschwerde entschieden.
Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen kantonal letztinstanzlichen Endentscheid über eine Baubewilligung (Art. 86 Abs. 1 lit. d BGG). Dabei handelt es sich um eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG. Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht unter Einschluss des Bundesverfassungsrechts gerügt werden (Art. 95 lit. a BGG).
1.3. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die geltend gemachten Vorbringen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (BGE 142 I 135 E. 1.5 S. 144).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, d.h. willkürlich, ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Auch die unvollständige Feststellung des massgeblichen Sachverhalts ist offensichtlich unrichtig (vgl. BGE 135 II 369 E. 3.1 S. 373; 133 IV 293 E. 3.4.2 S. 295 f.).
1.5. Nach Art. 99 BGG dürfen neue Tatsachen und Beweismittel vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was bei nachträglich eingetretenen Ereignissen (sog. echte Noven) von vornherein ausgeschlossen ist. Der von der Beschwerdeführerin beantragte Beizug zweier nachträglich ergangener Verwaltungsgerichtsentscheide erweist sich daher als unzulässig.
2.
2.1. Gemäss Art. 89 Abs. 1 BGG ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (lit. c).
2.2. Verlangt ist neben der formellen Beschwer, dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein. Liegt diese besondere Beziehungsnähe vor, braucht das Anfechtungsinteresse nicht mit dem Interesse übereinzustimmen, das durch die vom Beschwerdeführer als verletzt bezeichneten Normen geschützt wird. Er kann daher die Überprüfung eines Bauvorhabens im Lichte all jener Rechtssätze verlangen, die sich rechtlich oder tatsächlich in dem Sinne auf seine Stellung auswirken, dass ihm im Falle des Obsiegens ein praktischer Nutzen entsteht (BGE 141 II 50 E. 2.1 mit Hinweisen).
2.3. Nach der bundesgerichtlichen Rechtsprechung sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen (Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen) betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben bzw. zur Anlage. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden, ohne vertiefte Aklärungen. Bei grösseren Entfernungen muss eine Beeinträchtigung aufgrund der konkreten Gegebenheiten glaubhaft gemacht werden. Das Bundesgericht prüft die Legitimationsvoraussetzungen in einer Gesamtwürdigung anhand der im konkreten Fall vorliegenden tatsächlichen Verhältnisse. Es stellt nicht schematisch auf einzelne Kriterien ab, wie beispielsweise die Distanz zum Vorhaben, die Sichtverbindung usw. (zum Ganzen: BGE 140 II 214 E. 2.3 S. 219 f. mit Hinweisen).
2.4. Das Grundstück der Beschwerdeführerin befindet sich, soweit ersichtlich, rund 100 m von den Baugrundstücken entfernt. Es liegt mithin nicht ausserhalb des Umkreises, innerhalb dessen das Bundesgericht die Beschwerdebefugnis von Nachbarn regelmässig ohne vertiefte Abklärungen bejaht. Überdies liegen das Grundstück der Beschwerdeführerin sowie die Bauliegenschaften an derselben Strasse und verfügen insoweit über den gleichen Zufahrtsweg. Die Beschwerdeführerin hatte daher keinen Anlass, in ihren Rechtsschriften die eigene Legitimation, die überdies von den kantonalen Instanzen nicht bezweifelt worden war, eingehender zu begründen und für das Bundesgericht besteht kein Grund, diese in Frage zu stellen. Die von den Beschwerdegegnern in diesem Zusammenhang erhobenen Zweifel ändern daran nichts, sind diese doch sehr allgemein formuliert und nicht näher begründet. Auf die Beschwerde ist somit einzutreten.
3.
3.1. Die Beschwerdeführerin macht einzig geltend, das strittige Projekt sehe vor, die drei Einfamilienhäuser direkt an die Zonengrenze zwischen Bau- und Landwirtschaftszone heran zu bauen. Das Bundesrecht verlange aber, dass zwischen einer Bauzone und der Landwirtschaftszone ein minimaler Grenzabstand einzuhalten sei. Gebe es keinen solchen, sei das Landwirtschaftsland nicht integral als solches nutzbar, weil eine - insbesondere maschinelle - Nutzung bis direkt an die Hausfassade ausgeschlossen sei. Überdies sei es für den Bau und den Unterhalt der Gebäude unerlässlich, das landwirtschaftliche Nachbargrundstück zu betreten. Erfahrungsgemäss komme es sodann zu Fremdnutzungen durch Spiel- oder Gartengeräte oder sogar das Aufstellen von Bade- oder Schwimmbecken. Die Nutzung der Landwirtschaftszone dürfe jedoch nicht solchermassen eingeschränkt werden. Weitere Rügen erhebt die Beschwerdeführerin ausdrücklich nicht.
3.2. Die Beschwerdegegner und die kantonalen Behörden vertreten demgegenüber den Standpunkt, das kantonale Recht kenne für diesen Fall keine Abstandsvorschriften, weshalb direkt an die Zonengrenze heran gebaut werden dürfe. Das Bundesrecht äussere sich nicht dazu, ob die Bauzone bis an die Grenze zur Landwirtschaftszone genützt werden dürfe. Ein entsprechendes Verbot, wie es die Beschwerdeführerin verlange, sei in der Praxis bisher unbekannt. Die Bedingung für die Baubewilligung, vor Baubeginn mit den Eigentümern der betroffenen landwirtschaftlichen Grundstücke durch Dienstbarkeitsvertrag zivilrechtlich ein Näherbaurecht festzulegen und dieses grundbuchlich abzusichern, genüge. Für eine öffentlich- bzw. namentlich raumplanungsrechtliche Beschränkung der Baufreiheit als Bestandteil der Eigentumsgarantie von Art. 26 BV gebe es keine gesetzliche Grundlage.
3.3. In tatsächlicher Hinsicht sind vorab zwei Klarstellungen erforderlich.
3.3.1. Erstens gilt es festzuhalten, dass die projektierten drei Einfamilienhäuser nach einer entsprechenden Abparzellierung des Grundstücks KTN 2401 integral nicht nur auf eine Zonen-, sondern auch auf eine Grundstücksgrenze - bzw. auf einer Linie auf zwei Parzellengrenzen - zu liegen kommen. Das heutige Bauvorhaben unterscheidet sich insoweit vom ersten Projekt von 2012, das vom Bundesgericht im Entscheid 1C_350/2014 vom 13. Oktober 2015 noch vor der Abparzellierung beurteilt worden war. Das Bauvorhaben beschlägt die der Bauzone zugehörigen Parzellen KTN 1663 und 2392, die wiederum jeweils an die Grundstücke KTN 2396 und 2401 angrenzen, welche in der Landwirtschaftszone liegen.
3.3.2. Zweitens stellte das Bundesamt für Raumentwicklung ARE in seiner Vernehmlassung an das Bundesgericht gestützt auf die Baugesuchsunterlagen neu fest, dass nicht nur die Nordfassade der geplanten Häuser genau an die Zonengrenze gestellt werden soll, sondern diese am oberen Ende der Fassade sogar überragt würde. Von einem solchen Überragen ging das Verwaltungsgericht nicht aus. Dieser Umstand ist ohne weiteres zu berücksichtigen, handelt es sich dabei doch nicht um eine neue Tatsache im Sinne von Art. 99 BGG (Novum), sondern um einen vorbestehenden, vor den Vorinstanzen unbeachtet gebliebenen Sachumstand; ausserdem wäre das Bundesamt, das erstmals am Verfahren teilnimmt, nach der bundesgerichtlichen Rechtsprechung auch befugt, (unechte) Noven geltend zu machen (Urteil 2C_50/2017 vom 22. August 2018 E. 3.2).
3.4. Im Folgenden ist demnach gestützt auf diese tatsächliche Ausgangslage zu prüfen, ob es mit Bundesrecht vereinbar ist, die projektierten Bauten direkt an die Zonengrenze zu stellen bzw. diese teilweise sogar zu überragen.
4.
4.1. Die Baufreiheit der Eigentumsgarantie nach Art. 26 BV schützt die Nutzung eines Grundstücks durch Überbauung (dazu PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 6. Aufl., 2016, S. 27 f.). Beschränkungen dieses Nutzungsrechts müssen als Grundrechtseingriffe die Voraussetzungen von Art. 36 BV erfüllen, d.h. auf einer ausreichenden gesetzlichen Grundlage beruhen, im öffentlichen Interesse liegen und verhältnismässig sein sowie die Kerngehaltsgarantie wahren. Während schwerwiegende Einschränkungen im formellen Gesetz selbst vorgesehen sein müssen (vgl. Art. 36 Abs. 1 zweiter Satz BV), genügt für leichte Eingriffe eine Grundlage im Verordnungsrecht. Ein schwerer Eingriff liegt nach der bundesgerichtlichen Rechtsprechung namentlich dann vor, wenn die bisherige oder künftig mögliche, bestimmungsgemässe Nutzung eines Grundstücks durch Verbote oder Gebote verunmöglicht oder stark erschwert wird (BGE 133 II 220 E. 2.5 mit Hinweisen).
4.2. Die Baufreiheit erlaubt die uneingeschränkte bauliche Nutzung eines Grundstücks und damit auch deren Überbauung bis zur Parzellengrenze. Die Verpflichtung, für Bauten einen minimalen Abstand von der Zonengrenze einzuhalten, stellt mithin einen Eingriff in die Eigentumsgarantie dar, der allerdings in der Regel die bestimmungsgemässe Nutzung der Liegenschaft nicht stark erschwert. Ist in diesem Sinne lediglich die geplante Baute innerhalb der Parzelle anders anzuordnen, handelt es sich nur um einen leichten Eingriff in die Eigentumsgarantie, für den eine Grundlage im Verordnungsrecht genügen würde. Anders kann es sich verhalten, wenn die Abstandsregelung die Benutzung des Grundstücks stärker einschränkt, etwa wenn dadurch konkret das Ausschöpfen der Nutzungsziffer verunmöglicht wird. Diesfalls ist eine Grundlage im formellen Gesetz erforderlich.
4.3. Nach Art. 22 des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (Raumplanungsgesetz, RPG; SR 700) bedürfen Bauten und Anlagen einer behördlichen Bewilligung (Abs. 1), deren Voraussetzung insbesondere die Vereinbarkeit mit dem Zweck der Nutzungszone ist (Abs. 2 lit a). Vorbehalten bleiben ausdrücklich die übrigen Voraussetzungen des Bundesrechts und des kantonalen Rechts (Abs. 3). Bauten ausserhalb der Bauzonen regelt weitgehend der Bund (Art. 24 ff. RPG). Für solche innerhalb der Bauzonen sind grundsätzlich die Kantone zuständig (vgl. insbes. Art. 23 RPG; ALAIN GRIFFEL, in: Waldmann/Belser/Epiney [Hrsg.], Bundesverfassung, Basler Kommentar, 2015, N. 28 zu Art. 75). Allerdings können sich Bundeskompetenzen darauf auswirken.
5.
Zum besseren Verständnis der Rechtslage ist vorweg auf das kantonale Recht einzugehen.
5.1. Die §§ 59 ff. des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 (PBG) enthalten verschiedene Abstandsregeln. Ein Zonengrenzabstand darf aber insbesondere nicht ohne weiteres mit einem Gebäude- oder Grundstückgrenzabstand gleichgesetzt werden. Dass Liegenschaftseigentümer zivilrechtlich einen Gebäude- und allenfalls Parzellengrenzabstand vereinbaren dürfen, der unter Umständen von den bau- und planungsrechtlichen Vorgaben des öffentlichen Rechts abweicht, sagt nichts Verbindliches aus zur hier strittigen Frage, ob Bauten in der Bauzone einen Abstand zur Grenze zur Landwirtschaftszone einzuhalten haben. Daran ändert nichts, dass hier die Grundstück- mit den Zonengrenzen zusammenfallen. Dass § 62 PBG die zivilrechtliche Vereinbarung eines ungleichen Grenzabstands erlaubt, ist insofern ebenfalls nicht von Belang, und zwar unabhängig davon, dass sich dadurch keine unzulässige Nutzungserhöhung ergibt (vgl. dazu BGE 119 Ib 113 E. 5 S. 122). Das bedeutet freilich nicht, dass die entsprechende, vom Regierungsrat ausgesprochene und vom Verwaltungsgericht bestätigte Bedingung nicht zulässig wäre. Sie ist aber für die hier zu klärende Frage der Rechtmässigkeit der baulichen Nutzung eines Bauzonengrundstücks bis an die Grenze der Landwirtschaftszone nicht von Bedeutung.
5.2. Das kantonale Recht unter Einschluss des hier einschlägigen kommunalen Rechts schreibt keinen Zonengrenzabstand vor (vgl. §§ 59 ff PBG). Ein solcher könnte sich also nicht auf das kantonale Recht stützen, was auch die Vorinstanz festgehalten hat. Etwas anderes behauptet selbst die Beschwerdeführerin nicht, die nicht etwa eine willkürliche Anwendung des kantonalen Rechts, sondern einzig einen direkten Verstoss gegen Bundesrecht geltend macht. Eine entsprechende ausdrückliche Bestimmung kennt das Bundesrecht allerdings nicht, und weder in der Rechtsprechung noch im Schrifttum finden sich, soweit ersichtlich, eindeutige Hinweise für eine Auslegung des Bundesrechts im Sinne der Beschwerdeführerin.
5.3. Im angefochtenen Entscheid werden in diesem Zusammenhang zwei Mitteilungen von Baubehörden anderer Kantone zitiert, die sich auf Internet finden. In einem Kreisschreiben der Baudirektion des Kantons Zürich vom 4. Mai 2015 wird festgehalten, das geltende kantonale Planungs- und Baugesetz kenne "keine Abstandsvorschrift bezüglich der Grenze zwischen Bau- und Landwirtschaftszone (Bauzonengrenze) ". Das wird in der Folge bedauert und die Gemeinden werden eingeladen, einen solchen Abstand in ihren Bau- und Zonenordnungen verbindlich festzulegen. Sodann enthält der Newsletter des Amts für Gemeinden und Raumordnung (AGR) des Kantons Bern vom Juni 2014 folgende Passage: "Es steht den Gemeinden frei, in ihren Baureglementen Grenzabstände zur Landwirtschaftszone festzulegen. Es gibt im kantonalen Recht keinen gesetzlichen Mindestabstand.... In der Praxis führt der Verzicht auf Abstände immer wieder zu Problemen."
5.4. Vergleichbare Aussagen finden sich in zwei Literaturstellen, auf die sich verschiedene Verfahrensbeteiligte berufen.
Erstens wird dazu ausgeführt, im Kanton Aargau sei ein allfälliger spezieller Zonengrenzabstand durch die kommunale Nutzungsplanung in den Vorschriften der Bau- und Nutzungsordnung festzulegen. Gelte kein solcher Zonenabstand, könnten Gebäude zonenübergreifend erstellt werden, sofern die Nutzung der jeweiligen Zonen dies zulasse und sofern nicht andere Gründe, zum Beispiel die Wahrung des Ortsbilds, entgegenstünden (CHRISTIAN HÄUPTLI, in: Baumann et al., Kommentar zum Baugesetz des Kantons Aargau, 2013, N. 16 zu § 47). Seit dem 1. September 2011 gelte gestützt auf regierungsrätliches Verordnungsrecht allerdings subsidiär ein kantonalrechtlicher Abstand zum Kulturland, sofern die Gemeinde nichts anderes bestimme. Vorher habe es jedoch keinen Zonenabstand gegeben, wenn die Gemeinde keinen solchen festgelegt hatte, und für altrechtliche, d.h. vor dem 1. September 2011 erlassene Gemeindezonenpläne solle die neue kantonsrechtliche Regelung keine Wirkung entfalten (HÄUPTLI, a.a.O., N. 27 zu § 47).
Für den Kanton Zürich wird in der Literatur ausgeführt, mangels einer entsprechenden Vorschrift müsse kein kantonalrechtlicher Abstand von Zonengrenzen eingehalten werden. Soweit Gebäude Zonengrenzen überstellen würden, habe jeder Gebäudeteil die für die betreffende Zone geltenden Abstands- und anderen Vorschriften einzuhalten. Ergänzend wird erwähnt, für landwirtschaftliche Grundstücke und Bauten an der Bauzonengrenze gälten besondere Vorschriften. Zur umgekehrten Konstellation, wie sie hier zu beurteilen ist, finden sich jedoch keine Ausführungen (vgl. FRITZSCHE/BÖSCH/WIPF, Zürcher Planungs und Baurecht, Bau- und Umweltrecht, Bd. 2, 5. Aufl., 2011, S. 783).
5.5. Alle erwähnten Fundstellen äussern sich unmittelbar nur zum kantonalen Recht. Sie gehen davon aus, ohne besondere kantonale oder kommunale Bestimmungen würden keine Abstandsregeln an den Grenzen von Bau- und Landwirtschaftszonen gelten, auch wenn dies mitunter bedauert wird. Zugleich wird indirekt vorausgesetzt, dass es auch aus Bundesrecht keinen vorgeschriebenen Grenzabstand zwischen Bau- und Landwirtschaftszone gibt, ansonsten darauf abgestellt würde. An keiner Stelle wird in diesem Sinne ein Zonengrenzabstand aus dem Bundesrecht abgeleitet. Das schliesst zwar eine andere Auslegung des Bundesrechts nicht aus. Der Standpunkt der Beschwerdeführerin lässt sich aber nicht mit der bisherigen Praxis oder dem Schrifttum unterlegen.
6.
6.1. Zu prüfen ist demnach, ob sich aus dem Bundesrecht rechtlich verbindliche Schutzwirkungen für das Kulturland ergeben, die sich im Grenzbereich von Bau- und Landwirtschaftsgebiet auf die Bauzonen auswirken können.
6.2. Für die Zulässigkeit eines Bauprojekts kommt es entscheidend auf dessen Zonenkonformität an (vgl. Art. 22 Abs. 1 lit. a RPG und vorne E. 4.3). Eine Baute, die sich über mehrere Zonen erstreckt, muss den Bestimmungen aller betroffenen Zonen entsprechen. Dabei ist nicht bloss der Standort der Baute massgebend, sondern es sind auch die Auswirkungen auf die Nachbarzonen zu berücksichtigen. Art. 25 Abs. 1 des Bundesgesetzes vom 7. Oktober 1983 über den Umweltschutz (Umweltschutzgesetz, USG; SR 814.01) hält dies für die Lärmimmissionen ausdrücklich fest, indem insofern die Planungswerte "in der Umgebung" nicht überschritten werden dürfen. Gleiches gilt aber auch in raumplanerischer Hinsicht. So besteht namentlich eine Baubewilligungspflicht, wenn die Benützung von Boden in einer organisierten und auf Dauer ausgerichteten Weise erfolgt und deshalb erhebliche Auswirkungen auf die raumplanerische Nutzungsordnung und allenfalls die vorhandene Infrastruktur ausübt (vgl. BGE 119 Ib 222 E. 3 S. 226 ff.). Es ist mithin nicht nur auf die Dimensionen der rein baulichen Vorkehrungen abzustellen, sondern auch von einer wirkungsbezogenen Betrachtungsweise auszugehen, die den Bestand sowie Betrieb der fertiggestellten Baute oder Anlage und die damit verbundenen Auswirkungen auf die Umgebung einbezieht (vgl. BEAT STALDER/NICOLE TSCHIRKY, in: Griffel et al. [Hrsg.], Fachhandbuch Öffentliches Baurecht, 2016, S. 71 f. Rz. 2.90). Gleiches gilt auch, wenn die Zonenkonformität eines Bauvorhabens (Art. 22 Abs. 2 lit. a RPG) zu beurteilen ist. Es sind auch hier nicht allein die baulichen Massnahmen, sondern ebenfalls die Wirkungen auf die Umgebung zu berücksichtigen, die das Vorhaben nach dem gewöhnlichen Lauf der Dinge mit sich bringt.
6.3. Bei Bauten, die direkt oder ganz nahe an die Grenze zu einer anderen Zone gestellt werden sollen als jener, in der sie liegen, erfordert die Prüfung der Zonenkonformität nach dem Ausgeführten stets auch den Einbezug ihrer Auswirkungen auf die Umgebung. Sind nach der allgemeinen Lebenserfahrung keine oder nur unbedeutende Auswirkungen auf die benachbarte Zone zu erwarten, genügt es, wenn das Vorhaben dem Zweck der Zone entspricht, in die es zu liegen kommt. Sind dagegen von einer Baute auf oder ganz nahe an der Grenze Auswirkungen auf eine Nachbarzone wahrscheinlich, hat die Baubehörde die Konformität auch mit der benachbarten Zone zu prüfen. Denn in diesem Fall beschränkt sich das Bauvorhaben nach der gebotenen auswirkungsbezogenen Betrachtung nicht auf die Zone, in der das Gebäude selber steht, sondern es liegt ein grenzüberschreitendes Vorhaben vor, das sich ebenfalls auf die Nachbarzone erstreckt.
Eine Wohnbaute, die wegen ihrer Platzierung an der Zonengrenze Auswirkungen auf eine benachbarte Landwirtschaftszone hat, muss demnach sowohl die Vorschriften der Bauzone, in der das Gebäude errichtet wird, als auch jene der Landwirtschaftszone einhalten. Da nichtlandwirtschaftliche Wohnbauten in der Letzteren nicht zonenkonform sind und deshalb - soweit nicht die Erteilung einer Ausnahmebewilligung in Betracht kommt (Art. 24 ff. RPG) - nicht bewilligt werden können, müssen solche Wohnbauten so weit von der Grenze zurückversetzt werden, dass ihre Erstellung auf die Landwirtschaftszone keine nennenswerten Auswirkungen mehr hat. Die Einschränkung der Überbaubarkeit des in der Bauzone gelegenen Landes ergibt sich in diesem Fall aus der gleichzeitigen Mitbeanspruchung eines angrenzenden Teils der Landwirtschaftszone und findet ihre gesetzliche Grundlage in Art. 16a RPG, der die Anforderungen an die Nutzung dieser Zone normiert.
6.4. Es lässt sich nur aufgrund der Umstände des Einzelfalls beurteilen, ob und in welchem Umfang eine Überbauung von in der Bauzone gelegenem Land zugleich angrenzendes Landwirtschaftsland mitbeansprucht. Ohne weiteres zu bejahen ist dies bei Bauteilen, die wie Vordächer oder Balkone über die Zonengrenze hinausragen. Dasselbe gilt jedoch auch für Zirkulations- und Erholungsflächen oder für zur Wohnbaute gehörende Vorgärten. Mitzuberücksichtigen ist sodann, in welchem Ausmass die Auswirkungen einer Überbauung in der Bauzone die Nutzung des landwirtschaftlichen Kulturlands beeinträchtigen. Dabei sind insbesondere die Art der landwirtschaftlichen Nutzung, aber auch die topografischen Verhältnisse in Betracht zu ziehen. In ähnlicher Weise verlangt Art. 43a lit. d RPV bei der Erstellung von Bauten ausserhalb der Bauzonen gestützt auf eine Ausnahmebewilligung eine Rücksichtnahme auf die landwirtschaftliche Bewirtschaftung.
Die einzelfallweise Beurteilung ermöglicht es, zwischen den entgegengesetzten Interessen an der Erhaltung geeigneten Kulturlands für die Landwirtschaft (Art. 3 Abs. 2 lit. a RPG) und der durch die Eigentumsgarantie (Art. 26 BV) geschützten baulichen Nutzungsmöglichkeiten einen angemessenen Ausgleich zu finden. Im Interesse der Rechtssicherheit und der Gleichbehandlung mag es zwar wünschenswert erscheinen, im kantonalen Recht für gewisse Fälle Mindestabstände vorzuschreiben, die zur Zonengrenze eingehalten werden müssen (vgl. die Hinweise vorn in E. 5.3). Das Bundesrecht verpflichtet die Kantone jedoch nicht, solche Zonengrenzabstände vorzusehen.
6.5. Die Errichtung grösserer Bauten wie von Wohnhäusern direkt oder ganz nahe an der Grenze zur Landwirtschaftszone dürfte meistens zu einer Inspruchnahme des angrenzenden landwirtschaftlichen Kulturlands führen. Solche aufgrund ihrer Wirkungen in die Landwirtschaftszone ragenden Überbauungen sind mangels Zonenkonformität nicht zulässig, soweit sie nicht einem landwirtschaftlichen Zweck dienen oder dafür keine Ausnahmebewiligung nach Art. 24 ff. RPG erteilt werden kann. Anders verhalten mag es sich bei kleineren Bauten wie einfachen Nebenbauten, Zäunen und Gattern, die keine nennenswerten Auswirkungen auf das angrenzende Landwirtschaftsland haben.
Beim Bauprojekt handelt es sich um drei Einfamilienhäuser, die direkt auf die Zonengrenze zu stehen kommen sollen und mit gewissen Auswirkungen auf das Agrarland verbunden sein dürften. Allerdings wurde dies von der Vorinstanz nicht geprüft. Bekannt ist auch nicht, wie das nachbarschaftliche Kulturland landwirtschaftlich genutzt wird bzw. welche Nutzung die topografischen und übrigen örtlichen sowie natürlichen Verhältnisse zulassen. Unklar ist sodann, wie sich eine unerwünschte Vorgartennutzung erfolgversprechend verhindern liesse, welche Auswirkungen ein Zonengrenzabstand auf die verbleibenden Nutzungsmöglichkeiten der Bauparzellen hätte und ob sich im Rahmen des vorliegenden Bewilligungsverfahrens das Bauprojekt allenfalls anpassen liesse, um den Anforderungen des Schutzes des benachbarten Agrarlandes angemessen Rechnung zu tragen. Insgesamt ist dem Bundesgericht daher eine abschliessende Beurteilung des vorliegenden Streitfalles verwehrt. Es wird der Vorinstanz obliegen, die erforderlichen Abklärungen vorzunehmen und auf ergänzter Grundlage über die Angelegenheit neu zu befinden.
7.
Die Beschwerde erweist sich als begründet und ist gutzuheissen, und der angefochtene Entscheid ist aufzuheben. Die Streitsache ist an das Verwaltungsgericht zurückzuweisen zu neuem Entscheid im Sinne der Erwägungen. Das Verwaltungsgericht wird dabei auch die Kosten und Entschädigungen des vorinstanzlichen Verfahrens neu zu regeln haben.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten den Beschwerdegegnern unter Solidarhaft aufzuerlegen (Art. 66 Abs. 1 und 5 BGG), wobei bei der Festlegung der Gerichtsgebühr mitberücksichtigt werden kann, dass es sich um eine Neuentwicklung der Rechtsprechung handelt. Überdies haben die Beschwerdegegner die Beschwerdeführerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 3. Oktober 2017 wird aufgehoben.
2.
Die Streitsache wird an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen zu neuem Entscheid im Sinne der Erwägungen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdegegnern unter Solidarhaft auferlegt.
4.
Die Beschwerdegegner haben die Beschwerdeführerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 2'000.-- zu entschädigen.
5.
Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Amt für Raumentwicklung des Kantons Schwyz, dem Regierungsrat des Kantons Schwyz, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Bundesamt für Raumentwicklung ARE schriftlich mitgeteilt.
Lausanne, 31. Oktober 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Uebersax