Feststellungsverfügung gemäss BGBB, hat sich ergeben:
A.- W._ einerseits und seine Nichten X._, Y._ und Z._ andererseits sind je zur Hälfte Miteigentümer der Grundstücke GBN 1236 (425, 63 a Wiesland, wovon 2'650 m2 in der Bauzone, mit Wohnhaus und zwei Ökonomiegebäuden), GBN 626 (33, 92 a Wiesland), GBN 846 (Hütte mit Melchstallung), GBN 857 und 858 (Hütte mit Melchstallung), GBN 1260 ("unterste Weid" mit 1'034, 22 a, Hütte und Melchstallung), GBN 1261 ("mittlere Weid" mit 1'120, 96 a, Wohnhaus, Hütte und Wasserhütte) und GBN 1262 ("oberste Weid" mit 1'380, 73 a, Hütte und Melchstallung). W._ bewirtschaftet diese Liegenschaften zusammen mit Grundstücken seiner Frau und zugepachteten Parzellen. Sein Betrieb ist viehwirtschaftlich ausgerichtet. W._ verfügt über ca. 45 Grossvieheinheiten und ein Milchkontingent von ca.
120'000 l.
B.-Am 10. Februar 1999 ersuchte W._ das Volkswirtschaftsdepartement des Kantons Schwyz um Erlass einer Feststellungsverfügung über die Fragen, ob bei Aufhebung des Miteigentums das Realteilungsverbot gemäss Art. 58 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211. 412.11) zur Anwendung gelange und - wenn ja - ob eine Ausnahme gemäss Art. 60 BGBB in Aus- sicht gestellt werden könne. Das Volkswirtschaftsdepartement stellte mit Verfügung vom 2. August 1999 (Ziff. 1) fest, die Miteigentumsparzellen bildeten zusammen mit anderen Grundstücken ein landwirtschaftliches Gewerbe im Sinne des BGBB und unterstünden dem Realteilungsverbot. Die Voraussetzungen zur Erteilung einer Ausnahme von diesem Verbot gestützt auf Art. 60 Abs. 1 lit. b BGBB seien nicht erfüllt.
Gegen diese Verfügung erhoben X._, Y._ und Z._ Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Mit Entscheid vom 26. Mai 2000 hiess das Verwaltungsgericht (Kammer III) die Beschwerde im Sinne der Erwägungen gut, hob die Ziff. 1 der angefochtenen Feststellungsverfügung auf und stellte seinerseits fest, die Miteigentumsanteile im Zusammenhang mit der Aufhebung des Miteigentums unterlägen dem Realteilungsverbot nicht. Das Verwaltungsgericht erwog, das Realteilungsverbot sei für das beabsichtigte Rechtsgeschäft zwar grundsätzlich anwendbar, weil die Anmeldung im Grundbuch nicht vor dem Inkrafttreten des BGBB erfolgt sei (Art. 95 Abs. 1 BGBB). Die privatrechtliche Übergangsbestimmung von Art. 94 BGBB vermöge diese öffentlichrechtliche Schranke nicht zu durchbrechen. Sie habe nur zur Folge, dass die Art. 36 bis 39 BGBB für die Aufhebung des Miteigentums nicht gälten. Indessen ergäben sich aus dem Realteilungsverbot keine Einschränkungen für den Anteil der Nichten, weil nur der Miteigentumsanteil von W._ zu dessen Landwirtschaftsgewerbe gehöre und dem Realteilungsverbot unterliege; der Miteigentumsanteil der Nichten sei wie zugepachtetes Land zu behandeln.
C.- Mit Verwaltungsgerichtsbeschwerde vom 14. Juli 2000 (5A. 23/2000) gelangt W._ (nachfolgend der Beschwerdeführer) an das Bundesgericht. Er beantragt, das verwaltungsgerichtliche Erkenntnis sei aufzuheben, und es sei in Bestätigung der Verfügung des Volkswirtschaftsdepartements festzustellen, dass die Miteigentumsparzellen mit Ausnahme der Fläche von Parzelle GBN 1236 in der Bauzone dem Realteilungsverbot unterstünden und dass die Voraussetzungen für eine Ausnahme gemäss Art. 60 Abs. 1 lit. b BGBB nicht erfüllt seien. Eventuell sei die Angelegenheit bezüglich der Voraussetzungen für eine Ausnahme an das Verwaltungsgericht zurückzuweisen. Der Beschwerdeführer ersucht im Weiteren, der Beschwerde aufschiebende Wirkung zu erteilen.
X._, Y._ und Z._ beantragen die Abweisung der Beschwerde mit Ausnahme der Feststellung bezüglich des Nichtunterliegens des Teils von Parzelle GBN 1236 in der Bauzone.
Das Verwaltungsgericht des Kantons Schwyz schliesst ebenfalls auf Abweisung der Beschwerde.
D.- Mit Eingabe vom 16. August 2000 führen auch X._, Y._ und Z._ (nachfolgend Beschwerdeführerinnen bzw. Beschwerdegegnerinnen) Verwaltungsgerichtsbeschwerde beim Bundesgericht (5A. 24/2000). Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass das Volkswirtschaftsdepartement zum Erlass der Feststellungsverfügung nicht zuständig gewesen sei (Rechtsbegehren Ziff. 1.1), eventuell dass das Realteilungsverbot und das Zerstückelungsverbot generell nicht zur Anwendung gelangen (Rechtsbegehren Ziff. 1.2). Eventualiter zum Hauptantrag sei die Ziff. 1 des verwaltungsgerichtlichen Entscheids dadurch zu ergänzen, dass festzustellen sei, die Aufhebung des Miteigentums durch körperliche Teilung verletze das Realteilungs- und Zerstückelungsverbot nicht (Rechtsbegehren Ziff. 2).
Der Beschwerdeführer stellt in seiner Vernehmlassung den Antrag, die Beschwerde (5A. 24/2000) sei abzuweisen, soweit darauf einzutreten sei.
Das Verwaltungsgericht des Kantons Schwyz beantragt, die Beschwerde sei abzuweisen, sofern und soweit darauf eingetreten werden könne.
Das Bundesamt für Justiz schliesst in einer gemeinsamen Eingabe für beide Beschwerdeverfahren Rückweisung der Sache an das kantonale Volkswirtschaftsdepartement.
F.- Mit Verfügung vom 21. September 2000 hat der Präsident der II. Zivilabteilung der Beschwerde 5A.23/2000 aufschiebende Wirkung erteilt.

Das Bundesgericht zieht in Erwägung:
1.- Beide Verwaltungsgerichtsbeschwerden betreffen den gleichen Entscheid, den gleichen Sachverhalt und weitgehend die gleichen Rechtsfragen. Es rechtfertigt sich daher, die beiden Verfahren zu vereinigen und über die Beschwerden in einem gemeinsamen Entscheid zu befinden (<ref-ruling> E. 1; <ref-ruling> E. 1b S. 299).
2.- a) Letztinstanzliche kantonale Beschwerdeentscheide in Anwendung des BGBB unterliegen der Verwaltungsgerichtsbeschwerde nach Art. 97 OG (Art. 89 BGBB). Das Verwaltungsgericht des Kantons Schwyz hat als letzte kantonale Instanz entschieden. Beide Beschwerden entsprechen den Formvorschriften und sind fristgerecht eingegangen (vgl. Art. 34 Abs. 1 lit. b OG).
b) Der Beschwerdeführer ist durch den angefochtenen Entscheid beschwert und in schutzwürdigen Interessen betroffen.
Er ist deshalb zur Anfechtung des vorinstanzlichen Entscheids befugt (Art. 103 lit. a OG). Auf seine Verwaltungsgerichtsbeschwerde ist einzutreten.
c) Die Beschwerdeführerinnen sind durch den angefochtenen Entscheid nicht beschwert: Gestützt auf die Feststellung des Verwaltungsgerichts (Ziff. 1) können sie ihr Miteigentum aufheben, ohne den Schranken des Realteilungsverbots zu unterliegen. Dass das Verwaltungsgericht das Realteilungsverbot für den Miteigentumsanteil des Beschwerdeführers als anwendbar erachtet hat (E. 2c S. 8 des angefochtenen Entscheids), berührt sie nicht. Sie haben deshalb kein schutzwürdiges Interesse an der Feststellung, dass das Volkswirtschaftsdepartement zum Erlass der Feststellungsverfügung nicht zuständig gewesen sei (Rechtsbegehren Ziff 1.1) und dass das Realteilungsverbot "generell nicht zur Anwendung gelange" (Rechtsbegehren Ziff. 1.2). Das Gleiche gilt für das Eventualbegehren Ziff. 2, wonach die Feststellung des Verwaltungsgerichts dahin zu ergänzen sei, dass die Aufhebung des Miteigentums durch körperliche Teilung das Realteilungsverbot nicht verletze. Mit ihren Begehren wollen die Beschwerdeführerinnen nicht für sie nachteilige Anordnungen des Verwaltungsgerichts aufheben lassen, sondern bloss die Begründung des angefochtenen Entscheids abgeändert wissen, ohne dass ihnen dies einen praktischen Nutzen eintragen würde.
Sie sind deshalb insofern nicht zur Verwaltungsgerichtsbeschwerde berechtigt (<ref-ruling> E. 2 S. 378 f., mit Hinweisen); anfechtbar ist nur die Urteilsformel eines Entscheids, nicht auch seine Begründung (vgl. <ref-ruling> E. 2).
Bezüglich der Anwendung des Zerstückelungsverbots enthält der angefochtene Entscheid keinerlei Feststellungen.
Insofern gehen die Rechtsbegehren Ziff 1.2 und Ziff. 2 daher über den Streitgegenstand hinaus, und die Beschwerde ist auch aus diesem Grunde unzulässig.
Auf die Verwaltungsgerichtsbeschwerde 5A.24/2000 ist somit nicht einzutreten.
3.- Das Verwaltungsgericht ist davon ausgegangen, die privatrechtliche Übergangsbestimmung von Art. 94 Abs. 2 BGBB verhindere nicht, dass bei Aufhebung des Miteigentums das Realteilungsverbot gemäss Art. 58 ff. BGBB zu beachten sei, wenn dieses nach Massgabe der öffentlichrechtlichen Übergangsregel von Art. 95 Abs. 1 BGBB anwendbar sei. Der Beschwerdeführer und das Bundesamt für Justiz teilen diese Auffassung. Die Beschwerdegegnerinnen halten sie für unzutreffend.
a) Gemäss Art. 94 Abs. 2 BGBB wird vertraglich begründetes gemeinschaftliches Eigentum (Mit- oder Gesamteigentum) nach altem Recht aufgehoben, wenn dies innert Jahresfrist seit Inkrafttreten dieses Gesetzes verlangt wird. Art. 95 Abs. 1 BGBB bestimmt, dass (insbesondere) die Vorschriften über das Realteilungsverbot für alle Rechtsgeschäfte gelten, die nach Inkrafttreten des BGBB beim Grundbuchamt angemeldet werden.
Die Aufhebung des Miteigentums haben die Beschwerdegegnerinnen offenbar rechtzeitig - binnen Jahresfrist - verlangt; ein Aufhebungsverfahren ist vor dem Bezirksgericht Schwyz hängig und derzeit sistiert. Dagegen ist die Aufteilung des Miteigentums nicht vor Inkrafttreten des BGBB beim Grundbuchamt angemeldet worden, was ebenfalls unbestritten ist.
b) Die privatrechtliche Dispositionsfreiheit steht grundsätzlich unter dem Vorbehalt des öffentlichen Rechts; soweit nicht die allgemeinen Regeln des Vorrangs jüngerer oder speziellerer Normen oder besondere Anhaltspunkte (z.B.
in den Materialien) etwas anderes nahe legen, sind die öffentlichrechtlichen Schranken daher bindend für die Privatrechtsgestaltung (vgl. Hans Huber, Berner Kommentar, N. 41 f.
zu Art. 6 ZGB). Vorliegend bestehen keine allgemeinen oder besonderen Anknüpfungspunkte für die von den Beschwerdegegnerinnen vertretene Auffassung. Den Materialien lässt sich nur entnehmen, dass die Eigentümer die neu eingeführten Zuweisungsansprüche und Anrechnungsregeln bei der Liquidation von vertraglich begründetem Mit- oder Gesamteigentum ausschalten können, wenn sie dessen Aufhebung innert Jahresfrist verlangen. Dass sie das Realteilungsverbot nicht zu beachten hätten, wenn die Anmeldung des Aufhebungsgeschäfts beim Grundbuchamt erst nach Inkrafttreten des BGBB erfolgt, wird nirgends ausgeführt (Botschaft zum Bundesgesetz über das bäuerliche Bodenrecht [BGBB], BBl 1988 III 953 ff., S. 1067). Vielmehr halten die Erläuterungen zum heutigen Art. 95 BGBB ausdrücklich fest, zwecks Vermeidung von Gesetzesumgehungen solle grundsätzlich für alle nach dem Inkrafttreten angemeldeten Rechtsgeschäfte das neue Recht Anwendung finden (Botschaft, a.a.O., S. 1068; vgl. auch Christoph Bandli/Manuel Müller/Beat Stalder, in: Das bäuerliche Bodenrecht: Kommentar zum Bundesgesetz über das bäuerliche Bodenrecht vom 4. Oktober 1991, Brugg 1995, N. 1 und 5 zu Art. 95 BGBB). Es kann auch nicht argumentiert werden, bei Anwendbarkeit des Realteilungsverbots verliere der Verweis auf das alte Recht in Art. 94 Abs. 2 BGBB seinen Sinn.
Soweit es nicht um die körperliche Aufteilung geht, d.h.
insbesondere mit Bezug auf die Ausschaltung der Zuweisungs- und Anrechnungsansprüche gemäss Art. 36 ff. BGBB, ändert die Anwendbarkeit des Realteilungsverbots nichts. Das Verbot schränkt die Teilung nach altem Recht auch in denjenigen Fällen nicht ein, in denen eine mit der neuen Regelung verträgliche Aufhebung vereinbart oder eine Ausnahme erwirkt wird. Wo es Geltung beansprucht, öffnet es bei richterlicher Aufhebung zudem den Weg zur Versteigerung unter den Miteigentümern (die öffentliche Versteigerung unter einem breiteren Publikum bleibt gemäss Art. 69 BGBB ausgeschlossen), da es im Interesse der Strukturerhaltung (vgl. dazu nachfolgend E. 5a) bestimmte körperliche Teilungen verbietet und diese deshalb als wesentliche Wertverminderungen im Sinne von Art. 651 Abs. 2 ZGB verstanden werden können. Endlich bleibt es ohne Einfluss auf andere Teilungsarten als die körperliche Aufteilung. Zu Recht hat das Verwaltungsgericht somit die Art. 58 ff. BGBBals grundsätzlich anwendbar erachtet (vgl. auch <ref-ruling> E. 2d S. 239; Wegleitung des Eidgenössischen Amtes für Grundbuch- und Bodenrecht, in:
ZBGR 75/1994 S. 88 ff., Ziff. 2.31).
4.- Das Verwaltungsgericht hält freilich dafür, das Realteilungsverbot sei nur für den Miteigentumsanteil des Beschwerdeführers massgebend, nicht auch für die Miteigentumsanteile der Beschwerdegegnerinnen. Es argumentiert, der Beschwerdeführer bewirtschafte diese Anteile nur pachtweise, und sie seien daher wie Zupachtland bloss einzubeziehen, wenn zu beurteilen sei, ob ein landwirtschaftliches Gewerbe vorliege. Selber unterstünden sie dem Realteilungsverbot aber nicht, weil sie wie Zupachtland grundsätzlich jederzeit veräussert, d.h. vom Gewerbe abgetrennt werden könnten. Der Beschwerdeführer rügt, diese Argumentation sei bundesrechtswidrig.
Die Beschwerdegegnerinnen unterstützen sie dagegen.
Die Sichtweise des Verwaltungsgerichts beruht auf einer Fehlüberlegung. Es geht nicht darum, die Aufteilung eines landwirtschaftlichen Gewerbes zu beurteilen, das im (Allein-)Eigentum des Beschwerdeführers steht. Zu entscheiden ist vielmehr über die Wirkungen des Realteilungsverbots auf die im Miteigentum der Parteien stehende Gesamtheit von landwirtschaftlichen Grundstücken, Bauten und Anlagen, die vom Beschwerdeführer teils gestützt auf seine Miteigentümerstellung, teils aufgrund pachtweiser Überlassung durch die übrigen Miteigentümer genutzt werden. Es interessiert, ob diese Gesamtheit als landwirtschaftliches Gewerbe im Sinne von Art. 7 Abs. 1 BGBB anzusprechen ist und - wenn ja - ob das Miteigentum daran durch körperliche Teilung aufgehoben werden darf, ohne dass das Realteilungsverbot entgegensteht.
Gewiss sind für die Qualifikation als landwirtschaftliches Gewerbe Kraft ausdrücklicher gesetzlicher Regelung für längere Zeit zugepachtete Grundstücke mit einzubeziehen (Art. 7 Abs. 4 lit. c BGBB). Daraus ergibt sich eine Ausdehnung des Kreises von Gewerben, die unter die öffentlichrechtlichen Verkehrsbeschränkungen des Gesetzes fallen, weil die Voraussetzung genügender landwirtschaftlicher Beschäftigung eher erfüllt ist, wenn die Arbeitszeit zur Bewirtschaftung zugepachteter Grundstücke mit einzurechnen ist (vgl. Eduard Hofer in: Kommentar BGBB, N. 96 zu Art. 7 BGBB). Die Berücksichtigung von Grundstücken, die der Pächter eines Gewerbes für längere Dauer zupachtet oder von Land in seinem Eigentum (vgl. dazu Hofer, a.a.O., N. 91 zu Art. 7 BGBB) hat jedoch nicht zur Folge, dass die Zulässigkeit der Aufteilung des Gewerbes aus der Sicht des Pächters bzw. seines Betriebes zu beurteilen ist und die den übrigen Miteigentümern gehörenden Anteile als nicht zum Gewerbe gehörende Pachtgrundstücke zu betrachten sind, für die das Realteilungsverbot nicht gilt.
Es bleibt dabei, dass sämtliche Miteigentumsanteile zum Gewerbe gehören, über dessen körperliche Aufteilung unter dem Gesichtswinkel des Realteilungsverbots zu befinden ist. Dass hier eine Gesamtheit von landwirtschaftlichen Grundstücken, Bauten und Anlagen vorliegt, die - jedenfalls unter Einbezug des Zupachtlandes (Art. 7 Abs. 4 lit. c BGBB) - als landwirtschaftliches Gewerbe im Sinne von Art. 7 Abs. 1 BGBB anzusprechen ist, hat auch das Verwaltungsgericht angenommen und kann nicht zweifelhaft sein.
5.- Nach Meinung des Verwaltungsgerichts sind die Schranken des Realteilungsverbots bei der Aufteilung des Miteigentums auch deshalb nicht zu beachten, weil kein Veräusserungsgeschäft abgeschlossen werde und keine Eigentumsrechte an Dritte übertragen würden. Die Zusammensetzung der Grundeigentümerschaft bleibe die Gleiche. Ausserdem werde die Stellung des selbstbewirtschaftenden Miteigentümers durch die Art. 36 ff. BGBB geschützt und nicht durch das Realteilungsverbot. Der Beschwerdeführer bezeichnet auch diese Auffassung als bundesrechtswidrig. Die Beschwerdegegnerinnen halten sie für richtig.
a) Das Realteilungsverbot bezweckt den Schutz erhaltungswürdiger landwirtschaftlicher Strukturen. Lebensfähige Gewerbe sollen notfalls auch gegen den Willen der Eigentümerschaft vor der Aufteilung und stückweisen Veräusserung bewahrt werden (Art. 1 Abs. 1 lit. a BGBB; Botschaft, a.a.O., S. 968; Reinhold Hotz in: Kommentar BGBB, N.
8 zu Art. 1 BGBB, und Christoph Bandli, daselbst, N. 1 der Vorbemerkungen zu Art. 58-60 BGBB und N. 1 zu Art. 58 BGBB; Beat Stalder, Die verfassungs- und verwaltungsrechtliche Behandlung unerwünschter Handänderungen im bäuerlichen Bodenrecht, Diss. Bern 1993, ASR Heft 542, S. 105; <ref-ruling> E. 2c S. 179). Die gesetzliche Regelung zielt daher mit dem Begriff des "Abtrennens" auf ein Verbot der getrennten Veräusserung einzelner Teile ab; die reine Unterteilung im Sinne einer Parzellierung schadet an sich noch nicht, sondern erst in Verbindung mit Plänen betreffend ein getrenntes rechtliches Schicksal oder eine Umgehung der Belastungsrestriktionen (Art. 73 ff. BGBB; Bandli in:
Kommentar BGBB, N. 2 zu Art. 58 BGBB; Yves Donzallaz, Commentaire de la loi fédérale du 4 octobre 1991 sur le nouveau droit foncier rural, Sion 1993, Rz. 502 und 504, S.
146; Stalder, Die verfassungs- und verwaltungsrechtliche Behandlung, S. 107). Unerwünschte Veräusserungen sind nicht nur Kauf- und bestimmte Tausch- und Schenkungsgeschäfte, sondern alle Rechtsgeschäfte, die wirtschaftlich einer Eigentumsübertragung gleichkommen (vgl. Art. 61 Abs. 3 BGBB; Stalder in: Kommentar BGBB, N. 19 f. zu Art. 63 BGBB).
b) Die Aufhebung des Miteigentums an den Gewerbeparzellen durch körperliche Teilung führt dazu, dass die Grundstücke parzelliert und einzelnen Miteigentümern zu Eigentum überschrieben werden. Die einzelnen Teile des Gewerbes gelangen in neue und verschiedene Hände. Die bisherige gemeinschaftliche Eigentumsberechtigung wird abgelöst; es findet nicht nur wirtschaftlich, sondern auch rechtlich ein Eigentümerwechsel statt, und die rechtliche Einheit des Gewerbes zerfällt. Die neuen Eigentümer können ihre Teile getrennt veräussern oder nutzen und auf diese Weise auch die wirtschaftliche Einheit auflösen. Die beabsichtigte körperliche Teilung unter den Miteigentümern hat somit zur Folge, dass der Zusammenhalt der gewerblichen Grundstücke, Bauten und Anlagen nicht mehr gewährleistet ist, was dem Ziel der Strukturerhaltung zuwiderläuft. Daran ändert der Umstand nichts, dass sich die Beschwerdegegnerinnen bereit erklärt haben, dem Beschwerdeführer ihre Anteile weiterhin und auf lange Sicht zu verpachten (vgl. dazu nachfolgend E. 6a). Unbeachtlich ist im vorliegenden Zusammenhang ferner der Verweis der Beschwerdegegnerinnen auf die Einspruchsgründe gemäss dem abgelösten Bundesgesetz vom 12. Juni 1951 über die Erhaltung des bäuerlichen Grundbesitzes (EGG) und die Meinung von Stalder (Kommentar BGBB, N. 20 zu Art. 61 BGBB) betreffend deren Überführung in das BGBB. Dieser Autor hat nicht ausgeführt, es sollten ausschliesslich die schon dem EGG unterstellten Handänderungen unterstellt werden, sondern bloss bemerkt, vorab jene Handänderungen sollten erfasst werden. Schliesslich ist unerfindlich, weshalb ein solches Verständnis der Vorschriften gegen die Eigentumsgarantie verstossen soll, wie die Beschwerdegegnerinnen meinen, zumal eine hinreichende gesetzliche Basis vorliegt und die bisherige Nutzung sowie die bestehenden Eigentumsverhältnisse nicht eingeschränkt werden.
c) Der Hinweis des Verwaltungsgerichts auf die Zielsetzung der Art. 36-39 BGBB vermag zu keiner anderen Betrachtungsweise zu führen. Auch wenn man diesen Vorschriften eine gewisse strukturpolitische Wirkung nicht absprechen will, sind sie doch primär auf den Schutz des Selbstbewirtschafters und nicht wie die Art. 58 ff. BGBB auf die Strukturerhaltung ausgerichtet. Ob sie zum Tragen kommen, entscheiden allein die Miteigentümer, wogegen der Schutz des Realteilungsverbots auch gegen den Willen der Eigentümer greift. Sie können die öffentlichrechtlichen Beschränkungen deshalb nicht ersetzen (vgl. auch Stalder, Die verfassungs- und verwaltungsrechtliche Behandlung, S. 109).
Es ergibt sich somit, dass die Vorschriften über das Realteilungsverbot bei der beabsichtigten Aufhebung des Miteigentums zu beachten sind.
6.- Steht fest, dass das Realteilungsverbot grundsätzlich anwendbar und die Beschwerde insofern begründet ist, stellt sich die Frage einer Ausnahmebewilligung nach Art. 60 Abs. 1 BGBB. In Betracht fällt namentlich eine Ausnahme gemäss lit. b dieser Vorschrift, wonach ein Dispens verlangt werden kann, wenn das landwirtschaftliche Gewerbe auch nach der Aufteilung oder der Abtrennung eines Grundstücks oder Grundstückteils einer bäuerlichen Familie noch eine gute landwirtschaftliche Existenz bietet. Der Beschwerdeführer macht geltend, eine derartige Ausnahme dürfe nicht erteilt werden. Die Beschwerdegegnerinnen erinnern vorab daran, dass das Verwaltungsgericht die Ausnahmegründe nicht zu prüfen brauchte und beantragen die Rückweisung für den Fall, dass die Beurteilung unumgänglich sei.
a) Das Verwaltungsgericht hat keine Feststellungen darüber getroffen, welches Einkommen sich aus dem interessierenden Gewerbe erwirtschaften lässt und inwiefern dieses durch Abtrennung allenfalls verkleinert werden könnte, ohne die Schwelle einer guten landwirtschaftlichen Existenz zu unterschreiten (Art. 60 Abs. 1 lit. b BGBB; zum Begriff der guten landwirtschaftlichen Existenz Hofer in: Kommentar BGBB, N. 18 ff. zu Art. 8 BGBB). Das ist nachzuholen. Die Angelegenheit ist deshalb unter Aufhebung des angefochtenen Urteils an die Vorinstanz zurückzuweisen, damit diese - allenfalls unter Beizug von Gutachtern - die nötigen Abklärungen trifft und im Sinne des Erwogenen neu entscheidet.
Die Vorinstanz wird dabei zu bestimmen haben, welche Flächen in die Existenzberechnung einzubeziehen sind. An sich wäre es naheliegend, in analoger Anwendung von Art. 7 Abs. 4 lit. c BGBB die für längere Dauer zugepachteten Grundstücke mitzuberücksichtigen. Dem steht jedoch entgegen, dass die Spezialregelung betreffend den Einbezug von Pachtland im Zusammenhang mit der Mindestgrösse für die Annahme eines landwirtschaftlichen Gewerbes steht und nicht ohne weiteres einen tauglichen Anknüpfungspunkt für weitere Abstufungen abgibt. Bei derartigen Abgrenzungen muss deshalb geprüft werden, ob und inwiefern der Einbezug von zugepachteten Grundstücken mit den Zielen des Gesetzes verträglich ist.
Dazu ist zunächst festzuhalten, dass Zupachtland zumeist nur auf jeweils sechs Jahre gesichert zur Verfügung steht (Art. 7 und 8 des Bundesgesetzes vom 4. Oktober 1985 über die landwirtschaftliche Pacht [LPG; SR 221. 213.2]) und eine solche Vertragsdauer die angestrebte langfristige Sicherung der Strukturen nicht gewährleistet. Es wäre mit Blick auf das Strukturerhaltungsziel, das einen gefestigten Zusammenhalt der Betriebsgrundlagen voraussetzt, zudem wenig sinnvoll, den starken eigentumsrechtlichen Zusammenhalt (teilweise) aufzugeben mit Rücksicht auf die wesentlich schwächere Verbundenheit, die Pachtverhältnisse herstellen. Entscheidend aber ist, dass sich bei Berücksichtigung von Pachtland im Zusammenhang mit der erwähnten Ausnahme das Gesetz sehr einfach umgehen liesse. Die Vorlage eines Pachtvertrages über die erwähnte Mindestdauer und eine genügende Fläche würde bereits genügen, um eine Ausnahme zur Abtrennung einer unentbehrlichen Fläche von einer guten landwirtschaftlichen Existenz zu erwirken. Hinzu kommt, dass es der Pächter bei verpachteten Gewerben in der Hand hätte, durch Zupacht oder Auflösung von Pachtverträgen eine Ausnahme zu ermöglichen oder zu vereiteln. Auch im vorliegenden Fall könnte der Beschwerdeführer - z.B. durch Übertragung von Pachtverhältnissen auf seinen mitarbeitenden Sohn - die Ausnahmeerteilung steuern. Ähnliches gilt im Übrigen bezüglich der landwirtschaftlichen Liegenschaften, die seiner Frau gehören und von ihm bewirtschaftet werden. Die analoge Anwendung von Art. 7 Abs. 4 lit. c BGBB muss deshalb ausscheiden, wenn das Strukturerhaltungsziel erreicht werden soll (zum Ganzen und ebenso Hofer in: Kommentar BGBB, N. 30 zu Art. 8 BGBB).
b) Hinsichtlich des Parzellenteils von GBN 1236 in der Bauzone sind sich die Parteien einig, dass diese Fläche körperlich geteilt werden dürfe. Sie übersehen freilich, dass der eingezonte Parzellenteil gestützt auf Art. 2 Abs. 2 lit. c BGBB von Gesetzes wegen unter die Regelung des BGBB fällt, solange keine Aufteilung entsprechend den Nutzungszonen erfolgt ist. Eine solche kann gestützt auf eine Ausnahme nach Art. 60 Abs. 1 lit. a BGBB vorgenommen werden.
Mit ihr fällt die Baulandfläche ohne weiteres aus dem Geltungsbereich des Gesetzes.
7.- Bei diesem Verfahrensausgang unterliegen die Beschwerdeführerinnen bzw. Beschwerdegegnerinnen im Wesentlichen.
Sie haben deshalb die Kosten für beide Beschwerdeverfahren zu übernehmen (Art. 156 Abs. 1 OG) und dem Beschwerdeführer die Parteikosten für die beiden Beschwerdeverfahren zu ersetzen (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.-Die Beschwerdeverfahren 5A.23/2000 und 5A.24/2000 werden vereinigt.
2.-Auf die Beschwerde von X._, Y._ und Z._ wird nicht eingetreten.
3.-Die Beschwerde von W._ wird teilweise dahin gutgeheissen, dass der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz (Kammer III) vom 26. Mai 2000 aufgehoben und die Sache zu neuer Entscheidung im Sinne der Erwägungen an das Verwaltungsgericht zurückgewiesen wird. Im Übrigen wird die Beschwerde abgewiesen.
4.- Die Gerichtsgebühr von Fr. 6'000.-- wird X._, Y._ und Z._ auferlegt.
5.- X._, Y._ und Z._ haben W._ für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen.
6.- Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, und dem Eidgenössischen Justiz- und Polizeidepartement, Beschwerdedienst, schriftlich mitgeteilt.
_
Lausanne, 26. Januar 2001
Im Namen der II. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: