Sachverhalt:
A.
A.X._ und B.X._ betreiben seit 2007 auf der in der Landwirtschaftszone der Gemeinde Oberiberg liegenden, 12.25 Hektaren grossen Parzelle "Geissberg" (KTN 474) eine Damhirschzucht. Am 26. Oktober 2010 reichten sie ein Gesuch für den Bau eines Betriebsleiterhauses ein. Das Gesuch wurde publiziert und öffentlich aufgelegt. Innert Frist gingen keine Einsprachen ein.
Mit Gesamtentscheid vom 14. März 2011 verweigerte das kantonale Amt für Raumentwicklung gestützt auf den negativen Antrag des kantonalen Amts für Landwirtschaft die kantonale Bewilligung. Der Gemeinderat Oberiberg eröffnete den Gesuchstellern mit Beschluss vom 5. April 2011 den kantonalen Entscheid und verweigerte seinerseits die Baubewilligung. Darauf gelangten A.X._ und B.X._ mit Beschwerde an den Regierungsrat des Kantons Schwyz. Mit Beschluss vom 22. November 2011 wies dieser das Rechtsmittel ab. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 6. Juni 2012 ebenfalls ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht beantragen A.X._ und B.X._ im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben und das Baugesuch sei zu bewilligen. Eventualiter sei die Sache zur neuen Beurteilung an das Verwaltungsgericht zurückzuweisen.
Das kantonale Amt für Raumentwicklung hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Das Verwaltungsgericht und der Regierungsrat beantragen die Abweisung der Beschwerde, der Gemeinderat Oberiberg schliesst auf deren Gutheissung. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung hat auf eine Stellungnahme verzichtet. Im Rahmen eines zweiten Schriftenwechsels nahmen die Beschwerdeführer, das kantonale Amt für Raumentwicklung, das Verwaltungsgericht und der Regierungsrat erneut inhaltlich Stellung.
Erwägungen:
1.
1.1. Angefochten ist ein letztinstanzlicher kantonaler Entscheid über eine öffentlich-rechtliche Angelegenheit (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Die Beschwerdeführer sind als Baugesuchsteller zur Beschwerdeführung legitimiert (Art. 89 Abs. 1 BGG). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
1.2. Der rechtserhebliche Sachverhalt geht aus den Akten hinreichend hervor. Auf die von den Beschwerdeführern beantragten Beweiserhebungen (Durchführung eines Augenscheins, Einholen eines Gutachtens, Zeugenbefragung) kann daher verzichtet werden.
2.
2.1. Die Beschwerdeführer bringen vor, sie hätten zusammen mit dem Amt für Landwirtschaft ein Betriebskonzept erarbeitet (Betriebskonzept "Agridea" vom 1. Juli 2009) und im kantonalen Verfahren verschiedentlich dessen Beizug beantragt. Beispielhaft verweisen sie dafür auf ihre Beschwerde an den Regierungsrat. Sie rügen, die Vorinstanzen hätten ihren Antrag in willkürlicher antizipierter Beweiswürdigung abgelehnt. Sie machen auch geltend, das Betriebskonzept sehe den Bau eines Wohnhauses vor. Im Vertrauen darauf hätten sie Dispositionen getroffen. Gestützt auf Art. 9 BV seien sie in ihrem Vertrauen zu schützen.
2.2. Die Beschwerdeführer verlangten den Beizug des Betriebskonzepts im Verfahren vor dem Regierungsrat im Zusammenhang mit der Anzahl Standardarbeitskräfte (SAK). Sie machten damals geltend, mit 1.006 SAK werde die erforderliche Zahl von 0.75 SAK deutlich überschritten. Der Regierungsrat stellte ohne Weiteres auf diese Angabe ab, ebenso das Verwaltungsgericht. Im verwaltungsgerichtlichen Verfahren machten die Beschwerdeführer weder eine Verletzung des rechtlichen Gehörs geltend noch verlangten sie zur Stützung anderer Argumente den Beizug des Betriebskonzepts. Eine willkürliche antizipierte Beweiswürdigung durch das Verwaltungsgericht liegt unter diesen Umständen nicht vor.
2.3. Der in Art. 9 BV verankerte Grundsatz von Treu und Glauben statuiert ein Verbot widersprüchlichen Verhaltens und verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Voraussetzung für eine Berufung auf Vertrauensschutz ist, dass die betroffene Person sich berechtigterweise auf die Vertrauensgrundlage verlassen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann. Die Berufung auf Treu und Glauben scheitert, wenn ihr überwiegende öffentliche Interessen entgegenstehen (BGE 137 I 69 E. 2.5.1 S. 72 f.; 131 II 627 E. 6 S. 636 ff.; 129 I 161 E. 4.1 S. 170; je mit Hinweisen).
Im Betriebskonzept wird unter dem Titel "Unternehmensstruktur" unter anderem ausgeführt:
"Gebäude: Auf dem Betrieb befindet sich ein alter Rindviehstall, der zum Zweck der neuen Nutzung angepasst werden soll. Kleinere ältere Ökonomiegebäude sind ebenfalls vorhanden. Ein Wohnhaus ist nicht vorhanden. Ein solches soll in den nächsten Jahren realisiert werden."
Diese Ausführungen sind rein beschreibend. Sie stellen den Ist-Zustand dar und weisen auf die Zukunftspläne der Betriebsleiterfamilie hin. Eine verbindliche Zusicherung, dass das von den Beschwerdeführern geplante Wohnhaus gebaut werden könne, ist darin nicht zu sehen. Im Anhang 4 zum Betriebskonzept, welcher unter anderem die Investitionen im Einzelnen auflistet, wird ein Wohnhaus denn auch nicht erwähnt. Es fehlt somit an einer Vertrauensgrundlage. Die Rüge der Verletzung von Art. 9 BV ist deshalb unbegründet.
3.
3.1. Die Beschwerdeführer machen geltend, das Verwaltungsgericht habe in Bezug auf eine Stellungnahme von Dr. med. vet. Q._ das rechtliche Gehör verletzt. Diese Stellungnahme sei nicht bei den vom Regierungsrat beigezogenen Akten gewesen, obwohl sie dem Amt für Landwirtschaft zugestellt worden sei. Die Stellungnahme sei für den Verfahrensausgang wesentlich. Auch wenn sie diese im Verfahren vor Verwaltungsgericht nochmals vorgelegt hätten, müsse der angefochtene Entscheid aufgehoben werden. Denn das Verwaltungsgericht habe sich nur mit der formellen Rüge der Gehörsverletzung befasst, sei aber nicht inhaltlich auf die Stellungnahme eingegangen. Es habe insofern eine willkürliche antizipierte Beweiswürdigung vorgenommen.
3.2. Das Verwaltungsgericht verneinte eine Verletzung des rechtlichen Gehörs mit der Begründung, es gebe keine Hinweise darauf, dass die betreffende Stellungnahme dem Amt für Landwirtschaft (oder später dem Regierungsrat) zugestellt worden sei. Aus den Akten geht indessen hervor, dass das Amt für Landwirtschaft von der betreffenden Stellungnahme zumindest Kenntnis hatte. Ob die Feststellung des Verwaltungsgerichts zu einer Verletzung des rechtlichen Gehörs führte, kann jedoch offen bleiben, da diese jedenfalls geheilt worden wäre. Das Verwaltungsgericht hat nämlich in seinem Entscheid die Stellungnahme des Veterinärmediziners wiedergegeben und sich mit den darin geäusserten Argumenten auseinandergesetzt. Letztere betreffen den Aufwand für die Tierbetreuung, mithin eine Sachverhaltsfrage, die das Verwaltungsgericht frei überprüfen konnte. Auch hinsichtlich der in diesem Zusammenhang zu beantwortenden Rechtsfrage, ob die Baute für die in Frage stehende Bewirtschaftung nötig ist (Art. 34 Abs. 4 lit. a RPV), verfügte das Verwaltungsgericht über dieselbe Kognition wie seine Vorinstanzen (§ 55 Abs. 1 der Verordnung des Kantons Schwyz vom 6. Juni 1974 über die Verwaltungsrechtspflege [SRSZ 234.110]). Eine Rückweisung der Sache zur neuen Beurteilung an das Verwaltungsgericht würde zu einem formalistischen Leerlauf führen. Unter diesen Umständen ist eine eventuelle Verletzung des Anspruchs auf rechtliches Gehör als geheilt zu betrachten (zum Ganzen: Urteil 4A_273/2012 vom 30. Oktober 2012 E. 3.3 mit Hinweisen, nicht publ. in: BGE 138 III 620).
Da sich das Verwaltungsgericht mit den in der Stellungnahme vorgebrachten Argumenten auseinandergesetzt hat, liegt auch keine (zulässige oder unzulässige) antizipierte Beweiswürdigung vor. Die betreffende Rüge ist ebenfalls unbegründet.
4.
4.1. Die Beschwerdeführer kritisieren, das Verwaltungsgericht habe die Vermutung geäussert, sie würden im geplanten Bau entgegen ihrer Behauptungen gar kein Kleinschlachtlokal bauen wollen. Diese Vermutung sei neu. Das Verwaltungsgericht habe das rechtliche Gehör verletzt, indem es ihnen nicht die Möglichkeit gegeben habe, vor dem Urteil dazu Stellung zu nehmen.
4.2. Nach der Rechtsprechung muss einem Betroffenen grundsätzlich Gelegenheit zur Äusserung geboten werden, wenn eine Rechtsmittelbehörde eine neue rechtliche Würdigung vorzunehmen gedenkt, mit welcher nicht zu rechnen war (BGE 132 II 485 E. 3.2 und 3.4 S. 494 f.; 126 I 19 E. 2c S. 22 ff.; je mit Hinweisen). Hier geht es jedoch nicht um eine unvorhersehbare rechtliche Würdigung, sondern um die Beweiswürdigung. Wenn das Verwaltungsgericht die Beweise anders würdigt als die Beschwerdeführer, so liegt darin keine Verletzung des rechtlichen Gehörs, auch wenn die Beschwerdeführer das konkrete Ergebnis so nicht erwarteten. Die Beschwerdeführer hatten Gelegenheit, in die Akten Einsicht zu nehmen und sich dazu zu äussern. Damit wurde ihr Anspruch auf rechtliches Gehör gewahrt. Die betreffende Vermutung war im Übrigen auch nicht entscheidwesentlich, wie im Folgenden dargelegt wird. Die Rüge der Verletzung des rechtlichen Gehörs ist unbegründet.
5.
5.1. Die Beschwerdeführer bringen weiter vor, sie hätten im kantonalen Verfahren eine Stellungnahme des stellvertretenden Kantonstierarztes vom 26. April 2011 eingereicht. Daraus gehe hervor, dass sie wegen den neuen gesetzlichen Anforderungen zur Erstellung eines Kleinschlachtlokals verpflichtet seien und dass der stellvertretende Kantonstierarzt die Schaffung von Wohnraum als sinnvoll erachte. Sie kritisieren, das Verwaltungsgericht habe sich weder zur Stellungnahme geäussert noch den stellvertretenden Kantonstierarzt als Zeugen befragt.
5.2. Entgegen der Darstellung der Beschwerdeführer hat das Verwaltungsgericht die genannte Stellungnahme erwähnt und sich mit der darin geäusserten Auffassung auseinandergesetzt. Eine Verletzung des rechtlichen Gehörs liegt insoweit nicht vor. Weshalb das Verwaltungsgericht den stellvertretenden Kantonstierarzt nicht als Zeugen vorgeladen hat, geht aus dem angefochtenen Entscheid zwar nicht explizit hervor. Im Ergebnis ergibt sich daraus dennoch mit hinreichender Klarheit, weshalb es davon absah. Das Verwaltungsgericht führte aus, dass von der in Aussicht genommenen Erstellung eines Kleinschlachtlokals nicht auf die Unentbehrlichkeit von Wohnraum auf dem Betrieb geschlossen werden könne. War somit nach Ansicht des Verwaltungsgerichts das geplante Kleinschlachtlokal für die zu beurteilende Frage der Zulässigkeit der Schaffung von Wohnraum gar nicht wesentlich, so konnte es willkürfrei davon absehen, den stellvertretenden Kantonstierarzt als Zeugen vorzuladen. Der Anspruch der Beschwerdeführer auf rechtliches Gehör wurde auch insoweit nicht verletzt. Ob die Argumentation des Verwaltungsgerichts inhaltlich zu überzeugen vermag, betrifft nicht das rechtliche Gehör, sondern die inhaltliche Beurteilung. Darauf ist weiter unten einzugehen.
6.
6.1. In der Sache rügen die Beschwerdeführer eine Verletzung von Art. 16a RPG (SR 700) und Art. 34 Abs. 3 RPV (SR 700.1). Das Verwaltungsgericht sei zu Unrecht zum Schluss gekommen, der geplante Bau sei in der Landwirtschaftszone nicht zonenkonform. Die Beschwerdeführer beschreiben im Detail die einzelnen bei der Damhirschzucht anfallenden Arbeiten (insbesondere die Fütterung der Tiere, das Heuen, die Wartung der Tränke, die Überwachung und Pflege der Tiere, das Eingreifen bei Fütterung durch Touristen und bei bellenden Hunden, das Ausmisten, die Zaunkontrolle, das Töten und Verbringen zur Schlachtanlage, die Vermarktung und die Schneeräumung). Sie weisen darauf hin, der Betrieb sei auf 1180 m ü. M. und in steilem Gelände gelegen, die Winter seien lang und hart, die Schneemengen gross und die Lage sehr windexponiert. Sie kommen gestützt darauf zum Schluss, die Tierhaltung verlange nach einer ständigen Präsenz, und werfen dem Verwaltungsgericht vor, die notwendigen Arbeiten nicht in ihrer Gesamtheit gewürdigt zu haben. Die Bewilligung stehe auch nicht im Widerspruch zu öffentlichen Interessen. Der Betrieb könne als strukturpolitisch erwünscht angesehen werden und wegen des geplanten Kleinschlachtlokals seien ohnehin Erschliessungsanlangen zu erstellen.
6.2. Das Verwaltungsgericht führt im Wesentlichen aus, das Amt für Landwirtschaft habe festgehalten, dass die Betreuung von Damhirschen keinen wesentlich höheren Betreuungsaufwand als die Schafhaltung erfordere. Letztere bedinge jedoch nach der Rechtsprechung grundsätzlich keine Unterkunft in der Landwirtschaftszone. Dass auf dem Betrieb der Beschwerdeführer ein Arbeitsbedarf von ca. 1 SAK zu erwarten sei, bedeute nicht, dass es einer ständigen Anwesenheit bedürfe. Auch der Hinweis der Beschwerdeführer auf die zeitintensive Fütterung, die Wartung der Tränke und des Maschinenparks, den am Betrieb vorbeiführenden Wanderweg und die Vermarktung des Fleisches begründe keine betriebliche Notwendigkeit der Wohnsitznahme. Sollten die Wanderer tatsächlich ein Problem darstellen - was aufgrund der auf der Homepage der Beschwerdeführer publizierten Aufforderung, einen Spaziergang zum Damhirschgehege zu machen, wohl eher unwahrscheinlich sei - könnte mit der Begrünung des Aussenzauns der erforderliche Schutz für die Tiere gewährleistet werden. Der Fleischverkauf an zufällig vorbeikommende Passanten sei zudem von untergeordneter Bedeutung. Der Betrieb liege weder an einer Durchfahrtsstrasse noch an einem offiziellen Wanderweg und im Übrigen sei es beim Verkauf von Fleisch direkt ab Hof üblich, dass der Kunde die Bestellung telefonisch aufgebe. Berücksichtigt werden dürfe schliesslich, dass die Beschwerdeführer die Damhirschzucht schon seit mehreren Jahren von ihrem jetzigen Wohnort im Dorf aus betrieben und beide zudem noch einer anderen Erwerbstätigkeit nachgingen.
Die nächste Wohnzone sei auch nicht weit entfernt oder schwer erreichbar. Die Distanz zur jetzigen Wohnung betrage ca. 2.1 km. Die Beschwerdeführer könnten den Betrieb das ganze Jahr über in wenigen Minuten mit dem Auto erreichen. Selbst wenn im Winter das letzte Wegstück zu Fuss zurückgelegt werden müsse und in Berücksichtigung des Umstands, dass das letzte, von den Beschwerdeführern selbst vom Schnee zu räumende Wegstück ca. 400 m betrage, seien es weniger als 20 Minuten. In dieser Hinsicht dürfe nach der bundesgerichtlichen Rechtsprechung zudem berücksichtigt werden, dass sich die Anzahl der notwendigen Kontrollgänge allenfalls mit technischen Überwachungseinrichtungen mit geringem Aufwand verringern lasse.
Nach dem angefochtenen Entscheid ist schliesslich nicht entscheidend, ob für den Betrieb der Bau eines Kleinschlachtlokals erforderlich ist. Das Verwaltungsgericht stellt zudem in Frage, ob ein solches überhaupt ernsthaft geplant sei. Die Baugesuchsunterlagen wiesen einen Verarbeitungsraum mit einer Fläche von 12 m2 und einen Kühlraum mit einer Fläche von 7 m2 aus. Gemäss dem Schreiben des stellvertretenden Kantonstierarztes vom 26. April 2011 müsste ein Kleinschlachtlokal aber mindestens 25 m2 gross sein. Zudem daure die Fahrt von Oberiberg nach Einsiedeln 20 bis 30 Minuten, der Transport der getöteten Tiere zur dortigen Metzgerei sollte deshalb innerhalb einer Stunde möglich sein. Im Übrigen seien auch Schlachtbetriebe grundsätzlich in der Bauzone zu erstellen.
6.3. In der Landwirtschaftszone sind nach Art. 16a RPG Bauten und Anlagen zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind. In Bezug auf Wohnbauten wird Art. 16a RPG in Art. 34 Abs. 3 RPV konkretisiert. Bauten für den Wohnbedarf sind danach zonenkonform, wenn sie für den Betrieb des entsprechenden landwirtschaftlichen Gewerbes unentbehrlich sind. Das setzt nach der Rechtsprechung voraus, dass aus betrieblichen Gründen die ständige Anwesenheit der bewirtschaftenden Personen erforderlich und die nächste Wohnzone weit entfernt und schwer erreichbar ist (BGE 125 III 175 E. 2b S. 177 f.; 121 II 307 E. 3b S. 310 f.; Urteil 1C_67/2007 vom 20. September 2007 E. 3.1; je mit Hinweisen). Wohnraum ausserhalb der Bauzone ist nur zulässig, wenn die Bewirtschaftung aus objektiven Gründen nicht von der Bauzone aus möglich ist. Ob dies zu bejahen ist, hängt insbesondere von Art und Umfang der betriebsnotwendigen Überwachungsaufgaben, von der Distanz zur nächsten Wohnzone sowie von der Frage ab, ob das Gewerbe hauptberuflich ausgeübt wird. Ist die Betriebsführung auch von einer Wohnzone aus möglich oder verlangen die betrieblichen Verhältnisse keine dauernde Anwesenheit, fehlt es am erforderlichen sachlichen Bezug des Bauvorhabens zur landwirtschaftlichen Produktion (Urteil 1C_67/2007 vom 20. September 2007 E. 3.1 mit Hinweisen).
In jedem einzelnen Fall ist nach objektiven Kriterien aufgrund einer gesamthaften, mehr an qualitativen denn an quantitativen Faktoren anknüpfenden Betrachtungsweise zu beurteilen, ob eine betriebliche Notwendigkeit besteht, ausserhalb der Bauzonen Wohnsitz zu nehmen, und damit das Wohnen in der Landwirtschaftszone im Sinne von Art. 16a RPG als zonenkonform bezeichnet werden kann. Auf subjektive Vorstellungen und Wünsche des Einzelnen kann es ebenso wenig ankommen wie auf die persönliche Zweckmässigkeit und Bequemlichkeit (BGE 121 II 67 E. 3a S. 69, 307 E. 3b S. 311; Urteil 1A.184/2006 vom 15. Februar 2007 E. 3.3; je mit Hinweisen).
6.4. Das Amt für Landwirtschaft als fachkundige Behörde (vgl. BGE 108 Ib 130 E. 3c S. 135 f.) begründete seinen Antrag auf Verweigerung der Bewilligung mit der fehlenden betrieblichen Notwendigkeit einer Wohnbaute. Im Einzelnen führte es Folgendes aus:
"Bei der Damhirschhaltung handelt es sich um eine Wildtierhaltung, welche gegenüber einer Milchtierhaltung einer bedeutend weniger intensiven Betreuung bedarf. Die Damhirsche werden in dauernder Weidehaltung sehr naturnah gehalten (Kalb bleibt nach dem Setzen beim Muttertier). Über die Wintermonate müssen die Tiere zwar zweimal täglich gefüttert werden. Ausserdem müssen die Zäune in regelmässigen Abständen (gemäss Angaben der Bauherrschaft jede Woche) auf Beschädigungen überprüft werden. Die ständige Anwesenheit beim Ökonomiegebäude ist aus der Sicht des Amtes für Landwirtschaft auch unter Berücksichtigung der Argumente im Schreiben der Pfister & Partner Rechtsanwälte [...] nicht erforderlich."
6.5. Entgegen der Ansicht der Beschwerdeführer hat das Verwaltungsgericht die von ihnen aufgelisteten Arbeiten in ihrer Gesamtheit gewürdigt. Dabei ist es von den Feststellungen des Amts für Landwirtschaft ausgegangen und hat sich zudem mit den Vorbringen der Beschwerdeführer hinsichtlich einzelner Arbeiten auseinandergesetzt. Zu Recht hat es dabei das Hauptaugenmerk nicht einfach auf den zeitlichen Gesamtarbeitsaufwand gelegt (welcher approximativ in der nicht umstrittenen Grösse von ca. 1 SAK zum Ausdruck kommt), sondern auf das Erfordernis der ständigen Anwesenheit auf dem Betrieb. Was die Beschwerdeführer in dieser Hinsicht vorbringen, ist nicht geeignet, die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG) und die Rechtsanwendung als bundesrechtswidrig erscheinen zu lassen. So ist nicht ersichtlich, weshalb die Beschwerdeführer ständig vor Ort sein müssten, um die Tränke zu warten und etwa bei einer einfrierenden Wasserleitung eingreifen zu können. Dasselbe gilt für Hunde und Touristen, welche die Tiere erschrecken bzw. füttern könnten. Von den Beschwerdeführern ist zu erwarten, dass sie die Anlage so gestalten, dass dieses Risiko möglichst klein gehalten wird. Dass in dieser Hinsicht während der Jahre, die der Betrieb bereits besteht, ernsthafte Probleme entstanden sind, machen die Beschwerdeführer nicht geltend. Schliesslich erscheint auch die Vermarktung des Damhirschfleisches durch die Beibehaltung des Wohnsitzes in der Wohnzone nicht wesentlich beeinträchtigt. Die Vorinstanz hat festgehalten, dass der Verkauf zur Hauptsache über die Homepage der Beschwerdeführer und telefonisch erfolgt, während der Verkauf an Passanten vor Ort untergeordnete Bedeutung habe. Letzterer wird zudem nicht ausgeschlossen, wenn die Beschwerdeführer wie bisher auf dem Betrieb arbeiten, ohne dort zu wohnen; für den Fall ihrer Abwesenheit kann auch mit einem Schild auf die Verkaufsmöglichkeiten aufmerksam gemacht werden. Hinsichtlich der Überwachungsaufgaben, die die Damhirschzucht mit sich bringt, hat das Verwaltungsgericht zudem zu Recht darauf hingewiesen, dass sich diese teilweise mit geringem Aufwand durch technische Überwachungseinrichtungen reduzieren lassen (vgl. Urteil 1C_67/2007 vom 20. September 2007 E. 3.4 mit Hinweis).
Die Beschwerdeführer wohnen ca. 2.1 km vom Betrieb entfernt. Das Verwaltungsgericht geht davon aus, dass diese Strecke mit dem Auto in wenigen Minuten bewältigt werden könne. Diese Feststellung scheint haltbar. Die Beschwerdeführer machen zwar geltend, der Gemeinderat Oberiberg habe mitgeteilt, es sei höchstens mit einem Fussmarsch von 20-25 Minuten zu rechnen. Ein Widerspruch zu den Feststellungen des Verwaltungsgerichts, das nach dem Gesagten von einer Autofahrt ausgeht, besteht insoweit nicht. Unmassgeblich ist zudem, dass die Beschwerdeführer die Schneeräumung des letzten Wegstücks von ca. 400 m selber besorgen müssen. Zum einen fällt diese Arbeit nicht täglich an, zum andern würde sie auch bei Verlegung des Wohnsitzes der Beschwerdeführer auf den Betrieb nicht entfallen. Sie ist deshalb im Rahmen des gesamten Arbeitsaufwands zu berücksichtigen, nicht aber für die Berechnung der Wegzeit.
Der Einwand der Beschwerdeführer, es müsse nach den neuen rechtlichen Anforderungen auf dem Betrieb ohnehin ein Kleinschlachtlokal errichtet werden und es sei unverhältnismässig, nicht gleichzeitig auch eine Wohnbaute zu bewilligen, verfängt nicht. Auch wenn ein Kleinschlachtlokal mit relativ geringen Mehrkosten durch eine Wohnung ergänzt werden könnte, wie die Beschwerdeführer behaupten, kann Wohnraum nur aufgrund der genannten, restriktiven Kriterien bewilligt werden. Diese sind hier nach dem Gesagten nicht erfüllt. Ob das von den Beschwerdeführern geplante Kleinschlachtlokal bewilligt werden könnte, muss deshalb vorliegend nicht beurteilt werden. Aus demselben Grund erübrigt sich eine Auseinandersetzung mit den in diesem Zusammenhang in der Beschwerdeschrift vorgebrachten Sachverhaltsrügen: Ob die Vorinstanz die Erreichbarkeit des nächstgelegenen Schlachtlokals korrekt festgestellt und ob sie die Absicht der Beschwerdeführer, im Untergeschoss des geplanten Baus tatsächlich ein eigenes Kleinschlachtlokal einzurichten, zu Recht in Frage gestellt hat, ist nicht entscheidwesentlich (Art. 97 Abs. 1 BGG).
Insgesamt erscheint die dauernde Anwesenheit der Beschwerdeführer auf dem Betrieb somit nicht unentbehrlich. Die Rüge der Verletzung von Art. 16a RPG und Art. 34 Abs. 3 RPV ist unbegründet.
7.
Die Beschwerde ist abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zuzusprechen (Art. 68 Abs. 1-3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Beschwerdeführern, dem Gemeinderat Oberiberg, dem Amt für Raumentwicklung, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 19. August 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold