Sachverhalt: A. A.X._ und B.X._ betreiben seit 2007 auf der in der Landwirtschaftszone der Gemeinde Oberiberg liegenden, 12.25 Hektaren grossen Parzelle "Geissberg" (KTN 474) eine Damhirschzucht. Am 26. Oktober 2010 reichten sie ein Gesuch für den Bau eines Betriebsleiterhauses ein. Das Gesuch wurde publiziert und öffentlich aufgelegt. Innert Frist gingen keine Einsprachen ein. Mit Gesamtentscheid vom 14. März 2011 verweigerte das kantonale Amt für Raumentwicklung gestützt auf den negativen Antrag des kantonalen Amts für Landwirtschaft die kantonale Bewilligung. Der Gemeinderat Oberiberg eröffnete den Gesuchstellern mit Beschluss vom 5. April 2011 den kantonalen Entscheid und verweigerte seinerseits die Baubewilligung. Darauf gelangten A.X._ und B.X._ mit Beschwerde an den Regierungsrat des Kantons Schwyz. Mit Beschluss vom 22. November 2011 wies dieser das Rechtsmittel ab. Eine dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 6. Juni 2012 ebenfalls ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht beantragen A.X._ und B.X._ im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben und das Baugesuch sei zu bewilligen. Eventualiter sei die Sache zur neuen Beurteilung an das Verwaltungsgericht zurückzuweisen. Das kantonale Amt für Raumentwicklung hat sich vernehmen lassen, ohne einen förmlichen Antrag zu stellen. Das Verwaltungsgericht und der Regierungsrat beantragen die Abweisung der Beschwerde, der Gemeinderat Oberiberg schliesst auf deren Gutheissung. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Raumentwicklung hat auf eine Stellungnahme verzichtet. Im Rahmen eines zweiten Schriftenwechsels nahmen die Beschwerdeführer, das kantonale Amt für Raumentwicklung, das Verwaltungsgericht und der Regierungsrat erneut inhaltlich Stellung.