Sachverhalt:
A. V._ hat am 11. September 2007 von seinem Grossvater, U._, zwei landwirtschaftliche Liegenschaften in A._/SZ gekauft. Am 7. Januar 2008 starb U._. Am 27. März 2008 ersuchte V._ das Amt für Landwirtschaft, Agrarmassnahmen und Bodenrecht des Kantons Schwyz (Landwirtschaftsamt) um die Feststellung, dass die beiden erwähnten Liegenschaften zusammen ein landwirtschaftliches Gewerbe bilden. Der Grund für diesen Antrag war eine noch immer andauernde erbrechtliche Auseinandersetzung im Zusammenhang mit dem Nachlass von U._, bei welcher die Bewertung der Liegenschaften massgeblich ist.
Mit Verfügung vom 25. April 2008 stellte das Landwirtschaftsamt des Kantons Schwyz fest, dass die beiden Grundstücke wohl landwirtschaftliche Grundstücke seien, allerdings kein landwirtschaftliches Gewerbe bildeten. Es begründete dies im Wesentlichen damit, dass die für eine Anerkennung eines Gewerbes erforderliche Standardarbeitskraft (SAK) von 0.75 nicht erreicht werde; die entsprechende Berechnung ergebe vielmehr einen Wert von bloss 0.694 SAK. Gegen diese Verfügung beschwerte sich V._ ohne Erfolg beim Verwaltungsgericht des Kantons Schwyz; dieses wies die Beschwerde mit Urteil vom 27. Mai 2009 ab.
Gegen das Urteil des Verwaltungsgerichts vom 27. Mai 2009 führte V._ Beschwerde beim Bundesgericht. Dieses hiess das Rechtsmittel mit Urteil 2C_450/2009 vom 10. Februar 2011 (<ref-ruling>) gut, und es wies die Angelegenheit zur Neubeurteilung, insbesondere zur Neuberechnung des SAK-Wertes, an das Verwaltungsgericht des Kantons Schwyz zurück.
B. Das Verwaltungsgericht liess in der Folge vom Landwirtschaftsamt eine Neuberechnung der erforderlichen Standardarbeitskraft vornehmen: Letzteres kam zum Schluss, dass bei Berücksichtigung der bundesgerichtlichen Vorgaben ein Arbeitskraftbedarf von 0.806 SAK resultiere, womit die Gewerbegrenze erreicht sei. Daraufhin hiess das Verwaltungsgericht die von V._ erhobene Beschwerde mit Urteil vom 21. Dezember 2011 gut und stellte fest, dass die fraglichen Grundstücke zusammen ein landwirtschaftliches Gewerbe bilden.
C. Mit Eingabe vom 15. Februar 2012 führen vier weitere direkte Nachkommen des verstorbenen vormaligen Landeigentümers U._, nämlich X._, Y._, Z._ und W._, Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen im Wesentlichen die Aufhebung des Urteils des Verwaltungsgerichts vom 21. Dezember 2011 sowie die Feststellung, dass die fraglichen Grundstücke zusammen kein landwirtschaftliches Gewerbe bilden.
V._ sowie das Verwaltungsgericht des Kantons Schwyz schliessen auf Abweisung der Beschwerde. Das Bundesamt für Justiz hat auf eine Stellungnahme verzichtet.
Mit Eingabe vom 9. Juli 2012 nahmen X._, Y._, Z._ und W._ zum Vernehmlassungsergebnis Stellung.

Erwägungen:
1. 1.1 Nach Art. 84 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) kann, wer ein schutzwürdiges Interesse hat, von der Bewilligungsbehörde feststellen lassen, ob ein landwirtschaftliches Gewerbe oder Grundstück dem Realteilungsverbot, dem Zerstückelungsverbot, dem Bewilligungsverfahren oder der Belastungsgrenze unterliegt (lit. a) oder der Erwerb eines landwirtschaftlichen Gewerbes oder Grundstücks bewilligt werden kann (lit. b). Gemäss der bundesgerichtlichen Rechtsprechung können zudem auch die Begriffsbestimmungen von Art. 6-10 BGBB zum Gegenstand einer Feststellungsverfügung gemacht werden (<ref-ruling> E. 2.1 S. 189 f., 129 III 693 E. 3 S. 695). Um eine solche Angelegenheit geht es hier, da die Qualifikation als landwirtschaftliches Gewerbe gemäss <ref-law> im Streit liegt (vgl. E. 2 hiernach). Letztinstanzliche kantonale Beschwerdeentscheide unterliegen <ref-law> zufolge der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht in Anwendung von <ref-law>.
1.2 Die vorliegend zu beurteilende Beschwerde ist innert der gesetzlichen Frist eingereicht worden (<ref-law>). Die Beschwerdeführer im bundesgerichtlichen Verfahren waren zwar weder Gesuchsteller im Verfahren vor dem Landwirtschaftsamt noch Beschwerdeführende im Verfahren vor dem Verwaltungsgericht. Indessen haben sie am vorinstanzlichen Verfahren als Beigeladene und am bereits erwähnten bundesgerichtlichen Verfahren 2C_450/2009 als Beschwerdegegner teilgenommen. Sie führen zudem ins Feld, dass sie sich mit dem Beschwerdegegner im vorliegenden Verfahren auch in einer gerichtlichen Auseinandersetzung betreffend erbrechtliche Herabsetzungsansprüche befänden, wobei der Frage nach der Qualifikation der streitbetroffenen Grundstücke als landwirtschaftliches Gewerbe eine entscheidende Bedeutung zukomme: Das damit verbundene Preisprivileg des Ertragswertes habe zur Folge, dass ihre erbrechtlichen Pflichtteilsansprüche beeinträchtigt würden. Bei dieser Sachlage ist ein schutzwürdiges Interesse der Beschwerdeführer an einer Aufhebung oder Änderung des angefochtenen Entscheids zu bejahen (<ref-law>). Auf die Beschwerde ist grundsätzlich einzutreten.
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Nach <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid das massgebliche Recht verletzt (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>).
1.4 Die Erwägungen eines bundesgerichtlichen Rückweisungsurteils sind sowohl für jene Behörde verbindlich, an welche die Angelegenheit zurück geht, als auch für das Bundesgericht selber, wenn dieses erneut über die Sache zu entscheiden hat. Weder das kantonale Gericht noch das Bundesgericht dürfen sich deshalb in ihrem neuen Entscheid auf Erwägungen stützen, welche das Bundesgericht im Rückweisungsurteil ausdrücklich oder sinngemäss verworfen hat (<ref-ruling> E. 5.2 S. 94; <ref-ruling> E. 3c/bb S. 354; Urteile 2C_651/2012 vom 28. September 2012 E. 2; P 41/05 vom 8. Februar 2007 E. 6 mit Hinweisen). Im konkreten Fall hatte sich das Verwaltungsgericht des Kantons Schwyz somit an die Erwägungen in <ref-ruling> zu halten. Gleiches gilt für das Bundesgericht im vorliegenden Verfahren.
2. Nach <ref-law> - in der hier noch anwendbaren Fassung vom 20. Juni 2003 (AS 2003 4123; dazu Art. 95a in Verbindung mit <ref-law>) - gilt als landwirtschaftliches Gewerbe eine Gesamtheit von landwirtschaftlichen Grundstücken, Bauten und Anlagen, die als Grundlage der landwirtschaftlichen Produktion dient und zu deren Bewirtschaftung, wenn sie landesüblich ist, mindestens drei Viertel einer Standardarbeitskraft nötig sind.
Für die Berechnung einer Standardarbeitskraft massgeblich sind die landwirtschaftliche Nutzfläche und die Anzahl der Nutztiere (gemessen in Grossvieheinheiten), ergänzt durch Zuschläge bei bestimmten besonderen Voraussetzungen wie etwa für Hang- bzw. Steillagen im Berggebiet oder in der Hügelzone oder für den betriebseigenen Wald (Art. 2a Abs. 1 und Abs. 2 der Verordnung vom 4. Oktober 1993 über das bäuerliche Bodenrecht [VBB; SR 211.412.110]; Art. 3 der Verordnung vom 7. Dezember 1998 über landwirtschaftliche Begriffe und die Anerkennung von Betriebsformen [Landwirtschaftliche Begriffsverordnung, LBV; SR 910.91]).
Die landwirtschaftliche Nutzfläche bildet dabei in mehrfacher Hinsicht Grundlage für die Berechnung der Standardarbeitskraft. Einerseits gilt sie für sich allein genommen als Berechnungsfaktor (Art. 3 Abs. 2 lit. a und Art. 14 LBV), andererseits kommt ihr sowohl als Futterfläche für die Viehhaltung als auch als Ausbringungsort für Hofdünger eine Bedeutung zu: Je grösser die Fläche ist, desto grösser ist der Futterertrag und desto mehr Dünger kann ausgebracht werden, was wiederum Auswirkungen darauf hat, wie viel Vieh gehalten werden kann (<ref-ruling> E. 3.2.1.1 S. 186 f.).
Bezüglich der Ausbringung von Hofdünger gilt es, Art. 14 Abs. 1, 4 und 6 des Gewässerschutzgesetzes vom 24. Januar 1991 (GSchG; SR 814.20) zu beachten, wonach auf jedem Betrieb mit Nutztierhaltung eine ausgeglichene Düngerbilanz anzustreben ist und auf 1 ha Nutzfläche höchstens drei Düngergrossvieheinheiten (DGVE) entfallen dürfen, wobei dieser Wert von der kantonalen Behörde herabzusetzen ist, wenn Bodenbelastbarkeit, Höhenlage und topographische Verhältnisse dies erfordern.
3. 3.1 In <ref-ruling> beanstandete das Bundesgericht die ursprüngliche Berechnung der Standardarbeitskraft in mehrfacher Weise:
So hatten sich die Vorinstanzen etwa bei der Bemessung der Anzahl möglicher Grossvieheinheiten auf die Bestimmungen der Verordnung vom 7. Dezember 1998 über die Direktzahlungen an die Landwirtschaft (Direktzahlungsverordnung, DZV; SR 910.13) abgestützt. Das Bundesgericht erachtete es aber als unzulässig, für die Berechnung des Produktionspotenzials im Rahmen von <ref-law> auf über die normalen gewässer- und umweltschutzrechtlich hinausgehende Anforderungen der Direktzahlungsverordnung abzustellen, da das System der Direktzahlungen grundsätzlich freiwillig ist.
Weiter gelangte das Bundesgericht zum Schluss, dass in der hier betroffenen Bergzone I gemäss kantonalem Recht generell ein gewässerschutzrechtlicher Grenzwert von 1.8 DGVE pro Hektar Nutzfläche gilt, und somit nicht ein Wert von 1.4 DGVE/ha zur Anwendung kommt, wie dies die Vorinstanzen angenommen hatten. Das Bundesgericht rief aber in Erinnerung, dass der Wert von 1.8 DGVE/ha lediglich eine obere Grenze bildet, welche nicht überschritten werden darf; massgebend bleibt die für den einzelnen Betrieb vorzunehmende Nährstoffbilanz, welche ausgeglichen zu sein hat (Art. 14 Abs. 1 GschG). Bei der Berechnung derselben kann auf die Methode "Suisse-Bilanz" abgestellt werden, wobei die zu beachtenden Werte aber nicht diejenigen der Direktzahlungsverordnung, sondern jene des Gewässerschutzrechtes sind.
Schliesslich ordnete das Bundesgericht an, dass zur genaueren Erhebung der Landwirtschaftsfläche auf den betroffenen Grundstücken eine Feststellung der Waldfläche vorzunehmen ist.
3.2 Der Berechnung eines SAK-Wertes von neu 0.806 (statt zuvor 0.694), auf welche sich das vorliegend angefochtene verwaltungsgerichtliche Urteil vom 21. Dezember 2011 stützt, liegen folgende Modifikationen zugrunde:
Zum einen hat das Landwirtschaftsamt gemeinsam mit dem kantonalen Amt für Naturgefahren eine Neuberechnung der Waldflächen vornehmen lassen, welche aufgezeigt habe, dass die landwirtschaftliche Nutzfläche auf den streitbetroffenen Grundstücken im Vergleich zur ursprünglichen Feststellungsverfügung leicht höher sei und insgesamt 7.1 ha statt wie bisher angenommen 6.85 ha betrage.
Sodann wurde die landwirtschaftliche Nutzfläche in vollem Umfang als düngbare Fläche betrachtet; namentlich wurde auf Korrekturabzüge (etwa von ökologischen Ausgleichsflächen) verzichtet, welche aufgrund der Direktzahlungsverordnung hätten vorgenommen werden müssen.
Ferner wurde der als massgeblich betrachtete gewässerschutzrechtliche Grenzwert bei einer ausgeglichenen Nährstoffbilanz neu auf 1.64 DGVE/ha festgelegt.
4. 4.1 Die Beschwerdeführer rügen eine Verletzung von <ref-law>: Die Vorinstanz sei bei ihrem Entscheid entgegen dem Wortlaut dieser Bestimmung und entgegen der bundesgerichtlichen Anweisung nicht von einer landesüblichen bzw. durchschnittlichen Bewirtschaftung ausgegangen, sondern sie habe auf rein theoretische, offensichtlich weit über den landesüblichen bzw. durchschnittlichen Formen liegende Bewirtschaftung abgestellt. Der Umstand, dass der gewässerschutzrechtliche Grenzwert von 1.8 DGVE/ha beim anrechenbaren Tierbestand grundsätzlich ausgeschöpft werden dürfe, führe nicht automatisch dazu, dass eine solche oder eine ähnlich hohe Limite auch der durchschnittlichen bzw. landesüblichen Bewirtschaftungsform entspreche. In diesem Sinne habe denn auch das Landwirtschaftsamt in seinen Stellungnahmen festgehalten, dass die angepasste Nährstoffbilanz (ohne ökologische Ausgleichsflächen) von theoretisch möglichen Raufuttererträgen und entsprechenden Tierzahlen ausgehe und nicht der damaligen, über Jahre ausgewiesenen, effektiven Praxis entspreche. Sogar die Vorinstanz selbst habe einräumen müssen, dass sie bei ihrer Berechnung des Arbeitsbedarfs auf den fraglichen Grundstücken von einer sehr intensiven, in den letzten Jahren unstreitig nicht verwirklichten Bewirtschaftung ausgegangen sei. Landesüblich - so die Beschwerdeführer weiter - sei dagegen eine Bewirtschaftung gemäss den Anforderungen der Direktzahlungsverordnung, weil ca. 99 % der landwirtschaftlichen Gewerbe im Berggebiet Direktzahlungen bezögen und deshalb die entsprechenden Vorgaben einhalten müssten. Die Flächenzunahme um 0.25 ha aufgrund der Neuberechnung der Waldfläche wird von den Beschwerdeführern dagegen nicht beanstandet.
4.2 Die Einwendungen der Beschwerdeführer überzeugen nicht: Die Anforderungen der Direktzahlungsverordnung, welche die Beschwerdeführer als Massstab für das Landesübliche angewendet haben wollen, wurden in <ref-ruling> E. 3.2.3 und E. 3.2.4.3 S. 187 f., 190 ausdrücklich als nicht massgeblich bezeichnet. Vielmehr hat das Bundesgericht in seinem Rückweisungsentscheid der Vorinstanz ausdrücklich eine Neubeurteilung aufgrund der anwendbaren gewässerschutzrechtlichen Grenzwerte aufgetragen, woran sich das Verwaltungsgericht in der Folge auch gehalten hat. Ob die entsprechend angepasste Nährstoffbilanz bzw. der vom Landwirtschaftsamt errechnete und vom Verwaltungsgericht übernommene Grenzwert von 1.64 DGVE/ha einer Bewirtschaftungsform entspricht, wie sie auf den fraglichen Grundstücken in den letzten Jahren praktiziert wurde, ist unerheblich: In <ref-ruling> E. 3.1 S. 186 hielt das Bundesgericht fest, dass es für die Beurteilung der Frage, ob ein landwirtschaftliches Gewerbe vorliegt, einzig auf objektive Kriterien und nicht auf die tatsächliche Nutzung ankommt, da die Anwendung des Gesetzes ansonsten dem Einflussbereich des Grundeigentümers überlassen würde. Schliesslich kann auch keine Rede davon sein, dass die vom Verwaltungsgericht angenommenen möglichen Raufutter- bzw. Felderträge auf einer offensichtlich weit über den landesüblichen Formen liegenden Bewirtschaftung basieren würden: Im angefochtenen Entscheid hat die Vorinstanz aufgezeigt, dass die der Berechnung der Standardarbeitskraft zugrunde gelegten Felderträge zwar einer mittel-intensiven bis intensiven Nutzung entsprechen, jedoch im Vergleich mit dem Ertrag von Wiesen und Weiden gemäss Wegleitung "Suisse-Bilanz" (Stand April 2010) nicht als überhöht erscheinen würden. Bei den Nutzflächen mit Hangneigung seien zudem klar tiefere Werte berücksichtigt worden, welche mit den Angaben in der Plausibilitätstabelle der Landwirtschafts- und Umweltämter der Zentralschweiz vom 13. Januar 2003 zur Überprüfung der Felderträge auf Wiesen und Weiden im Rahmen der "Suisse-Bilanz" übereinstimmten. Diese Feststellungen der Vorinstanz werden von den Beschwerdeführern zwar pauschal als unbeachtlich bezeichnet, jedoch nicht substantiiert bestritten.
5. Schliesslich rügen die Beschwerdeführer, die Vorinstanz habe auch den rechtserheblichen Sachverhalt unrichtig und unvollständig festgestellt, zumal sie die landesüblichen bzw. durchschnittlichen Bewirtschaftungsformen noch nicht einmal ermittelt resp. festgestellt habe. Die Rüge geht allerdings ins Leere, zumal nach dem oben Ausgeführten gerade nicht davon auszugehen ist, dass das Verwaltungsgericht seiner Beurteilung eine übersetzte bzw. über den landesüblichen Formen liegende Bewirtschaftung zugrunde gelegt hätte.
6. Gemäss den obenstehenden Erwägungen erweist sich die Beschwerde als unbegründet, weswegen sie abzuweisen ist.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten unter solidarischer Haftbarkeit (<ref-law>). Die Beschwerdeführer haben dem Beschwerdegegner zudem unter solidarischer Haftbarkeit eine Parteientschädigung für das bundesgerichtliche Verfahren zu entrichten (Art. 68 Abs. 1, 2 und 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 12. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler