Sachverhalt: A. X._ hat am 11. September 2007 von seinem Grossvater, Y._, die beiden folgenden landwirtschaftlichen Liegenschaften, welche in der Bergzone I liegen, gekauft: GB xxx (25'654 m2 mit Wohnhaus, Stall, Kleinbauten) und GB yyy (74'166 m2 mit Stall), M._. Gleichentags erging auch die Anmeldung an das Grundbuchamt. Im Kaufvertrag wurde u.a. festgehalten, dass es sich bei den beiden Liegenschaften um ein landwirtschaftliches Gewerbe im Sinne von Art. 7 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) handle. Am 7. Januar 2008 starb Y._. B. Am 27. März 2008 beantragte X._ den Erlass einer Feststellungsverfügung zur Frage, ob es sich bei den beiden erwähnten Liegenschaften um ein landwirtschaftliches Gewerbe oder um landwirtschaftliche Grundstücke handle. Grund für den Antrag bildete die erbrechtliche Auseinandersetzung. Das Landwirtschaftsamt des Kantons Schwyz stellte mit Verfügung vom 25. April 2008 fest, dass die beiden Grundstücke landwirtschaftliche Grundstücke seien, allerdings kein landwirtschaftliches Gewerbe bildeten. Dagegen hat X._ erfolglos Beschwerde an das Verwaltungsgericht des Kantons Schwyz erhoben. C. Vor Bundesgericht beantragt X._, den Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 27. Mai 2009 aufzuheben und festzustellen, dass die Grundstücke GBN yyy und GBN xxx, Grundbuch N._, im Zeitpunkt der Hofübernahme durch den Beschwerdeführer ein landwirtschaftliches Gewerbe bildeten, eventualiter den Entscheid aufzuheben und an die Vorinstanz zur Neubeurteilung zurückzuweisen. Das Verwaltungsgericht und das kantonale Landwirtschaftsamt sowie A._, B._, C._ und D._ beantragen, die Beschwerde abzuweisen. E._, F._ und G._ haben sich nicht vernehmen lassen. Daneben hat sich das Bundesamt für Justiz ohne Antrag geäussert. Der Beschwerdeführer hat noch zwei zusätzliche Schreiben eingereicht.