Sachverhalt: A. A.a X._ betreibt in Marbach/SG ein landwirtschaftliches Gewerbe, das hauptsächlich der Produktion von Chicorée-Salat dient. Am 13. Juli 2004 schloss er mit der Z._ AG einen Lieferungs- und Übernahmevertrag für jährlich 6,3 Millionen Chicorée-Wurzeln für die Dauer von mindestens fünf Jahren. Darüber entstand in der Folge eine Meinungsverschiedenheit, in der Y._ vermittelte. A.b Im Juli 2008 übernahm Y._ den Vorsitz der Aufsichtsbehörde über Bewilligungen nach dem Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) des Kantons St. Gallen (nachfolgend: Aufsichtsbehörde). A.c Um die Anbaufläche für seine Chicorée-Produktion zu vergrössern, schloss X._ am 3. April 2009 mit S._ einen öffentlich beurkundeten Kaufvertrag für ein landwirtschaftliches Grundstück mit einer Fläche von 38'094 m2 in der Gemeinde Sennwald. Für diesen Erwerb erteilte das Landwirtschaftsamt des Kantons St. Gallen am 7. April 2009 eine Bewilligung gemäss Art. 61 BGBB. B. B.a Dagegen erhob die kantonale Aufsichtsbehörde mit Eingabe ihres Vorsitzenden Y._ am 29. April 2009 Beschwerde bei der Verwaltungsrekurskommission des Kantons St. Gallen mit dem Antrag, der Bewilligungsentscheid sei aufzuheben, da das Grundstück ausserhalb des ortsüblichen Bewirtschaftungsbereichs des landwirtschaftlichen Gewerbes des Erwerbers liege. B.b Mit Entscheid vom 29. Mai 2009 trat die Verwaltungsrekurskommission auf die Beschwerde nicht ein. Zur Begründung führte sie im Wesentlichen aus, Y._ hätte in den Ausstand treten müssen. Er habe im Konflikt zwischen X._ und der Z._ AG über den Lieferungs- und Übernahmevertrag die Interessen der zweiten Partei vertreten, was begründete Zweifel an seiner Objektivität wecke, weshalb er als befangen erscheine. Erweise sich damit die Beschwerdeerhebung als unbeachtlich, sei auf die Beschwerde nicht einzutreten. C. Dagegen führte die Aufsichtsbehörde mit Eingabe ihres Vorsitzenden Y._ am 18. Juni 2009 Beschwerde beim Verwaltungsgericht des Kantons St. Gallen. Am 3. Dezember 2009 hiess dieses die Beschwerde gut, hob den Entscheid der Verwaltungsrekurskommission vom 29. Mai 2009 auf und wies die Streitsache an die Vorinstanz zurück zum Entscheid in materieller Hinsicht. Zur Begründung hielt das Verwaltungsgericht im Wesentlichen fest, die Verwaltungsrekurskommission sei zu Unrecht von der Befangenheit des Vorsitzenden der Aufsichtsbehörde ausgegangen. D. Mit als Beschwerde bezeichneter Eingabe vom 14. Januar 2010 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben, und ersucht sinngemäss darum, den Entscheid der Verwaltungsrekurskommission zu bestätigen. Eventuell sei die Angelegenheit zu ergänzender Beweisabnahme und zu neuer Entscheidung an das Verwaltungsgericht zurückzuweisen. E. Die Aufsichtsbehörde stellt den Antrag, auf die Beschwerde nicht einzutreten. Eventuell sei sie abzuweisen, soweit darauf eingetreten werden könne. Das Verwaltungsgericht ersucht um Abweisung der Beschwerde. Das Bundesamt für Justiz schliesst sich, ohne einen ausdrücklichen Antrag zu stellen, den Erwägungen des verwaltungsgerichtlichen Urteils an.