Sachverhalt:
A. A.a X._ betreibt in Marbach/SG ein landwirtschaftliches Gewerbe, das hauptsächlich der Produktion von Chicorée-Salat dient. Am 13. Juli 2004 schloss er mit der Z._ AG einen Lieferungs- und Übernahmevertrag für jährlich 6,3 Millionen Chicorée-Wurzeln für die Dauer von mindestens fünf Jahren. Darüber entstand in der Folge eine Meinungsverschiedenheit, in der Y._ vermittelte.
A.b Im Juli 2008 übernahm Y._ den Vorsitz der Aufsichtsbehörde über Bewilligungen nach dem Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) des Kantons St. Gallen (nachfolgend: Aufsichtsbehörde).
A.c Um die Anbaufläche für seine Chicorée-Produktion zu vergrössern, schloss X._ am 3. April 2009 mit S._ einen öffentlich beurkundeten Kaufvertrag für ein landwirtschaftliches Grundstück mit einer Fläche von 38'094 m2 in der Gemeinde Sennwald. Für diesen Erwerb erteilte das Landwirtschaftsamt des Kantons St. Gallen am 7. April 2009 eine Bewilligung gemäss <ref-law>.
B. B.a Dagegen erhob die kantonale Aufsichtsbehörde mit Eingabe ihres Vorsitzenden Y._ am 29. April 2009 Beschwerde bei der Verwaltungsrekurskommission des Kantons St. Gallen mit dem Antrag, der Bewilligungsentscheid sei aufzuheben, da das Grundstück ausserhalb des ortsüblichen Bewirtschaftungsbereichs des landwirtschaftlichen Gewerbes des Erwerbers liege.
B.b Mit Entscheid vom 29. Mai 2009 trat die Verwaltungsrekurskommission auf die Beschwerde nicht ein. Zur Begründung führte sie im Wesentlichen aus, Y._ hätte in den Ausstand treten müssen. Er habe im Konflikt zwischen X._ und der Z._ AG über den Lieferungs- und Übernahmevertrag die Interessen der zweiten Partei vertreten, was begründete Zweifel an seiner Objektivität wecke, weshalb er als befangen erscheine. Erweise sich damit die Beschwerdeerhebung als unbeachtlich, sei auf die Beschwerde nicht einzutreten.
C. Dagegen führte die Aufsichtsbehörde mit Eingabe ihres Vorsitzenden Y._ am 18. Juni 2009 Beschwerde beim Verwaltungsgericht des Kantons St. Gallen. Am 3. Dezember 2009 hiess dieses die Beschwerde gut, hob den Entscheid der Verwaltungsrekurskommission vom 29. Mai 2009 auf und wies die Streitsache an die Vorinstanz zurück zum Entscheid in materieller Hinsicht. Zur Begründung hielt das Verwaltungsgericht im Wesentlichen fest, die Verwaltungsrekurskommission sei zu Unrecht von der Befangenheit des Vorsitzenden der Aufsichtsbehörde ausgegangen.
D. Mit als Beschwerde bezeichneter Eingabe vom 14. Januar 2010 an das Bundesgericht beantragt X._, das Urteil des Verwaltungsgerichts aufzuheben, und ersucht sinngemäss darum, den Entscheid der Verwaltungsrekurskommission zu bestätigen. Eventuell sei die Angelegenheit zu ergänzender Beweisabnahme und zu neuer Entscheidung an das Verwaltungsgericht zurückzuweisen.
E. Die Aufsichtsbehörde stellt den Antrag, auf die Beschwerde nicht einzutreten. Eventuell sei sie abzuweisen, soweit darauf eingetreten werden könne. Das Verwaltungsgericht ersucht um Abweisung der Beschwerde. Das Bundesamt für Justiz schliesst sich, ohne einen ausdrücklichen Antrag zu stellen, den Erwägungen des verwaltungsgerichtlichen Urteils an.

Erwägungen:
1. 1.1 Wer ein landwirtschaftliches Gewerbe oder Grundstück erwerben will, braucht dazu gemäss <ref-law> eine Bewilligung der zuständigen kantonalen Behörde (dazu <ref-law>). Diese wird erteilt, wenn kein Verweigerungsgrund vorliegt. Die Bewilligung wird unter anderem dann verweigert, wenn das zu erwerbende Grundstück ausserhalb des ortsüblichen Bewirtschaftungsbereichs des Gewerbes des Erwerbers liegt (<ref-law>). Gegen die Erteilung der Bewilligung kann namentlich die kantonale Aufsichtsbehörde bei der kantonalen Beschwerdeinstanz (dazu <ref-law>) Beschwerde erheben (<ref-law>). Letztinstanzliche kantonale Beschwerdeentscheide unterliegen der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht nach den Artikeln 82-89 BGG (<ref-law>).
1.2 Beim angefochtenen Entscheid handelt es sich um einen selbständig eröffneten, kantonal letztinstanzlichen Zwischenentscheid über den Ausstand des Vorsitzenden der kantonalen Aufsichtsbehörde, der als solcher in Anwendung von <ref-law> Beschwerde bei der kantonalen Beschwerdeinstanz gegen die Erteilung einer Erwerbsbewilligung nach <ref-law> erhoben hat. Nach <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren zulässig. Für die Frage des Ausstandes macht es keinen Unterschied, ob in der Sache ein eigentlicher materieller Entscheid oder, wie hier, lediglich ein solcher über die Einreichung einer Beschwerde durch eine Behörde erging bzw. ob die Person, um deren Ausstand es geht, in der Sache mitentschieden oder in anderer massgeblicher Form am Verfahren beteiligt war. Das trifft hier zu, nachdem der Vorsitzende der Aufsichtskommission, dessen Ausstand strittig ist, Beschwerde gegen den Bewilligungsentscheid erhoben und damit dessen rechtliche Geltung in Frage gestellt hat.
1.3 Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen, ist als betroffener Käufer des bewilligungspflichtigen Erwerbsgeschäfts durch den angefochtenen Entscheid besonders berührt und hat als solcher ein schutzwürdiges Interesse an der Aufhebung oder Änderung des vorinstanzlichen Urteils. Er ist mithin zur Beschwerde berechtigt (vgl. <ref-law>).
1.4 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann im Wesentlichen, von hier nicht interessierenden anderen Beschwerdegründen abgesehen, die Verletzung von Bundesrecht gerügt werden (vgl. <ref-law>). Dazu zählt auch das Bundesverfassungsrecht. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an, prüft die bei ihm angefochtenen Entscheide aber nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht werden (vgl. <ref-law>). Dabei gilt hinsichtlich der Verletzung von Grundrechten, insbesondere des Willkürverbots, eine qualifizierte Rügepflicht (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254, 396 E. 3.1 S. 399). Insbesondere tritt das Bundesgericht im Zusammenhang mit der Willkürrüge auf rein appellatorische Kritik am angefochtenen Entscheid nicht ein (vgl. <ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 1.3 S. 261 mit Hinweis).
2. 2.1 Der Beschwerdeführer rügt, die Vorinstanz habe seinen Anspruch auf rechtliches Gehör verletzt, weil es von ihm angebotene Beweise über sein Verhältnis zum Vorsitzenden der Aufsichtsbehörde im Zusammenhang mit dessen früherem Engagement für die Z._ AG nicht abgenommen habe. Der Beschwerdeführer beruft sich auf <ref-law> sowie auf Art. 12 des Gesetzes vom 16. Mai 1965 über die Verwaltungsrechtspflege des Kantons St. Gallen (VRP; sGS 951.1).
2.2 Art. 12 VRP nennt die zulässigen Beweismittel und sieht im Sinne des Untersuchungsgrundsatzes vor, dass der Sachverhalt grundsätzlich von den Behörden zu ermitteln ist. Was der Beschwerdeführer insofern vorbringt, läuft indessen auf die hier unzulässige (vgl. <ref-law>) Rüge der Verletzung des kantonalen Rechts hinaus. Zwar behauptet er, das Verwaltungsgericht habe Art. 12 VRP willkürlich "verletzt". Seine entsprechende Begründung ist aber appellatorisch und daher nicht zulässig (vgl. E. 1.4). Worin Willkür liegen soll, wird nicht dargetan. Selbst wenn auf die Rüge einzutreten wäre, wäre im Übrigen nicht ersichtlich, inwiefern die Vorinstanz die fragliche kantonale Bestimmung in unhaltbarer Weise ausgelegt und angewendet haben sollte.
2.3 Rechtsgenüglich gerügt wird hingegen eine Verletzung des Anspruchs auf rechtliches Gehör nach <ref-law>. Dazu gehört unter anderem das Recht des Betroffenen auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Dies steht einer vorweggenommenen Beweiswürdigung allerdings nicht entgegen. Nach der Rechtsprechung kann das Gericht das Beweisverfahren schliessen, wenn die Beweisanträge eine nicht erhebliche Tatsache betreffen oder offensichtlich untauglich sind oder wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde. Das Bundesgericht greift nur ein, wenn die Beweiswürdigung offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, auf einem offensichtlichen Versehen beruht oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (vgl. <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 3 S. 157; <ref-ruling> E. 2.1 S. 428).
2.4 Die Vorinstanz führte im angefochtenen Entscheid aus, das fragliche Auftragsverhältnis zwischen Y._, dem späteren Vorsteher der Aufsichtsbehörde, und der Z._ AG betreffe weder den Käufer noch den Verkäufer des bewilligungspflichtigen Erwerbsgeschäfts und sei im Juni 2007, also einige Zeit vor dem zu bewilligenden Kauf, beendet worden. Das Verwaltungsgericht ging daher von einem einzelnen abgeschlossenen Mandat aus. Ebenfalls seien keine Anhaltspunkte für ein Konkurrenzverhältnis zwischen der Z._ AG und dem potentiellen Käufer ersichtlich. Diese Einschätzung erscheint weder unhaltbar noch stossend. Aufgrund der Aktenlage durfte die Vorinstanz vielmehr ohne Willkür in vorweggenommener Beweiswürdigung annehmen, dass ihre Überzeugung durch weitere Beweiserhebungen nicht geändert würde. Der angefochtene Entscheid verletzt mithin <ref-law> nicht.
3. 3.1 Nach <ref-law> hat der Einzelne Anspruch darauf, dass seine Sache von einem unabhängigen und unparteiischen Gericht ohne Einwirken sachfremder Umstände entschieden wird (<ref-ruling> E. 2 S. 15; <ref-ruling> E. 5.2 S. 3 mit Hinweisen). Die Aufsichtsbehörde nach dem Bundesgesetz über das bäuerliche Bodenrecht ist keine richterliche Behörde, sondern eine Administrativbehörde. Wann Mitglieder einer solchen in den Ausstand zu treten haben, bestimmt sich nach dem anwendbaren (hier kantonalen) Verfahrensrecht und nach den aus <ref-law> abgeleiteten Grundsätzen (<ref-ruling> E. 3b ff. S. 123 ff., 209 E. 8 S. 217 ff.; Urteil 2P.102/2006 vom 20. Juni 2006 E. 3.1).
3.2 Das Verwaltungsgericht stützte sein Urteil unter anderem auf § 7 VRP, worin die Ausstandsregeln für das Verwaltungsverfahren im Kanton St. Gallen enthalten sind. Dazu äussert sich der Beschwerdeführer jedoch nicht, jedenfalls nicht mit einer Art. 42 Abs. 2 und <ref-law> genügenden Begründung (vgl. E. 1.4). Der Beschwerdeführer macht namentlich nicht geltend, dass sich aus dieser kantonalrechtlichen Bestimmung weitergehende Ausstandspflichten als aus <ref-law> ergeben würden und dass die Vorinstanz diese Norm in verfassungswidriger Weise angewendet habe. Zu prüfen ist somit einzig, ob die Verneinung eines Ausstandsgrundes vor <ref-law> standhält.
3.3 In Analogie zu <ref-law> verpflichtet <ref-law> eine Amtsperson zum Ausstand, wenn Umstände vorliegen, die nach objektiven Gesichtspunkten geeignet sind, den Anschein der Befangenheit zu erwecken (<ref-ruling> E. 2b S. 198 f.). Bei Ausstandsbegehren gegen Verwaltungsbehörden ist freilich den jeweiligen konkreten Verhältnissen in besonderem Masse Rechnung zu tragen (<ref-ruling> E. 8a S. 218). So wirkt sich etwa die Art der Funktion, die das abgelehnte Behördemitglied erfüllt, auf die Beurteilung des gegen ihn gerichteten Ausstandsbegehrens aus (<ref-ruling> E. 3f S. 124). Nach der Rechtsprechung haben nichtrichterliche Amtspersonen im Wesentlichen nur dann in den Ausstand zu treten, wenn sie an der zu behandelnden Sache ein persönliches Interesse haben, zu einem früheren Zeitpunkt gegenüber der Partei ihre persönliche Geringschätzung oder Abneigung zum Ausdruck gebracht haben (Urteil 1P.208/2001 vom 16. Juli 2001 E. 3b, mit Hinweisen) oder wenn ihnen Verfahrens- oder Ermessensfehler unterlaufen sind, die nach ihrer Natur oder wegen ihrer aussergewöhnlichen Häufung besonders schwer wiegen und auf eine gravierende Verletzung ihrer Amtspflichten gegenüber dem Betroffenen hinauslaufen (vgl. <ref-ruling> E. 3e S. 124; Urteil des Bundesgerichts 2P.102/2006 vom 20. Juni 2006 E. 3.2).
3.4 Die Aufsichtsbehörde nach dem Bundesgesetz über das bäuerliche Bodenrecht hat darüber zu wachen, dass die bundesgesetzlichen Vorschriften eingehalten werden. Mit dem Beschwerderecht nach <ref-law> soll insbesondere sichergestellt werden, dass bei der Erteilung von Bewilligungen die gesetzlichen Voraussetzungen gewahrt bleiben. Die Aufsichtsbehörde nimmt insoweit öffentliche Interessen wahr. Sie verfügt aber nicht über die Kompetenz, in der Sache über die Bewilligungserteilung zu entscheiden (vgl. Art. 83 Abs. 3 in Verbindung mit <ref-law>). Macht sie vom Beschwerderecht Gebrauch, führt das lediglich dazu, dass die kantonale Beschwerdeinstanz (vgl. <ref-law>) den Bewilligungsentscheid zu überprüfen hat. Ein direkter bzw. erheblicher Einfluss auf die Rechtslage ist damit nicht verbunden. Funktionell ist dies nicht vergleichbar mit der Wahrnehmung einer eigentlichen Entscheidkompetenz. Im Vergleich zu solchen Fällen ist daher im vorliegenden Zusammenhang bei der Anerkennung von Ausstandsgründen eine grössere Zurückhaltung zu üben.
3.5 Im Übrigen wird das Amt des Vorsitzes der Aufsichtskommission im Kanton St. Gallen lediglich nebenamtlich mit einem geringen Beschäftigungsgrad ausgeübt. Da Fachleute mit Kenntnissen sowohl im agronomischen als auch im juristischen Bereich eher selten zu finden sind, dürfte es gerade in kleinräumigen Verhältnissen, wie sie in der Schweiz oft anzutreffen sind, regelmässig vorkommen, dass bei entsprechenden Fragen dieselben Personen miteinander zu tun haben. Würde aus jeder einzelnen früheren Tätigkeit, in der zwei Personen nicht dieselben Interessen vertreten haben, ein Ausstandsgrund abgeleitet, könnte schon bald die Funktionsunfähigkeit der Behörden drohen. Erneut drängt sich erst recht Zurückhaltung auf, wenn keine eigentlichen Entscheidkompetenzen bestehen.
3.6 Im vorliegenden Fall nahm der Vorsitzende der Aufsichtsbehörde das dieser zustehende Beschwerderecht wahr. Wie dargelegt, hat er dadurch in der Sache jedoch nicht entschieden, sondern nur das Beschwerdeverfahren ausgelöst. Damit gestaltete er die Rechtslage des Beschwerdeführers nicht unmittelbar. In der Sache steht die Bewilligung des Erwerbs eines landwirtschaftlichen Grundstücks zur Diskussion, das nicht direkt an den Betrieb des Käufers anschliesst, sondern sich in erheblicher Distanz auf dem Gebiet einer anderen Gemeinde befindet. Materiellrechtlich ist massgeblich, ob sich das Kaufobjekt im Sinne von <ref-law> noch innerhalb oder bereits ausserhalb des ortsüblichen Bewirtschaftungsbereichs des Gewerbes des Erwerbers befindet. Angesichts der Distanz zwischen dem Kaufobjekt und dem Betrieb des Beschwerdeführers ist die Beschwerdeerhebung durch den Vorsitzenden der Aufsichtskommission nicht unvernünftig; es erscheint durchaus gerechtfertigt, die Rechtslage einer vertieften gerichtlichen Überprüfung zu unterstellen. Schon gar nicht liegt eine gravierende Verletzung der Amtspflichten vor.
3.7 Der Vorsitzende der Aufsichtskommission nahm öffentliche Interessen wahr. Es ist nicht ersichtlich, dass er am fraglichen Grundstückerwerb persönlich interessiert wäre. Er befindet sich auch nicht in einem Abhängigkeits-, Vertrags- oder Konkurrenzverhältnis zu einer der am Kauf beteiligten Parteien. Das Mandatsverhältnis, auf das der Beschwerdeführer die angebliche Befangenheit von Y._ zurückführen will, wurde im Juni 2007, also mehr als ein Jahr bevor dieser in die Aufsichtskommission gewählt wurde, beendet. Nach dessen eigener Darstellung war er im Übrigen nicht nur von der Z._ AG, sondern gemeinsam von dieser und dem heutigen Beschwerdeführer mit der Vermittlung in deren Meinungsverschiedenheit beauftragt. Die Z._ AG ist überdies gar nicht Partei des hier fraglichen Kaufgeschäfts, und ob sie dadurch (direkt oder indirekt) in ihren eigenen Interessen betroffen ist, erscheint unklar. Wie es sich in diesen Punkten genau verhält, kann aber offen bleiben. So oder so gibt es keine Anhaltspunkte für eine Voreingenommenheit von Y._ zulasten des Beschwerdeführers. Insbesondere bestehen keine Hinweise, dass er seine Geringschätzung des Beschwerdeführers oder seine Abneigung ihm gegenüber zum Ausdruck gebracht hätte.
3.8 Schliesslich wird auch nicht dadurch eine Befangenheit von Y._ begründet, dass er sich vorweg bei der Verwaltungsrekurskommission über die anwendbaren Rechtsregeln zur Ausstandspflicht erkundigte. Dieses Vorgehen belegt im Gegenteil eine gewisse Sensibilität für die fragliche Problematik, und es lässt sich daraus allein kein Ausstandsgrund ableiten.
3.9 Der angefochtene Entscheid, mit dem die Ausstandspflicht des Vorsitzenden der Aufsichtskommission verneint wurde, verletzt demnach <ref-law> nicht.
4. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Verfahrenskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Aufsichtsbehörde über Bewilligungen nach dem Bundesgesetz über das bäuerliche Bodenrecht, dem Landwirtschaftsamt und dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 14. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax