Sachverhalt:
A. Y._ beabsichtigte, von B._ und A._ das landwirtschaftliche Grundstück GB._ Nr. 849 im Halte von 150.18 Aren zu erwerben, um darauf zwei Pferde zu halten. Zu diesem Zweck ersuchte sie die zuständige Behörde des Kantons Solothurn um Erteilung einer Erwerbsbewilligung i.S. von Art. 61 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11). Mit Verfügung des Amtes für Landwirtschaft vom 2. Juli 2007 wurde ihr diese verweigert. Zur Begründung führte das Amt im Wesentlichen aus, es bestehe einerseits keine Notwendigkeit für den beantragten Erwerb und andererseits sei das Grundstück GB._ Nr. 849 als Pferdeweide ohnehin ungeeignet.
Gegen diesen Entscheid beschwerte sich Y._ mit Erfolg beim Verwaltungsgericht des Kantons Solothurn: Mit Urteil vom 25. Oktober 2007 hob dieses die Verfügung vom 2. Juli 2007 auf. Das Verwaltungsgericht stellte fest, dass kein Verweigerungsgrund i.S. von <ref-law> vorliege und Y._ eine Bewilligung zum Erwerb des Grundstückes GB._ Nr. 849 beanspruchen könne, wenn sie darauf nicht nur zwei, sondern - wie von ihr neu geltend gemacht - vier Pferde halten wolle. Eine direkte Bewilligungserteilung durch das Verwaltungsgericht erfolgte jedoch nicht.
B. Gestützt auf das Urteil des Verwaltungsgerichts vom 25. Oktober 2007 ersuchte Y._ das Amt für Landwirtschaft erneut um Erteilung der Erwerbsbewilligung. Das Amt kam diesem Ersuchen mit Verfügung vom 11. März 2008 nach, verband die Bewilligungserteilung jedoch mit der Auflage, Y._ habe bis zum 30. April 2009 nachzuweisen, dass sie tatsächlich vier Pferde halte.
Gegen die Verfügung vom 11. März 2008 führte Y._ erneut Beschwerde beim Verwaltungsgericht des Kantons Solothurn und ersuchte sinngemäss um eine auflagefreie Erwerbsbewilligung. Neu beschwerte sich beim Verwaltungsgericht nun auch X._, welcher sich als Pächter eines Teils des fraglichen Grundstücks GB._ Nr. 849 bezeichnete: Dieser beantragte sinngemäss, dass die Verfügung vom 11. März 2008 aufzuheben und Y._ die von ihr nachgesuchte Erwerbsbewilligung gänzlich zu verweigern sei.
Mit Urteil vom 5. August 2008 entschied das Verwaltungsgericht des Kantons Solothurn, dass es im vorliegenden Fall unzulässig sei, die Bewilligungserteilung mit einer Auflage zu verbinden. Es schloss daher auf eine teilweise Gutheissung der Beschwerde von Y._ und bewilligte dieser den Erwerb des Grundstücks GB._ Nr. 849 ohne Auflagen. Die Beschwerde von X._ erachtete das Verwaltungsgericht demgegenüber als unbegründet und wies sie ab.
C. Mit Eingabe vom 12. September 2008 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt die Aufhebung der vorinstanzlichen Entscheide und mithin auch die Aufhebung der Y._ erteilten Erwerbsbewilligung für das Grundstück GB._ Nr. 849. Eventualiter bzw. subeventualiter sei diese Erwerbsbewilligung an die Bedingung zu knüpfen, dass Y._ innert eines Jahres seit Rechtskraft der Erwerbsbewilligung nachzuweisen habe, dass sie auf besagtem Grundstück effektiv vier Pferde halte.
D. In ihrer Stellungnahme vom 14. November 2008 beantragt Y._ die Abweisung der Beschwerde, soweit darauf einzutreten sei. Auch das Verwaltungsgericht des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Das Amt für Landwirtschaft beantragt dagegen die teilweise Gutheissung der Beschwerde und die Verbindung der Erwerbsbewilligung für das Grundstück GB._ Nr. 849 mit einer resolutiven Bedingung im Sinne des Eventualantrages des Beschwerdeführers. Das Bundesamt für Justiz sowie die gegenwärtigen Eigentümer des Grundstücks GB._ Nr. 849, B._ und A._, liessen sich ebenfalls vernehmen, ohne jedoch Anträge in der Sache zu stellen. Auf eine Vernehmlassung verzichtet hat dagegen C._, ebenfalls Pächter eines Teils des betreffenden Grundstücks.
E. Mit Eingaben vom 1. Dezember 2008, 16. Januar 2009, 16. Februar 2009 und 8. April 2009 hat der Beschwerdeführer unaufgefordert zum Vernehmlassungsergebnis Stellung genommen bzw. ergänzende Unterlagen eingereicht. Y._ hat ihrerseits am 23. Januar 2009 ebenfalls ohne Aufforderung dupliziert und sich am 26. März 2009 von sich aus zu den eingegangenen Vernehmlassungen geäussert.
F. Mit Verfügung des Präsidenten der II. zivilrechtlichen Abteilung des Bundesgerichts vom 1. Oktober 2008 wurde der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.
Am 25. November 2008 wurde der Fall gestützt auf die am 1. September 2008 in Kraft getretene revidierte Fassung von <ref-law> zuständigkeitshalber von der II. zivilrechtlichen Abteilung an die II. öffentlich-rechtliche Abteilung des Bundesgerichts überwiesen.
Die II. öffentlich-rechtliche Abteilung des Bundesgerichts hat die Angelegenheit am 11. Dezember 2009 an einer öffentlichen Sitzung beraten.

Erwägungen:
1. 1.1 Im Streit steht die Erteilung einer Bewilligung zum Erwerb eines landwirtschaftlichen Grundstücks. Da diese Materie nicht vom Ausnahmekatalog von <ref-law> erfasst wird, steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen. Zu prüfen bleibt die Beschwerdelegitimation: <ref-law> bestimmt, dass das Beschwerderecht gegen die Erteilung einer Erwerbsbewilligung ausschliesslich der kantonalen Aufsichtsbehörde, dem Pächter sowie den Kaufs-, Vorkaufs- oder Zuweisungsberechtigten zusteht. Die Beschwerdegegnerin bringt vor, dass der Pachtvertrag zwischen den Grundeigentümern und dem Beschwerdeführer am 26. März 2002 "auf Ende der jetzigen Pachtzeit", d.h. mit Wirkung per 1. Oktober 2006, eventuell bereits per 31. August 2005, gekündigt worden sei. Der Beschwerdeführer behauptet dagegen, er nutze den fraglichen Teil des Grundstücks GB._ Nr. 849 noch immer und bezahle dafür weiterhin Zins. Er argumentiert, die Pacht ende erst im Jahre 2011; die erfolgte Kündigung bestreitet er dagegen nicht. Damit ist unklar, ob das Pachtverhältnis des Beschwerdeführers zum Zeitpunkt der Beschwerdeerhebung noch bestand und ob dem Beschwerdeführer daher überhaupt die Beschwerdelegitimation zukommt. Die Frage kann jedoch offen bleiben, zumal sich die Beschwerde als unbegründet erweist, wie die nachfolgenden Ausführungen zeigen.
1.2 Mit der Beschwerde kann namentlich die Verletzung von Bundesrecht (einschliesslich der verfassungsmässigen Rechte) gerügt werden (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Will ein Beschwerdeführer die Sachverhaltsfeststellungen, insbesondere die Beweiswürdigung der Vorinstanz anfechten, muss er substantiiert darlegen, inwiefern diese Feststellungen offensichtlich unrichtig und für den Ausgang des Verfahrens entscheidend sind (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398). Willkür liegt nicht schon dann vor, wenn der von der Vorinstanz als erstellt erachtete Sachverhalt nicht mit der Darstellung des Beschwerdeführers übereinstimmt oder eine andere Sachverhaltsdarstellung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Erforderlich ist vielmehr, dass die Feststellungen der Vorinstanz offensichtlich unhaltbar sind, zur tatsächlichen Situation in klarem Widerspruch stehen, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen (<ref-ruling> E. 2b S. 56; <ref-ruling> E. 2a S. 168; <ref-ruling> E. 4a S. 5, je mit Hinweisen).
2. 2.1 Nach <ref-law> ist die Bewilligung zum Erwerb eines landwirtschaftlichen Gewerbes oder Grundstücks zu verweigern, wenn der Erwerber nicht Selbstbewirtschafter ist.
Selbstbewirtschafter ist nach <ref-law>, wer den Boden selber bearbeitet und, wenn es sich um ein landwirtschaftliches Gewerbe handelt, dieses persönlich leitet (Fassung gemäss Teilrevision vom 26. Juni 1998, in Kraft seit 1. Januar 1999). Den Boden im Sinne von <ref-law> selber bearbeiten bedeutet, die im Betrieb anfallenden Arbeiten auf dem Feld, im Stall, auf dem Hof (inkl. Administrativarbeiten) und im Zusammenhang mit der Vermarktung der Produkte zu einem wesentlichen Teil selber verrichten (EDUARD HOFER, in: BANDLI ET AL., Das bäuerliche Bodenrecht, N 17 ff. zu <ref-law>; DANIELLE GAGNAUX, L'exploitant à titre personnel, in: BlAR 1992 S. 95). Vorausgesetzt wird zudem die Eignung zur Selbstbewirtschaftung: Geeignet ist, wer die Fähigkeiten besitzt, die nach landesüblicher Vorstellung notwendig sind, um den landwirtschaftlichen Boden selber zu bearbeiten und ein landwirtschaftliches Gewerbe persönlich zu leiten (<ref-law>).
Das bäuerliche Bodenrecht schafft kein ausschliessliches Standesrecht für Landwirte; auch wer eine landwirtschaftliche Tätigkeit als Freizeitbeschäftigung ausübt, kann als Selbstbewirtschafter gelten, wenn er die Voraussetzungen von <ref-law> erfüllt (HOFER, a.a.O., N 23 ff. zu <ref-law>; BEAT STALDER, in: BANDLI ET AL., Das bäuerliche Bodenrecht, N 5 f. zu <ref-law>; CHRISTINA SCHMID-TSCHIRREN, Das bäuerliche Bodenrecht im Härtetest der Realität, in: BlAR 1997 S. 166 ff.; MÜLLER/SCHMID-TSCHIRREN, Ergänzung zu: Das bäuerliche Bodenrecht, in: BlAR 1999 S. 71). Als landwirtschaftliche Nutzung gilt auch die Haltung von Pensions- und Sportpferden, sofern sie auf betriebseigener Futterbasis beruht (Urteil 2C_534/2007 vom 29. Februar 2008 E. 3.2, mit Hinweis auf die Botschaft des Bundesrates vom 26. Juni 1996 zur Reform der Agrarpolitik 2002 [BBl 1996 IV 85]). Wer Pferde hält und für diese Raufutter produziert, ist deshalb Selbstbewirtschafter, wenn er die anfallenden Arbeiten für die Futtergewinnung selber ausführt.
2.2 Der Beschwerdeführer macht geltend, die Vorinstanz habe die Selbstbewirtschafterqualität der Beschwerdegegnerin zu Unrecht bejaht: Die Beschwerdegegnerin habe bis anhin noch keine landwirtschaftliche Tätigkeit ausgeübt und sich auch nicht intensiv darauf vorbereitet; es fehle ihr demnach an Eignung und Wille zur Selbstbewirtschaftung. Überhaupt sei sie nicht in der Lage, die anfallenden Arbeiten zu einem wesentlichen Teil selbst zu erledigen, zumal sie soweit ersichtlich vor allem den Haushalt besorge und sich um die Erziehung ihrer drei Kinder kümmere. Dass sie daneben noch selber vier Pferde auf eigener Futterbasis versorgen könne, sei nicht nachvollziehbar. Auch dürfe die Beschwerdegegnerin nicht auf die Arbeitskraft ihres Ehemanns verweisen: Zwar könne bei der Beurteilung der Eignung zur Selbstbewirtschaftung allenfalls auch auf Fähigkeiten von Familienmitgliedern abgestellt werden, doch sei die Frage des Umfangs der eigenen Arbeit hiervon klar zu unterscheiden. Nach den Wahrnehmungen des Beschwerdeführers beanspruche die Beschwerdegegnerin schon zum gegenwärtigen Zeitpunkt, mit nur zwei Pferden, diverse ausserfamiliäre Hilfe bei der Bewirtschaftung der Felder, der Entsorgung des Pferdemists sowie bei der Tierpflege. So seien etwa die Mäharbeiten vor allem vom Landwirt C._ ausgeführt worden. Dieser stelle der Beschwerdegegnerin auch die erforderlichen Gerätschaften zur Verfügung. Die Beschwerdegegnerin sei demzufolge organisatorisch von C._ abhängig und könne nicht als landwirtschaftliche (Selbst-)Bewirtschafterin gelten.
2.3 Die Einwendungen des Beschwerdeführers vermögen nicht durchzudringen:
Die Beschwerdegegnerin hält auf der Nachbarparzelle des zu erwerbenden Grundstücks bereits heute Pferde auf eigener Futterbasis. Dass ihr Ehemann hierbei mithilft und auch selbst über gewisse Kenntnisse verfügt, darf unter dem Gesichtspunkt der Selbstbewirtschaftung durchaus zu ihren Gunsten berücksichtigt werden (HOFER, a.a.O., N 35 zu <ref-law>). Entgegen der Ansicht des Beschwerdeführers ist in diesem Zusammenhang auch nicht zwischen "Eignung" und "Umfang der eigenen Arbeit" zu unterscheiden: Bereits im Urteil 5A.20/2004 vom 2. November 2004 hat das Bundesgericht unter Hinweis auf die Botschaft des Bundesrates zum BGBB vom 19. Oktober 1988 (BBl 1988 III S. 987 f.) festgehalten, dass der Begriff der Eignung eng mit dem Begriff der Selbstbewirtschaftung verbunden ist. An sich würde - so der erwähnte Entscheid und die Botschaft weiter - nichts dagegen sprechen, die Eignung als ein Element der Selbstbewirtschaftung zu verstehen; die Unterscheidung sei lediglich aus historischen Gründen beibehalten worden. Grundsätzlich zulässig ist sodann auch der Einsatz von ausserfamiliären Kräften in untergeordnetem Mass. Hinsichtlich der für die Bewirtschaftung notwendigen Gerätschaften geht aus den Akten hervor, dass die Beschwerdegegnerin über einen eigenen Balkenmäher sowie ein Ballenförderband verfügt. Im Übrigen muss ein Selbstbewirtschafter nicht zwingend Eigentümer sämtlicher erforderlicher Maschinen und Geräte sein; wenn er im nötigen Umfang darüber verfügen kann, erscheint dies als ausreichend.
Soweit der Beschwerdeführer geltend macht, der Beschwerdegegnerin fehle es an den nötigen Fähigkeiten, den erforderlichen Gerätschaften und einer hinreichenden Disponibilität, bezieht er sich überdies auf Tatfragen, die vom Bundesgericht nur beschränkt, d.h. im Wesentlichen nur unter dem Gesichtspunkt der Willkür überprüft werden können (<ref-ruling> E. 2 S. 33, mit Hinweisen; vgl. E. 1.2). Der Beschwerdeführer zeigt jedoch nicht auf, inwiefern die Vorinstanz in Willkür verfallen sein soll. Vielmehr begnügt er sich damit, den festgestellten bzw. aktenmässig erstellten Sachumständen eigene tatsächliche Behauptungen gegenüberzustellen. Eine solche, rein appellatorische Kritik genügt den Begründungsanforderungen an eine Sachverhaltsrüge nicht (vgl. E. 1.2 hiervor); sie ist daher nicht zu hören.
2.4 Bei dieser Sachlage ist nicht ersichtlich, inwiefern die Vorinstanz Bundesrecht verletzt haben soll, wenn sie die Selbstbewirtschafterqualität der Beschwerdegegnerin bejaht bzw. den entsprechenden Verweigerungsgrund verneint hat.
3. 3.1 Die Beschwerdegegnerin hat nach dem bisher Ausgeführten als Selbstbewirtschafterin zu gelten, weswegen kein Grund zur Verweigerung der Erwerbsbewilligung gemäss <ref-law> vorliegt. Dass ein anderer der in <ref-law> genannten Verweigerungsgründe (Vereinbarung eines übersetzten Preises, Lage des zu erwerbenden Grundstücks ausserhalb des ortsüblichen Bewirtschaftungsbereichs) erfüllt wäre, wird vom Beschwerdeführer nicht behauptet und es bestehen hierfür auch keine Anhaltspunkte.
3.2 Die Aufzählung in <ref-law> ist abschliessend (STALDER, a.a.O., N 4 zu <ref-law>). Andere als die dort genannten Gründe dürfen daher nicht dazu führen, dass einem Gesuchsteller die Erteilung einer Erwerbsbewilligung verweigert wird. Demzufolge erübrigt es sich insbesondere, zu prüfen, ob das projektierte Nutzungskonzept der Beschwerdegegnerin in allen Belangen den Anforderungen des Raumplanungs- und Baurechts genügt; diese Frage wird vielmehr Gegenstand der entsprechenden Baubewilligungsverfahren bilden. Im hier interessierenden Zusammenhang reicht die Grobbeurteilung aus, dass eine derartige Nutzung grundsätzlich raumplanungskonform verwirklicht werden kann. Eine Koordination der Bewilligungsverfahren nach <ref-law> einerseits und nach Art. 22 bzw. Art. 24 RPG andererseits ist gesetzlich nicht vorgesehen (Art. 4a der Verordnung vom 4. Oktober 1993 über das bäuerliche Bodenrecht [VBB] e contrario). Demgemäss erweisen sich die Ausführungen der Parteien bezüglich den Anforderungen des Bau- und Planungsrechts vorliegend als unmassgeblich.
3.3 Aufgrund der abschliessenden Aufzählung der Verweigerungsgründe in <ref-law> kann auch der Flächenbedarf einer geplanten Nutzung für sich allein kein Bewilligungskriterium bilden. Dieser spielt freilich zur Beantwortung der Frage eine Rolle, ob einem Gesuchsteller bezüglich der gesamten zu erwerbenden Fläche die geforderte Selbstbewirtschafterqualität zukommt. Der Behauptung des Beschwerdeführers, die von der Beschwerdegegnerin zu erwerbende Fläche sei für die von ihr beabsichtigte Nutzung viel zu gross, kann jedoch nicht gefolgt werden: Wie dem Urteil des Verwaltungsgerichts vom 25. Oktober 2007 zu entnehmen ist, wurde am 22. Oktober 2007 ein Augenschein durchgeführt. Anlässlich desselben äusserte sich der anwesende Experte des Landwirtschaftlichen Bildungs- und Beratungszentrums Schüpfheim/LU (LBBZ) so, dass eine Fläche von 1.7 ha für Haltung und Raufuttergewinnung für vier Pferde angemessen sei. Für zwei Pferde betrage der Flächenbedarf 0.6 bis 1.0 ha. Wenn der Beschwerdeführer vorbringt, die Beschwerdegegnerin könne die von ihr geplante Pferdehaltung auf eigener Futterbasis auch auf dem früher erworbenen Grundstück GB._ Nr. 3502 verwirklichen, geht dies schon deshalb fehl, weil die Parzelle mit einer Fläche von 0.25 ha hierfür deutlich zu knapp bemessen ist.
4. Nicht gefolgt werden kann sodann dem Antrag des Beschwerdeführers und des Amtes für Landwirtschaft, die Erwerbsbewilligung der Beschwerdegegnerin sei mit einer Bedingung zu verknüpfen.
Gesetzlich eigens vorgesehen ist die Möglichkeit, eine Bewilligung mit Auflagen zu erteilen, wenn es dem Erwerber an der Selbstbewirtschafterqualität fehlt (<ref-law>). Dies trifft vorliegend in Bezug auf die Beschwerdegegnerin aber gerade nicht zu (vgl. E. 2). Zwar bedürfen Nebenbestimmungen wie Auflagen oder Bedingungen nicht zwingend einer im Gesetz ausdrücklich wiedergegebenen Grundlage; ihre Zulässigkeit kann sich unter Umständen auch unmittelbar aus dem Gesetzeszweck und dem damit zusammenhängenden öffentlichen Interesse ergeben. Da dies aus dem Grundsatz "e maiore minus" abgeleitet wird, sind Bewilligungen jedoch in der Regel nur dann mit Nebenbestimmungen zu verbinden, wenn sie aufgrund des Gesetzes ansonsten verweigert werden könnten (vgl. <ref-ruling> E. 6.1 S. 251). Wie ausgeführt, gebricht es hieran im vorliegenden Fall.
Ohnehin müssten die Nebenbestimmungen auch mit dem Grundsatz der Verhältnismässigkeit vereinbar sein, was bedeutet, dass sie u.a. für die Erreichung des angestrebten Ziels erforderlich sein müssen (HÄFELIN/MÜLLER/UHLMANN, Allgemeines Verwaltungsrecht, 5. Aufl. 2006, N 920). Ob dieses Kriterium in der vorliegenden Konstellation erfüllt ist, erscheint zweifelhaft, braucht jedoch nicht weiter abgeklärt zu werden. Es reicht aus, auf <ref-law> zu verweisen, wonach die Bewilligung widerrufen werden kann, wenn sich herausstellt, dass der Erwerber sie durch falsche Angaben erschlichen hat. Das Gesetz stellt der rechtsanwendenden Behörde dieses Instrument zur Durchsetzung des vom Erwerber angegebenen Verwendungszweckes zur Verfügung. Damit kann es hier angesichts der bereits bestehenden und bloss zu erweiternden Pferdehaltung sein Bewenden haben.
5. Es ergibt sich aus den genannten Gründen, dass die Beschwerde in öffentlich-rechtlichen Angelegenheiten abzuweisen ist, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend trägt der Beschwerdeführer die Gerichtskosten. Er hat der Beschwerdegegnerin überdies für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten, die gestützt auf die eingereichte Kostennote festgesetzt werden kann (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 6'000.-- auszurichten.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Solothurn und dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 11. Dezember 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Zähndler