Sachverhalt:
A.
A.a. Die Ortsgemeinde Benken SG ist Eigentümerin des Grundstücks Nr. xxx, Grundbuch Benken. Am 29. März 1995 schloss sie mit B._ eine als "Baurechts- und Gebäudekaufvertrag mit Pachtvertrag" bezeichnete Vereinbarung ab. Darin wurde B._ ein selbständiges und dauerndes Baurecht (Nr. yyy) an einer Teilfläche von 10'000 m2 des betreffenden Grundstücks eingeräumt. Zudem erwarb er die sich auf dem Baurechtsgrundstück befindlichen Gebäude zum Preis von Fr. 190'000.--. Schliesslich verpachtete ihm die Ortsgemeinde Benken 14.62 Hektaren Wies- und Ackerland des Grundstücks Nr. xxx. Das Baurecht und die Pacht wurden für eine Dauer von 50 Jahren vereinbart und deren Übertragung von der Zustimmung der Grundeigentümerin abhängig gemacht.
A.b. Nachdem B._ auf dem Gerichtsweg eine Reduktion des Pachtzinses erreicht hatte (vgl. Urteil der Rekurskommission EVD [heute: Bundesverwaltungsgericht] vom 20. April 2004), strebte die Ortsgemeinde Benken die Auflösung des Vertragswerks an. Mit Vergleich vom 20. Juni 2005 verpflichtete sich B._, die Gebäude bis am 31. Dezember 2007 zu verkaufen und der Ortsgemeinde Benken innert dieser Frist jedenfalls (auch bei Nichtverkauf) Fr. 90'000.-- zu bezahlen.
Die infolge unbenutzten Ablaufs der Zahlungsfrist von der Ortsgemeinde Benken in Betreibung gesetzte Forderung von Fr. 86'672.90 nebst Zins von 5 % seit dem 1. Januar 2008 wurde nach durchgeführtem Rechtsmittelverfahren durch das Kantonsgericht Schwyz am 9. März 2010 bestätigt. Dieses Urteil erwuchs unangefochten in Rechtskraft.
A.c. Bereits am 17. März 2009 hatte B._ das Baurechtsgrundstück Nr. yyy an A._ verkauft. Nachdem die Ortsgemeinde Benken das Vorkaufsrecht ausgeübt hatte, erteilte das Landwirtschaftsamt des Kantons St. Gallen (nachfolgend: Landwirtschaftsamt) dieser am 7. Mai 2009 die Erwerbsbewilligung. Der Entscheid wurde der Ortsgemeinde Benken, B._, dem Grundbuchverwalter, der Aufsichtsbehörde BGBB und A._ eröffnet.
B.
B.a. B._ focht den Entscheid des Landwirtschaftsamts am 9. Juni 2009 bei der Verwaltungsrekurskommission des Kantons St. Gallen (nachfolgend: Verwaltungsrekurskommission) an und beantragte, die angefochtene Verfügung aufzuheben und der Ortsgemeinde Benken die Bewilligung zum Erwerb des Baurechts Nr. yyy zu verweigern.
B.b. Die Beschwerde wurde den Verfügungsadressaten am 24. Juni 2009 zur Vernehmlassung zugestellt, worauf das Landwirtschaftsamt und die Ortsgemeinde Benken eine Stellungnahme einreichten. Die Verfügung vom 24. Juni 2009 enthielt folgenden Passus: "Hinweis für A._: Falls Sie im Beschwerdeverfahren Anträge stellen sollten, könnte dies je nach Prozessausgang Kostenfolgen haben." Der nicht anwaltlich vertretene A._ reichte keine Stellungnahme ein. Am 14. August 2009 teilte der Abteilungspräsident A._ mit, da er sich nicht habe vernehmen lassen, gehe sie ohne seinen Bericht bis zum 25. August 2009 davon aus, dass er sich nicht am Beschwerdeverfahren beteiligen wolle, und erklärte den Schriftenwechsel für abgeschlossen.
B.c. Am 9. März 2010 verstarb B._. Das Beschwerdeverfahren wurde am 7. April 2010 sistiert. Die entsprechenden verfahrensleitenden Verfügungen erhielt A._ nur noch als Kopie; sein Name war aus dem Rubrum entfernt worden.
Nachdem die nächsten Erben die Erbschaft ausgeschlagen hatten, wurde die konkursamtliche Nachlassliquidation angeordnet.
Am 7. Dezember 2010 teilte der Rechtsvertreter von A._ der Verwaltungsrekurskommission mit, er sei mit dessen Interessenwahrung betraut worden, und reichte eine entsprechende Vollmacht ein. Am 4. Mai 2011 hob der Abteilungspräsident die Sistierung auf und setzte den Verfahrensbeteiligten eine Frist bis zum 21. Mai 2011, um allenfalls neue Tatsachen vorzubringen. Tags darauf stellte A._ ein Akteneinsichtsgesuch, welches am 6. Mai 2011 bewilligt wurde. Die Ortsgemeinde Benken liess sich am 30. Mai 2011 vernehmen. Die Stellungnahme wurde den übrigen Verfahrensbeteiligten - auch dem nunmehr anwaltlich vertretenen A._ - am 3. Juni 2011 zur Kenntnisnahme zugestellt und der Schriftenwechsel für abgeschlossen erklärt.
Mit Eingabe vom 17. Juni 2011 replizierte A._ auf die Stellungnahme der Ortsgemeinde Benken. Die Replik wurde den übrigen Verfahrensbeteiligten mit der Gelegenheit zur Stellungnahme weitergeleitet, wovon die Ortsgemeinde Benken am 7. Juli 2011 Gebrauch machte. Auf entsprechende Aufforderung hin reichte der Rechtsvertreter von A._ eine Kostennote ein.
B.d. Am 2. Dezember 2011 wies die Verwaltungsrekurskommission die Beschwerde ab. Auf die dagegen von A._ erhobene Beschwerde trat das Verwaltungsgericht des Kantons St. Gallen (nachfolgend: Verwaltungsgericht) mit Urteil vom 23. August 2012 nicht ein.
C.
A._ erhebt am 27. September 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und die Sache zur Behandlung an das Verwaltungsgericht zurückzuweisen.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, ebenso die Ortsgemeinde Benken, soweit darauf einzutreten sei. Das Landwirtschaftsamt, die Verwaltungsrekurskommission und die Aufsichtsbehörde BGBB haben sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Gemäss Art. 89 des Bundesgesetzes über das bäuerliche Bodenrecht vom 4. Oktober 1991 (BGBB; SR 211.412.11) unterliegen letztinstanzliche kantonale Beschwerdeentscheide der Beschwerde in öffentlich-rechtlichen Angelegenheiten. Das angefochtene Urteil ist ein Endentscheid im Sinn von <ref-law> und wurde von einer kantonal letztinstanzlich zuständigen Gerichtsinstanz im Sinn von <ref-law> und <ref-law> gefällt. Der Entscheid betrifft eine Bewilligung nach <ref-law> und damit eine Angelegenheit des öffentlichen Rechts gemäss <ref-law>; eine Ausnahme im Sinn von <ref-law> liegt nicht vor. Die Beschwerde ist zulässig.
1.2. Der Beschwerdeführer hat am Verfahren vor der Vorinstanz teilgenommen. Er ist durch den angefochtenen Nichteintretensentscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung; somit ist er gemäss <ref-law> zur Beschwerdeführung legitimiert.
1.3. Auf die im Übrigen frist- und formgerecht eingereichte Beschwerde ist einzutreten.
2.
2.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und Art. 96 BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.4.1 S. 254). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 2.5 S. 314).
2.2. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht (<ref-law>). Die beschwerdeführende Partei kann die Feststellung des Sachverhalts unter den gleichen Voraussetzungen beanstanden, wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Die Rüge, der Sachverhalt sei offensichtlich unrichtig festgestellt worden, ist gleichzusetzen mit der Willkürrüge (<ref-ruling> E. 4.1.2 S. 62; <ref-ruling> E. 1.2.2 S. 252); diese ist rechtsgenüglich substanziiert vorzubringen (<ref-ruling> E. 2.5 S. 314).
3.
3.1. Streitgegenstand bildet die Frage, ob die Vorinstanz zu Recht auf die Beschwerde gegen den Entscheid der Verwaltungsrekurskommission nicht eingetreten ist. In diesem Entscheid hatte die Verwaltungsrekurskommission die Erteilung der Erwerbsbewilligung an die Ortsgemeinde Benken (nachfolgend: Beschwerdegegnerin) bestätigt.
3.2. Die Vorinstanz begründet ihren Nichteintretensentscheid im Wesentlichen damit, der Beschwerdeführer habe sich nicht bzw. zu spät am Verfahren vor der Verwaltungsrekurskommission beteiligt, weshalb es ihm an der formellen Beschwer mangle. Zudem sei ohnehin fraglich, ob die Verwaltungsrekurskommission überhaupt auf die Beschwerde von B._ hätte eintreten dürfen, denn dieser sei als nicht selbstbewirtschaftender Pächter nicht legitimiert gewesen, die Erwerbsbewilligung anzufechten.
3.3. Der Beschwerdeführer war im Verfahren vor dem Landwirtschaftsamt sekundärer Verfügungsadressat gewesen, machte jedoch von der Möglichkeit, die Erwerbsbewilligung anzufechten, keinen Gebrauch. Soweit der Beschwerdeführer geltend macht, er habe keine Veranlassung gehabt, die Erwerbsbewilligung anzufechten, weil B._ dies bereits getan habe, ist er nicht zu hören: Die Parteistellung eines sekundären Verfügungsadressaten, der nicht Beschwerde erhoben hat, kann nicht daraus abgeleitet werden, dass ein anderer Drittbetroffener die Verfügung mit dem gleichen Ziel anficht (<ref-ruling> E. 3.2.1 S. 187 f.; SEILER/VON WERDT/GÜNGERICH, Bundesgerichtsgesetz [BGG]: Bundesgesetz über das Bundesgericht, 2007, N. 14 zu <ref-law>).
3.4. Die Vorinstanz hat geprüft, ob der Beschwerdeführer als Dritter am Verfahren vor der Verwaltungsrekurskommission teilgenommen hat, und diese Frage verneint. Eine Teilnahme als Dritter an diesem Beschwerdeverfahren war jedoch von vornherein nur möglich, wenn die Verwaltungsrekurskommission in Bejahung der Beschwerdelegitimation von B._ zu Recht auf dessen Beschwerde eingetreten war. Die Vorinstanz hat B._ Legitimation in einem obiter dictum in Zweifel gezogen, die Frage aber offen gelassen mit der Begründung, der Beschwerdeführer sei ohnehin nicht formell beschwert. Die Frage, ob B._ zur Anfechtung der Erwerbsbewilligung legitimiert war, ist vorab zu prüfen.
4.
4.1. Die Legitimationsvoraussetzungen im kantonalen Verfahren müssen sich aufgrund der Einheit des Verfahrens (vgl. <ref-law>) nach <ref-law> richten bzw. dürfen von Bundesrechts wegen nicht enger umschrieben werden. Danach ist zur Beschwerde berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat.Im bäuerlichen Bodenrecht ist die Beschwerdebefugnis insofern generell eingeschränkt, als <ref-law> die beschwerdebefugten Personen ausdrücklich nennt.
4.2. Gemäss <ref-law> können gegen die Verweigerung der Bewilligung die Vertragsparteien, gegen die Erteilung der Bewilligung die kantonale Aufsichtsbehörde, der Pächter sowie Kaufs-, Vorkaufs- oder Zuweisungsberechtigte bei der kantonalen Beschwerdeinstanz Beschwerde führen. Nach der Rechtsprechung und Lehre ist die Aufzählung in dieser Bestimmung jedoch nicht abschliessend. So ist beispielsweise der Käufer eines landwirtschaftlichen Grundstücks befugt, gegen die Erteilung der Erwerbsbewilligung an einen vorkaufsberechtigten Dritten Beschwerde zu führen (<ref-ruling> E.1c und E. 1d S. 276 f.; Urteil 2C_465/2012 vom 29. Oktober 2012 E. 2.4 mit weiteren Beispielen). Im Verfahren vor der Verwaltungsrekurskommission wäre somit der Beschwerdeführer als Käufer ohne Weiteres zur Beschwerdeführung legitimiert gewesen.
4.3. Die Frage, ob der Veräusserer eines landwirtschaftlichen Grundstücks legitimiert ist, die dem Vorkaufsberechtigten erteilte Erwerbsbewilligung als Dritter contra Adressat anzufechten, wurde von der Rechtsprechung bisher nicht explizit behandelt. In einem älteren Entscheid hat das Bundesgericht dem ehemaligen Eigentümer eines im Zwangsvollstreckungsverfahren vom Pfandgläubiger erworbenen landwirtschaftlichen Grundstücks die Legitimation zur Anfechtung der Erwerbsbewilligung mangels eines schutzwürdigen Interesses abgesprochen (Urteil 5A.21/2005 vom 17. November 2005 E. 4.2) und diese Rechtsprechung kürzlich bestätigt (Urteil 2C_978/2012 vom 4. Mai 2013 [zur Publikation vorgesehen] E. 5.2.3).
<ref-law> hat den Zweck, den Kreis der beschwerdebefugten Personen einzuschränken und insbesondere Drittbeschwerden von Grundstücksnachbarn zu verunmöglichen (<ref-ruling> E. 1c S. 276; HERRENSCHWAND/STALDER, in: Kommentar BGBB, 2. Aufl. 2011, N. 12a zu <ref-law>). Zwar gehören die Vertragsparteien - und damit auch der Veräusserer - nicht zu jenem Personenkreis, welcher nach dem Willen des Gesetzgebers a priori von der Beschwerdebefugnis ausgeschlossen sein sollte. Sofern aber der Kauf zwischen dem Veräusserer und dem Vorkaufsberechtigten zu jenen Bedingungen bewilligt wird, welche dem Vertrag mit dem urspünglichen Käufer zugrunde lagen, muss ein schutzwürdiges Interesse des Veräusserers an der Anfechtung der Erwerbsbewilligung verneint werden (Urteile 2C_978/2012 vom 4. Mai 2013 [zur Publikation vorgesehen] E. 5.2.2; 2C_465/2012 vom 29. Oktober 2012 E. 2.5). Denn die Vertragsparteien können einen positiven Bewilligungsentscheid nur insoweit anfechten, als sie durch diesen beschwert sind; dies ist insbesondere der Fall, wenn die Bewilligung unter Bedingungen oder Auflagen erteilt wird ( HERRENSCHWAND/STALDER, in: Kommentar BGBB, 2. Aufl. 2011, N. 13 zu <ref-law>; YVESDONZALLAZ, Commentaire de la loi fédérale du 4 octobre 1991 sur le nouveau droit foncier rural, Sion 1993, Rz. 746).
4.4. Im vorliegenden Fall wurde der Kaufvertrag durch die Beschwerdegegnerin so bewilligt, wie er zwischen B._ und dem Beschwerdeführer geschlossen worden war. Der Beschwerdeführer macht geltend, B._ habe ein Interesse daran gehabt, das Baurechtsgrundstück an ihn zu veräussern, weil er - der Beschwerdeführer - sich verpflichtet habe, zusätzlich das landwirtschaftliche tote und lebendige Inventar (welches nicht vom Vorkaufsrecht erfasst sei) mitzukaufen. Werde die Erwerbsbewilligung der Beschwerdegegnerin erteilt, würde B._ auf dem landwirtschaftlichen Inventar sitzenbleiben. Das Interesse, dass nicht die Beschwerdegegnerin, sondern der Beschwerdeführer das Baurechtsgrundstück übernehmen könne, sei nach B._s Tod auf dessen Rechtsnachfolgerin übergegangen. Denn bei einer Erteilung der Bewilligung an die Beschwerdegegnerin verbleibe das Inventar in der Konkursmasse und könne nicht zu dem Preis verkauft werden, den der Beschwerdeführer zu zahlen bereit sei.
Dieser Auffassung kann nicht beigepflichtet werden. Zwar mag zutreffen, dass B._ aus den genannten Gründen daran gelegen war, das Baurechtsgrundstück und die Pacht an seinen Vertragspartner zu übertragen. Dies ändert jedoch nichts daran, dass der Kauf ohne Bedingungen oder Auflagen bewilligt wurde und er als Veräusserer durch die Erteilung der Erwerbsbewilligung an die Beschwerdegegnerin nicht in schutzwürdigen Interessen betroffen war (vgl. E. 4.3). Das Vorkaufsrecht im Bereich des bäuerlichen Bodenrechts ist auf landwirtschaftliche Grundstücke und Gewerbe beschränkt. Die Beschwerdebefugnis kann dem - ansonsten nicht beschwerten - Veräusserer daher nicht zuerkannt werden aufgrund von Nebenabreden, welche nicht das landwirtschaftliche Grundstück selbst, sondern bewegliche Gegenstände betreffen. Die Beschwerdelegitimation von B._ muss daher verneint werden.
5.
5.1. Die vorstehenden Erwägungen führen zum Schluss, dass die Verwaltungsrekurskommission zu Unrecht auf die Beschwerde von B._ eingetreten ist. Eine akzessorische Verfahrensteilnahme des Beschwerdeführers als Dritter - obwohl selbst grundsätzlich legitimiert - war demzufolge ausgeschlossen. Die Frage, ob er tatsächlich teilgenommen hat und damit im Verfahren vor der Vorinstanz formell beschwert war, ist daher nicht zu prüfen. Unterbleiben kann insbesondere eine Würdigung der Verfahrensführung durch die Verwaltungsrekurskommission, welche den Beschwerdeführer zunächst als Partei behandelte, ihn dann vorübergehend vom Verfahren ausschloss und ihn schliesslich wieder in das Verfahren einbezog, indem sie ihm Akteneinsicht gewährte, ihn am Schriftenwechsel teilhaben liess und seinen Rechtsvertreter zur Einreichung einer Kostennote aufforderte. Selbst wenn das Verhalten der Verwaltungsrekurskommission unzulässig gewesen wäre, liessen sich daraus keine dem Beschwerdeführer ansonsten nicht zustehende (Verfahrens) ansprüche ableiten, sondern es dürften ihm höchstens keine zusätzlichen Nachteile (wie beispielsweise Kostenfolgen) entstehen. Dies ist jedoch nicht Gegenstand des vorliegenden Verfahrens, so dass nicht weiter darauf einzugehen ist.
5.2. Aufgrund des Ergebnisses ist auch das Vorbringen nicht zu prüfen, wonach die Verwaltungsrekurskommission die Sistierung des Verfahrens nicht hätte aufheben dürfen, bevor das zuständige Konkursorgan einen Entscheid über die Fortführung des Verfahrens getroffen haben würde. Ebenfalls nicht zu prüfen ist das Vorbringen, die Verwaltungsrekurskommission hätte eine Abtretung des Prozessführungsrechts an einen oder mehrere Gläubiger von B._ abwarten müssen.
6.
Nach dem Gesagten erweist sich der vorinstanzliche Nichteintretensentscheid als korrekt, weshalb die Beschwerde als unbegründet abzuweisen ist.
Bei diesem Ausgang des Verfahrens trägt der unterliegende Beschwerdeführer die Kosten (<ref-law>); zudem hat er die Ortsgemeinde Benken, welche ausserhalb ihres amtlichen Wirkungskreises obsiegt hat, angemessen zu entschädigen (<ref-law> e contrario).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Ortsgemeinde Benken für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 10. Juni 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner