Sachverhalt: A. A.a. Die Ortsgemeinde Benken SG ist Eigentümerin des Grundstücks Nr. xxx, Grundbuch Benken. Am 29. März 1995 schloss sie mit B._ eine als "Baurechts- und Gebäudekaufvertrag mit Pachtvertrag" bezeichnete Vereinbarung ab. Darin wurde B._ ein selbständiges und dauerndes Baurecht (Nr. yyy) an einer Teilfläche von 10'000 m2 des betreffenden Grundstücks eingeräumt. Zudem erwarb er die sich auf dem Baurechtsgrundstück befindlichen Gebäude zum Preis von Fr. 190'000.--. Schliesslich verpachtete ihm die Ortsgemeinde Benken 14.62 Hektaren Wies- und Ackerland des Grundstücks Nr. xxx. Das Baurecht und die Pacht wurden für eine Dauer von 50 Jahren vereinbart und deren Übertragung von der Zustimmung der Grundeigentümerin abhängig gemacht. A.b. Nachdem B._ auf dem Gerichtsweg eine Reduktion des Pachtzinses erreicht hatte (vgl. Urteil der Rekurskommission EVD [heute: Bundesverwaltungsgericht] vom 20. April 2004), strebte die Ortsgemeinde Benken die Auflösung des Vertragswerks an. Mit Vergleich vom 20. Juni 2005 verpflichtete sich B._, die Gebäude bis am 31. Dezember 2007 zu verkaufen und der Ortsgemeinde Benken innert dieser Frist jedenfalls (auch bei Nichtverkauf) Fr. 90'000.-- zu bezahlen. Die infolge unbenutzten Ablaufs der Zahlungsfrist von der Ortsgemeinde Benken in Betreibung gesetzte Forderung von Fr. 86'672.90 nebst Zins von 5 % seit dem 1. Januar 2008 wurde nach durchgeführtem Rechtsmittelverfahren durch das Kantonsgericht Schwyz am 9. März 2010 bestätigt. Dieses Urteil erwuchs unangefochten in Rechtskraft. A.c. Bereits am 17. März 2009 hatte B._ das Baurechtsgrundstück Nr. yyy an A._ verkauft. Nachdem die Ortsgemeinde Benken das Vorkaufsrecht ausgeübt hatte, erteilte das Landwirtschaftsamt des Kantons St. Gallen (nachfolgend: Landwirtschaftsamt) dieser am 7. Mai 2009 die Erwerbsbewilligung. Der Entscheid wurde der Ortsgemeinde Benken, B._, dem Grundbuchverwalter, der Aufsichtsbehörde BGBB und A._ eröffnet. B. B.a. B._ focht den Entscheid des Landwirtschaftsamts am 9. Juni 2009 bei der Verwaltungsrekurskommission des Kantons St. Gallen (nachfolgend: Verwaltungsrekurskommission) an und beantragte, die angefochtene Verfügung aufzuheben und der Ortsgemeinde Benken die Bewilligung zum Erwerb des Baurechts Nr. yyy zu verweigern. B.b. Die Beschwerde wurde den Verfügungsadressaten am 24. Juni 2009 zur Vernehmlassung zugestellt, worauf das Landwirtschaftsamt und die Ortsgemeinde Benken eine Stellungnahme einreichten. Die Verfügung vom 24. Juni 2009 enthielt folgenden Passus: "Hinweis für A._: Falls Sie im Beschwerdeverfahren Anträge stellen sollten, könnte dies je nach Prozessausgang Kostenfolgen haben." Der nicht anwaltlich vertretene A._ reichte keine Stellungnahme ein. Am 14. August 2009 teilte der Abteilungspräsident A._ mit, da er sich nicht habe vernehmen lassen, gehe sie ohne seinen Bericht bis zum 25. August 2009 davon aus, dass er sich nicht am Beschwerdeverfahren beteiligen wolle, und erklärte den Schriftenwechsel für abgeschlossen. B.c. Am 9. März 2010 verstarb B._. Das Beschwerdeverfahren wurde am 7. April 2010 sistiert. Die entsprechenden verfahrensleitenden Verfügungen erhielt A._ nur noch als Kopie; sein Name war aus dem Rubrum entfernt worden. Nachdem die nächsten Erben die Erbschaft ausgeschlagen hatten, wurde die konkursamtliche Nachlassliquidation angeordnet. Am 7. Dezember 2010 teilte der Rechtsvertreter von A._ der Verwaltungsrekurskommission mit, er sei mit dessen Interessenwahrung betraut worden, und reichte eine entsprechende Vollmacht ein. Am 4. Mai 2011 hob der Abteilungspräsident die Sistierung auf und setzte den Verfahrensbeteiligten eine Frist bis zum 21. Mai 2011, um allenfalls neue Tatsachen vorzubringen. Tags darauf stellte A._ ein Akteneinsichtsgesuch, welches am 6. Mai 2011 bewilligt wurde. Die Ortsgemeinde Benken liess sich am 30. Mai 2011 vernehmen. Die Stellungnahme wurde den übrigen Verfahrensbeteiligten - auch dem nunmehr anwaltlich vertretenen A._ - am 3. Juni 2011 zur Kenntnisnahme zugestellt und der Schriftenwechsel für abgeschlossen erklärt. Mit Eingabe vom 17. Juni 2011 replizierte A._ auf die Stellungnahme der Ortsgemeinde Benken. Die Replik wurde den übrigen Verfahrensbeteiligten mit der Gelegenheit zur Stellungnahme weitergeleitet, wovon die Ortsgemeinde Benken am 7. Juli 2011 Gebrauch machte. Auf entsprechende Aufforderung hin reichte der Rechtsvertreter von A._ eine Kostennote ein. B.d. Am 2. Dezember 2011 wies die Verwaltungsrekurskommission die Beschwerde ab. Auf die dagegen von A._ erhobene Beschwerde trat das Verwaltungsgericht des Kantons St. Gallen (nachfolgend: Verwaltungsgericht) mit Urteil vom 23. August 2012 nicht ein. C. A._ erhebt am 27. September 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und die Sache zur Behandlung an das Verwaltungsgericht zurückzuweisen. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, ebenso die Ortsgemeinde Benken, soweit darauf einzutreten sei. Das Landwirtschaftsamt, die Verwaltungsrekurskommission und die Aufsichtsbehörde BGBB haben sich nicht vernehmen lassen.