Sachverhalt:
A.
Das Ehepaar A.C._ und B.C._ lebte in den Jahren 2006-2009 getrennt: Die in der Stadt U._/ZH wohnhafte Ehefrau betrieb bis Ende 2007 die Einzelfirma D._. Der in V._/SG wohnhafte Ehemann führte dort seit dem 1. Mai 2005 eine Arztpraxis. Per 1. Januar 2008 wurde die Arztpraxis in die neu gegründete E._ GmbH mit Sitz in U._/ZH überführt. Die Stammanteile der GmbH werden von der Ehefrau sowie von einer der drei gemeinsamen Töchter des Ehepaars gehalten. Am 23. Juni 2006 erwarb der Ehemann sodann ein 5.4 ha grosses landwirtschaftliches Grundstück mit Wohnhaus, Scheune/Stall und Remise in V._/SG.
Am 12. Juni 2012 wurden die Eheleute im Rahmen einer interkantonalen Steuerausscheidung (betreffend die Kantone Zürich und St. Gallen) für die Kantons- und Gemeindesteuern des Kantons St. Gallen gemeinsam wie folgt veranlagt:
Jahr Einkommen Vermögen 2006 Fr. 262'400.-- Fr. 0.-- 2007 Fr. 297'700.-- Fr. 0.-- 2008 Fr. 118'800.-- Fr. 0.-- 2009 Fr. 106'200.-- Fr. 0.--
Für die direkte Bundessteuer derselben Perioden erfolgte die Veranlagung der Eheleute gleichzeitig wie folgt:
2006 Fr. 329'600.-- 2007 Fr. 324'400.-- 2008 Fr. 196'300.-- 2009 Fr. 195'400.--
B.
Hiergegen erhoben die Pflichtigen Einsprachen. Dabei beanstandeten sie u.a. die Nichtanerkennung des landwirtschaftlichen Betriebs als selbständige Erwerbstätigkeit sowie den ungenügenden Abzug von Liegenschaftsunterhaltskosten und Darlehenszinsen. Am 2. Dezember 2013 wies das kantonale Steueramt St. Gallen die Einsprachen ab. Ein daraufhin von den Pflichtigen eingereichter Rekurs (betreffend die Kantons- und Gemeindesteuern) sowie eine Beschwerde (betreffend die direkte Bundessteuer) wurden von der Verwaltungsrekurskommission des Kantons St. Gallen mit Entscheid vom 30. Juni 2015 ebenfalls abgewiesen.
In der Folge beschwerten sich die Pflichtigen beim Verwaltungsgericht des Kantons St. Gallen. Dieses hiess mit Urteil vom 23. Februar 2017 sowohl die Beschwerde betreffend die Kantons- und Gemeindesteuern als auch die Beschwerde betreffend die direkte Bundessteuer teilweise gut und wies die Angelegenheit zur Abklärung und Neuverfügung im Sinne der Erwägungen an das kantonale Steueramt zurück. Die teilweise Gutheissung bezog sich zum einen auf einen Anteil an der Prämie der Gebäudeversicherung in Höhe von Fr. 65.50 (betreffend die Periode 2006), welcher zusätzlich zum Abzug zugelassen wurde. Zum andern wurde das kantonale Steueramt mit der Prüfung beauftragt, inwieweit die von den Pflichtigen geltend gemachten Waldwirtschaftsunterhaltskosten (betreffend die Periode 2008) abzugsfähig seien. Betreffend alle übrigen streitigen Punkte resultierte gemäss den Erwägungen des Verwaltungsgerichts eine Abweisung der Beschwerden.
C.
Mit Eingabe vom 4. April 2017 führen die Pflichtigen Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen im Wesentlichen die Aufhebung des Urteils des Verwaltungsgerichts vom 23. Februar 2017, soweit dieses die bei ihm eingereichten Beschwerden betreffend die Kantons- und Gemeindesteuern 2006-2009 resp. die direkte Bundessteuer derselben Perioden abgewiesen bzw. nicht gutgeheissen habe. Die Sache sei in diesem Umfang zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Eventuell seien die erzielten Verluste des landwirtschaftlichen Betriebs sowie die geltend gemachten Schuldzinsen, subeventualiter anstelle der Betriebsverluste die entsprechenden Liegenschaftsunterhaltskosten, direkt zum Abzug zuzulassen.
Das Steueramt und das Verwaltungsgericht des Kantons St. Gallen sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde. Mit Schreiben vom 15. Juni 2017 wurde den Beschwerdeführern das Vernehmlassungsergebnis angezeigt. Innert der hierfür eingeräumten Frist erfolgte keine (fakultative) Stellungnahme der Pflichtigen.

Erwägungen:
I. Formelles
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist primär zulässig gegen Entscheide, die das Verfahren abschliessen (<ref-law>), sei es insgesamt, sei es unter bestimmten Voraussetzungen hinsichtlich eines Teils (<ref-law>). Gegen selbständig eröffnete Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen (<ref-law>), ist die Beschwerde dagegen nur zulässig, wenn diese Zwischenentscheide einen nicht wieder gutzumachenden Nachteil bewirken können (<ref-law>) oder die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>).
Rückweisungsentscheide gelten grundsätzlich als nur eingeschränkt anfechtbare Zwischenentscheide, weil sie das Verfahren nicht abschliessen (<ref-ruling> E. 1.3 S. 127; <ref-ruling> E. 4 S. 480 ff.). Anders verhält es sich bloss, wenn der unteren Instanz, an welche die Sache zurückgewiesen wird, kein Entscheidungsspielraum mehr bleibt und die Rückweisung bloss der (rechnerischen) Umsetzung des oberinstanzlich Angeordneten dient; diesfalls handelt es sich de facto um einen Endentscheid (<ref-ruling> E. 1.3 S. 127).
Wenn in einem angefochtenen Entscheid für eine Steuerperiode (nur) einzelne Aspekte definitiv entschieden werden, bezüglich anderer Aspekte betreffend dieselbe Periode jedoch eine Rückweisung erfolgt, so liegt grundsätzlich ein Zwischenentscheid vor (s. oben). Wenn dagegen bezüglich einiger Steuerperioden definitiv entschieden, bezüglich anderer Steuerperioden jedoch eine Rückweisung erfolgt, liegt betreffend die definitiv entschiedenen Perioden ein (Teil-) Endentscheid vor (Urteil 2C_677/2007 vom 31. Oktober 2008 E. 3.4; vgl. Urteil 2C_179/2016 vom 9. Januar 2017 E. 1.2).
1.2. Im vorliegenden Fall liegen die Steuerperioden 2006-2009 im Streit. Die teilweise Gutheissung der Beschwerden durch das Verwaltungsgericht und die Rückweisung an das Steueramt beziehen sich zum einen auf die Vornahme eines zusätzlichen Abzugs in Höhe von Fr. 65.60 betreffend die Periode 2006 und zum andern auf die Abklärung der Abzugsfähigkeit von Waldunterhaltskosten in der Periode 2008. Im ersten Fall geht es um die rein rechnerische Umsetzung, weshalb insofern von einem Endentscheid auszugehen ist. Im zweiten Fall verbleibt dem Steueramt ein Entscheidungsspielraum, weshalb es sich insoweit um einen Zwischenentscheid handelt. Dass die Voraussetzungen für die Anfechtung eines Zwischenentscheids gemäss <ref-law> diesbezüglich erfüllt wären, ist weder ersichtlich noch wird dies von den Beschwerdeführern aufgezeigt.
1.3. Aus dem Gesagten folgt, dass in Bezug auf die Steuerperioden 2006, 2007 und 2009 von einem Endentscheid auszugehen ist, betreffend die Periode 2008 dagegen von einem Zwischenentscheid. Indessen hat die Vorinstanz die hier streitigen Aspekte auch betreffend die Periode 2008 definitiv beurteilt und die Rügen der Beschwerdeführer beziehen sich entsprechend sowohl auf die Perioden 2006, 2007 und 2009 als auch auf die Periode 2008. Aus diesem Grund rechtfertigt es sich vorliegend aus prozessökonomischen Gründen, betreffend die strittigen Punkte auch die Periode 2008 mitzubeurteilen.
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Entscheid einer letzten, oberen kantonalen Instanz (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law> i.V.m. Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [Steuerharmonisierungsgesetz, StHG; SR 642.14] und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Die Beschwerdeführer sind durch das angefochtene Urteil besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
2.2. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen prüft das Bundesgericht gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetzden Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts indes auf die Prüfung von Willkür (<ref-ruling> E. 2 S. 210; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_978/2014 bzw. 2C_979/2014 vom 13. Mai 2015 E. 1.4, publiziert in: StE 2015 B 81.2 Nr. 3).
2.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>; <ref-ruling> E. 10.1 S. 445; <ref-ruling> E. 1.6 S. 280 f.). Die Erhebung einer Sachverhaltsrüge setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend ist (<ref-law>).
II. Direkte Bundessteuer
3.
Die Beschwerdeführer rügen, die Vorinstanz habe sie in den hier betroffenen Perioden zu Unrecht nicht als selbständige Landwirte anerkannt und dementsprechend auch die Kosten in Zusammenhang mit dem landwirtschaftlichen Grundstück nicht zum Abzug zugelassen. Im Zusammenhang mit diesen Vorbringen behaupten die Beschwerdeführer u.a. eine Verletzung von Bundesrecht, insb. einen Verstoss gegen das Prinzip der jährlichen Steuerveranlagung (= Periodizitätsprinzip), eine Widerhandlung gegen das Gleichbehandlungsgebot sowie eine Verletzung des rechtlichen Gehörs.
3.1. Gemäss <ref-law> werden bei selbständiger Erwerbstätigkeit die geschäfts- oder berufsmässigen Kosten abgezogen. Die Vorinstanz hat indes zutreffend erwogen, dass die selbständige Erwerbstätigkeit von der sog. Liebhaberei bzw. von einem blossen Hobby abzugrenzen ist. Das Verwaltungsgericht hat die Kriterien korrekt wiedergegeben, die praxisgemäss für die Annahme einer selbständigen Erwerbstätigkeit nötig sind; auf diese Ausführungen der Vorinstanz (E. 3.1 des angefochtenen Entscheids) kann an dieser Stelle verwiesen werden. Mit Hinblick auf den vorliegenden Fall ist insbesondere von Bedeutung, dass eine selbständige Erwerbstätigkeit voraussetzt, dass sie überhaupt auf die Erzielung eines Erwerbseinkommens ausgerichtet ist. Dies beurteilt sich nach einem subjektiven und einem objektiven Kriterium: Zum einen muss die Absicht, Gewinn zu erzielen, gegeben sein; zum anderen muss die Tätigkeit aber auch zur nachhaltigen Gewinnerzielung geeignet sein (Urteile 2C_375/2015 vom 1. Dezember 2015 E. 7.1, publ. in: RDAF 2016 II 88; 2C_188/2015 resp. 2C_189/2015 vom 23. Oktober 2015 E. 2.2; 2C_186/2014 vom 4. September 2014 E. 2, publ. in: StR 69/2014 S. 795 ff. und ASA 83 S. 231).
3.2. Das Verwaltungsgericht erachtete es als wesentlich, dass aus dem Landwirtschaftsbetrieb der Beschwerdeführer in den hier streitbetroffenen Jahren 2006 bis 2009 nur Verluste in erheblichem Ausmass resultierten: Im Jahr 2006 habe der Verlust Fr. 93'915.-- betragen, im Jahr 2007 Fr. 117'110.--, im Jahr 2008 Fr. 52'894.-- und im Jahr 2009 schliesslich Fr. 39'359.--. Auch in den beiden Folgejahren 2010 und 2011 seien Verluste von jeweils rund Fr. 50'000.-- ausgewiesen. Erträge (Umsätze) seien nur sehr vereinzelt erzielt worden: Im Jahr 2008 sei ausser einer erhaltenen Zahlung des Kantonsforstamtes (Beiträge an die Waldbewirtschaftung) sogar überhaupt kein Ertrag eingegangen. Die erzielten Verluste seien sodann mit den Einkünften der Haupttätigkeit der Ehegatten getragen worden, d.h. mit der Tätigkeit der Ehefrau bei der Einzelunternehmung D._ resp. bei der E._ GmbH sowie mit der Erwerbstätigkeit des Ehemannes in seiner Arztpraxis. Auch der Lebensunterhalt sei mit dem Einkommen aus der jeweiligen Haupttätigkeit der Ehegatten bestritten worden.
3.3. Was die Beschwerdeführer hiergegen vor Bundesgericht vorbringen, überzeugt nicht:
So verweisen sie darauf, sie hätten sich extra zur Bäuerin resp. zum Pferdezüchter ausbilden lassen, Zuchtpferde angeschafft, sich die landwirtschaftliche Tätigkeit bewilligen lassen, am Stall Unterhaltsarbeiten ausgeführt und zusätzliches Land für eine ausreichende Raufuttergrundlage gepachtet. Diese Vorkehrungen lassen indes höchstens auf den subjektiven Willen der Pflichtigen schliessen, den landwirtschaftlichen Betrieb erfolgreich zu führen bzw. die ihrer Meinung nach dafür erforderlichen Voraussetzungen zu schaffen (= subjektive Gewinnstrebigkeit). Ob die Tätigkeit aber auch tatsächlich zur nachhaltigen Gewinnerzielung geeignet ist (= objektive Gewinnstrebigkeit), ergibt sich demgegenüber erst aus der Art und Weise, wie das Gelernte umgesetzt bzw. die geschaffenen Voraussetzungen in der Folge nutzbar gemacht werden. Insofern erscheinen diese Einwendungen der Beschwerdeführer nicht als entscheidwesentlich.
Sodann wenden sie sich gegen eine mehrjährige Betrachtung des landwirtschaftlichen Betriebs und rügen in diesem Zusammenhang eine Verletzung des Periodizitätsprinzips: Aus den Verhältnissen von 2009 oder sogar von 2010 und 2011 dürfe nicht geschlossen werden, was ein Steuerpflichtiger in den Jahren 2006, 2007 und 2008 in Bezug auf die Gewinnerzielung gewollt habe. Dieser Einwand geht gleich in zweifacher Hinsicht fehl: Zum einen zielt er wiederum nur auf den Willen der Beschwerdeführer, d.h. auf die subjektive Seite der Gewinnstrebigkeit ab. Zum andern dürfen für die Frage der (subjektiven und objektiven) Gewinnstrebigkeit gemäss konstanter Praxis auch die Verhältnisse in den vorangegangenen bzw. in den nachfolgenden Perioden mitberücksichtigt werden (Urteile 2C_375/2015 vom 1. Dezember 2015 E. 7.4.3, a.a.O.; 2A.126/2007 vom 19. September 2007 E. 2.3, publ. in: StR 63 2008 36; 2A.46/2005 vom 31. August 2005 E. 2.2, publ. in: StE 2006 B 23.1 Nr. 59).
Schliesslich behaupten die Beschwerdeführer im Zusammenhang mit den mehrjährigen Verlusten ihres landwirtschaftlichen Betriebs auch eine Verletzung von <ref-law>, wonach Verluste aus den sieben der Steuerperiode vorangegangenen Geschäftsjahren abgezogen werden können, soweit sie bei der Berechnung des steuerbaren Einkommens dieser Jahre nicht berücksichtigt werden konnten. Was die Beschwerdeführer aus dieser Bestimmung herleiten wollen, ist jedoch unerfindlich, zumal die Möglichkeit eines Verlustvortrags gerade voraussetzt, dass es sich tatsächlich um eine selbständige Erwerbstätigkeit handelt (vgl. <ref-law>). Wohl trifft es zu, dass ein während mehreren Folgejahren eintretender Verlust die Annahme einer selbständigen Erwerbstätigkeit nicht von vornherein und in absoluter Weise ausschliesst, doch ändert dies nichts daran, dass die im Streit liegende Aktivität gemäss dem Obenstehenden sowohl subjektiv als auch objektiv auf die Erzielung eines Erwerbseinkommens ausgerichtet sein muss: Angesichts des Umstandes, dass die Beschwerdeführer in den fraglichen Perioden (und darüber hinaus) nicht nur stets Verluste erwirtschaftet, sondern zu keinem Zeitpunkt überhaupt je nennenswerte Einnahmen erzielt haben, scheitert es jedenfalls an der objektiven Komponente der Gewinnstrebigkeit.
Abschliessend machen die Beschwerdeführer in diesem Zusammenhang geltend, aus dem von ihnen gewählten Betriebskonzept für die Pferdezucht ergebe sich notwendigerweise, dass diese eher erst nach zehn als schon nach fünf Jahren rentieren könne. Diesem Einwand ist entgegenzuhalten, dass die Beschwerdeführer ihre Tätigkeit angesichts der von ihnen erzielten Betriebsergebnisse offenkundig nicht darauf ausgerichtet haben, mit ihrem landwirtschaftlichen Unterfangen von Beginn weg zumindest in beschränktem Umfang Erträge zu erwirtschaften. Vielmehr generierten sie damit ausschliesslich Kosten, welche sie mit ihrem regulären Erwerbseinkommen querfinanzierten. Sodann behaupten die Beschwerdeführer noch nicht einmal, dass ihre Pferdezucht in der Zwischenzeit, nach immerhin elf Jahren der Betriebstätigkeit, gewinnträchtig sei oder jedenfalls regelmässige Erträge abwerfe.
3.4. Nach dem Ausgeführten durfte die Vorinstanz ohne Rechtsverletzung die von den Beschwerdeführern geforderten Abzüge aus selbständiger Erwerbstätigkeit verweigern, zumal es an einer renditeorientierten Bewirtschaftung fehlt. Die Beschwerde ist diesbezüglich unbegründet.
4.
Die Beschwerdeführer rügen weiter, die Vorinstanz habe ihnen zu Unrecht den Abzug von Liegenschaftsunterhaltskosten betreffend den Stall auf ihrem landwirtschaftlichen Grundstück verweigert. Dabei habe sie zudem auf eine neue rechtliche Begründung zurückgegriffen, ohne ihnen diesbezüglich Gelegenheit zur Stellungnahme zu geben, was das rechtliche Gehör (<ref-law>) sowie den Grundsatz von Treu und Glauben im Prozess und den Anspruch auf gerechte Behandlung verletze.
4.1. Bei Liegenschaften im Privatvermögen können u.a. die Unterhaltskosten von den steuerbaren Einkünften abgezogen werden (<ref-law>). Nicht abziehbar sind nach <ref-law> demgegenüber die übrigen Kosten und Aufwendungen, insbesondere die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen. In diesem Sinne hat das Bundesgericht festgehalten, dass eine Totalsanierung, die praktisch einem Neubau gleichkommt, aus steuerlicher Sicht eine Herstellung darstellt, weshalb die damit verbundenen Kosten einkommenssteuerlich nicht absetzbar sind. Gleiches gilt für einen völligen Um- oder Ausbau einer Liegenschaft: Wird eine Liegenschaft umgebaut und neuen Zwecken zugeführt, liegt Herstellung vor, wenn die "Renovation" umfangmässig einem Neubau gleichkommt (Urteil 2C_153/2014 vom 4. September 2014 E. 2.2 f., publ. in: StE 2014 B 25.6 Nr. 63, StR 70 2015 157; vgl. <ref-ruling> E. 2 S. 224).
4.2.
4.2.1. Betreffend die Periode 2008 liegen drei Rechnungen der E._ GmbH in Höhe von Fr. 17'124.54, Fr. 36'501.80 und Fr. 33'899.30 (ausmachend insgesamt Fr. 87'525.64) im Streit: Die von der Beschwerdeführerin sowie einer gemeinsamen Tochter der Beschwerdeführer gehaltene Gesellschaft koordinierte soweit ersichtlich die Sanierung des Stalls und beglich die angefallenen Rechnungen für Arbeit und Material. Für die Periode 2009 machen die Beschwerdeführer den Abzug von Fr. 4'136.60 geltend (Projektkosten, Bewilligungs- und Entscheidgebühren sowie eine Rechnung für "Agroberatung"), welche ebenfalls in Zusammenhang zum Stall stehen.
4.2.2. Das Verwaltungsgericht stellte für das Bundesgericht grundsätzlich verbindlich fest (<ref-law>), dass am Stall vorerst ohne Baubewilligung bewilligungspflichtige Änderungen vorgenommen wurden: Der Stallboden sei mit einem Drainagesystem versehen und betoniert worden, der Erdgeschossboden und das Fundament des Stalls seien erneuert und grosse Teile der Fassade und des Balkengerüsts seien ersetzt worden. Zudem sei der Stall mit einem vorspringenden Unterstand erweitert worden. Die ersetzten Teile des Stalls seien baufällig und für die geplante Nutzung nicht brauchbar gewesen. Aus diesen Gründen schloss die Vorinstanz, der Wiederaufbau komme einem Neubau gleich, weswegen die damit zusammenhängenden Kosten der Perioden 2008 und 2009 nicht absetzbar seien.
4.2.3. Die Beschwerdeführer wenden hiergegen ein, die Feststellungen des Verwaltungsgerichts stimmten nicht mit den für den nachträglichen Bewilligungserhalt eingereichten Korrekturplänen für den Stall überein. Aus den Plänen werde "sofort ersichtlich" dass sie, die Beschwerdeführer, den Stall keineswegs faktisch neu gebaut bzw. wiederaufgebaut hätten; weder seien grosse Teile der Fassade noch grosse Teile des Balkengerüsts ersetzt worden. Auch sei der Stall nicht um einen vorspringenden Unterstand erweitert worden, sondern es sei viel mehr darum gegangen, einen vormaligen grösseren Unterstand abzubrechen. Die Fassade sei "so gut wie unberührt" geblieben, das Balkengerüst sei nicht verändert worden, "mit Ausnahme der schadhaften (unten durch Feuchtigkeit angefaulten) Balken, die ausgewechselt wurden". Der Boden im Pferdestallteil sei wohl erneuert worden, was eine Folge der vormals fehlenden Drainage und der deswegen eingetretenen Fäulnis am vormaligen hölzernen Stallboden sowie an der Stützpfeilerunterseite des bestehenden Unterstandes darstelle; den Nutzwert des Stalles habe dies jedoch ebenso wenig verbessert wie die übrigen Arbeiten.
4.2.4. Diese Ausführungen der Beschwerdeführer sind unbehelflich: Zunächst erscheint fraglich, ob ihre Behauptungen den Anforderungen an eine Sachverhaltsrüge im bundesgerichtlichen Verfahren genügen. Wie es sich damit verhält, kann jedoch offenbleiben. Entscheidend ist vielmehr der Umstand, dass das Volumen der durchgeführten Arbeiten mit rund Fr. 90'000.-- sowohl absolut betrachtet als auch erst recht im Verhältnis zum Gebäudewert als sehr gross zu bezeichnen ist: Gemäss der Eröffnung der Steuerwerte durch die Gemeinde V._ vom 27. April 2006 (Vorakten VII / 1.3) betrug der Verkehrswert des Stalles damals (vor dem Umbau) lediglich Fr. 15'800.--. Entgegen der Ansicht der Beschwerdeführer ist es dabei auch nicht von Bedeutung, dass (gemäss ihren Angaben) der Grossteil der aufgewendeten Kosten von rund Fr. 90'000.-- auf die Arbeit und nicht auf das Baumaterial entfiel. Vielmehr ist bei angefallenen Kosten in diesem Ausmass der Schlussfolgerung der Vorinstanz zuzustimmen, dass die durchgeführten Umbauten wirtschaftlich einem Neubau gleichkommen und demnach nicht abzugsfähig sind.
4.3. Ebenso kann keine Rede davon sein, dass das Verwaltungsgericht mit seiner Begründung das rechtliche Gehör oder andere verfassungsmässige Rechte der Beschwerdeführer verletzt hätte:
Vorweg ist darauf hinzuweisen, dass gemäss der bundesgerichtlichen Praxis grundsätzlich kein Anspruch darauf besteht, zur rechtlichen Würdigung oder zur juristischen Begründung des Entscheids separat angehört zu werden (<ref-ruling> E. 5 S. 37 ff.). Indes ist das rechtliche Gehör zumindest der dadurch beschwerten Partei dann zu gewähren, wenn eine Behörde ihren Entscheid mit einer Rechtsnorm oder einem Rechtsgrund zu begründen beabsichtigt, die im bisherigen Verfahren nicht herangezogen wurden, auf die sich die beteiligten Parteien nicht berufen haben und mit deren Anwendung im konkreten Fall sie nicht rechnen konnten (Urteil 8C_76/2007 vom 6. Juli 2007 E. 3.1, nicht publ. in <ref-ruling>; <ref-ruling> E. 5.4.1 S. 26; <ref-ruling> E. 5b/bb S. 278; <ref-ruling> E. 2c/aa S. 22; <ref-ruling> E. 2b/aa S. 32).
Im vorliegenden Fall hatte bereits die Verwaltungsrekurskommission des Kantons St. Gallen in ihrem Entscheid vom 30. Juni 2015 die Praxis zur Abzugsfähigkeit von Kosten im Zusammenhang mit Bauarbeiten an Immobilien zutreffend und umfassend aufgezeigt (E. 5.a des genannten Entscheids). Insbesondere hatte sie darauf hingewiesen, dass einerseits bei Umbauten, die zu einer Funktionsänderung des betroffenen Gebäudes führen, und andererseits bei baulichen Massnahmen, die einem Neubau gleichkommen, keine Abzugsfähigkeit besteht. In Anwendung der aufgezeigten Praxis hatte die Verwaltungsrekurskommission dann auch den Abzug für die von den Pflichtigen geltend gemachten Aufwendungen für das Wohnhaus auf dem landwirtschaftlichen Grundstück verweigert, unter Hinweis auf das erhebliche Ausmass der durchgeführten Bauarbeiten (E. 5.e/ee des genannten Entscheids). In Bezug auf den Stall hatte sie die geltend gemachten Aufwendungen für das Jahr 2008 zufolge fehlender Belege von vornherein als nicht abzugsfähig bezeichnet, für das Jahr 2009 war sie aufgrund der eingetretenen Nutzungsänderung des Stallgebäudes (von einer Scheune hin zu einem Stall mit Tierhaltung) zum selben Schluss gelangt (E. 5.e/cc resp. E. 5.e/dd des genannten Entscheids).
Somit können die Beschwerdeführer hier nichts zu ihren Gunsten vorbringen: Zum einen haben sie es selbst zu vertreten, dass die Verwaltungsrekurskommission aufgrund der fehlenden Belege des Jahres 2008 keine materielle Gesamtwürdigung der Arbeiten am Stall vornehmen konnte. Zum anderen musste ihnen in Anbetracht der Ausführungen der Verwaltungsrekurskommission zu den verweigerten Abzügen für das Wohnhaus und der Höhe der geltend gemachten Aufwendungen für den Stall ohne Weiteres klar sein, dass das Verwaltungsgericht bei Nachreichung der fehlenden Belege auch betreffend den Stall auf das Vorliegen eines wirtschaftlichen Neubaus schliessen könnte.
5.
Abschliessend rügen die Beschwerdeführer, die Vorinstanz habe ihnen zu Unrecht den Abzug von Schuldzinsen in Höhe von Fr. 34'251.30 (betreffend die Periode 2006), bzw. von Fr. 37'676.40 (betreffend die Periode 2007), von Fr. 41'444.-- (betreffend die Periode 2008) und von ebenfalls Fr. 41'444.-- (betreffend die Periode 2009) verweigert. Die Zinsen bedienten gemäss der Darstellung der Pflichtigen ein Darlehen der Mutter der Beschwerdeführerin aus dem Jahr 1997 in Höhe von ursprünglich Fr. 300'000.--. Effektiv bezahlt worden seien die Zinsen aber nur in den Perioden 2008 und 2009. Zuvor seien die Zinsen als weitere Darlehen aufgenommen bzw. zum ursprünglichen Darlehen hinzugerechnet worden.
5.1. Vorweg ist festzuhalten, dass der angefochtene Entscheid nur die Perioden 2008 und 2009 betrifft; zu den Perioden 2006 und 2007 äussert er sich nicht. Darin liegt jedoch - entgegen den Ausführungen der Beschwerdeführer - keine Verletzung der Begründungspflicht: Bereits der Entscheid der Verwaltungsrekurskommission vom 30. Juni 2015 prüfte nur die Absetzbarkeit der Zinszahlungen für 2008 und 2009, unter Hinweis darauf, dass die Pflichtigen für 2006 und 2007 gar keine effektiv getätigten Zahlungen behaupteten (E. 6.c des genannten Entscheids). Die Beschwerdeführer rügten dies in ihrer Beschwerde an das Verwaltungsgericht nicht substantiiert: Zwar erwähnten sie in einem einzigen Abschnitt kurz, dass es ihrer Ansicht nach nur auf die Fälligkeit und nicht auf die Bezahlung in der betroffenen Periode ankomme (S. 13 in fine der Beschwerdeschrift an die Vorinstanz). In der Folge äusserten sie sich aber ausschliesslich zu den Perioden 2008 und 2009 und unterstrichen, dass dort effektiv eine Zahlung erfolgt sei (S. 14 f. der Beschwerdeschrift an die Vorinstanz). Auch die von den Pflichtigen vor Verwaltungsgericht gestellten Rechtsbegehren lassen nicht erkennen, für welche Periode welche Abzüge verlangt werden; die Pflichtigen beschränkten sich im vorinstanzlichen Verfahren vielmehr auf die unspezifisch formulierten Anträge, die angefochtenen Entscheide seien aufzuheben und die Angelegenheit zu neuem Entscheid an die Vorinstanz zurückzuweisen, eventualiter sei die Steuerveranlagung nach den Steuererklärungen gesetzmässig vorzunehmen. Bei diesem Vorgehen der Beschwerdeführer ist es unter Verfassungsgsichtspunkten nicht zu beanstanden, wenn das Verwaltungsgericht den Prozessgegenstand im Zusammenhang mit den geltend gemachten Darlehenszinsen auf die Perioden 2008 und 2009 beschränkte. Vor Bundesgericht kann der Verfahrensgegenstand nur noch weiter eingeschränkt, aber nicht mehr ausgeweitet werden (<ref-ruling> E. 3.2 S. 203; vgl. Urteil 2C_124/2013 vom 25. November 2013 E. 2.2.1, jeweils mit Hinweisen). Im Umfang als die Beschwerdeführer diesbezüglich im bundesgerichtlichen Verfahren explizit auch Anträge für die Perioden 2006 und 2007 stellen, kann auf die Beschwerde demnach nicht eingetreten werden.
5.2. Gemäss <ref-law> sind private Schuldzinsen im Umfang der steuerbaren Vermögenserträge und weiterer Fr. 50'000.-- grundsätzlich absetzbar.
Wie die Vorinstanz zutreffend ausgeführt hat, wird der Untersuchungsgrundsatz im Steuerverfahren dadurch relativiert, dass den Parteien eine Mitwirkungspflicht zukommt (vgl. <ref-law>; Urteil 2C_16/2015 vom 6. August 2015 E. 2.5.1 m.w.H.). Ebenfalls hat das Verwaltungsgericht zutreffend erwogen, dass die Steuerpflichtigen für steuermindernde Umstände (wozu auch das Anfallen und die Höhe von Darlehenszinsen gehören) die objektive Beweislast tragen, und dass bei internationalen Rechtsbeziehungen besonders strenge Beweisanforderungen gelten, weil die Verhältnisse des ausländischen Vertragspartners der Kontrolle durch schweizerische Steuerbehörden nicht zugänglich sind (vgl. E. 5.4.1 des angefochtenen Entscheids, mit Hinweisen auf die bundesgerichtliche Praxis).
5.3. Die Beschwerdeführer behaupten im Wesentlichen, sie hätten der in Südkorea lebenden Mutter der Beschwerdeführerin in den Jahren 2008 und 2009 je Fr. 41'444.-- an Zins bezahlt. Zu diesem Zweck hätten sie im Juli 2008 und im September 2008 je Fr. 15'000.--, im November 2008 Fr. 11'444.--, sowie im April und im September 2009 jeweils Fr. 10'000.-- an eine im mittelamerikanischen Belize domizilierte (jedoch über eine Postadresse im Kanton Zug verfügende) Gesellschaft namens F._ S.A. in bar übergeben, damit diese das Geld der Mutter in Südkorea wiederum in bar zukommen lasse. Für diese Dienstleistung wollen sie der genannten Unternehmung zudem eine Gebühr von insgesamt rund Fr. 4'600.-- bezahlt haben. Ein weiterer Barbetrag in Höhe von Fr. 21'444.-- sei der Mutter zudem direkt (ohne Zwischenschaltung der erwähnten Gesellschaft) übergeben worden.
Das Verwaltungsgericht schloss sich diesbezüglich der Auffassung der Verwaltungsrekurskommission an, das von den Beschwerdeführern gewählte Vorgehen sei unüblich, zumal auch eine Banküberweisung möglich gewesen wäre. Angesichts dieses Umstandes erachtete die Vorinstanz die von den Beschwerdeführern eingereichten Unterlagen mit nicht beglaubigten Unterschriften und ebenfalls nicht beglaubigter Übersetzung nicht als hinreichend, um die Zahlung von Darlehenszinsen zu belegen.
Die Beschwerdeführer erkennen darin eine Verletzung von Bundesrecht sowie von diversen verfassungsmässigen Rechten. Sie bringen im Wesentlichen vor, es stehe ihnen resp. der Mutter der Beschwerdeführerin frei, auf welche Weise die Darlehenszinsen entrichtet würden. Aufgrund der eingereichten Unterlagen seien die Zinszahlungen auch ohne Beglaubigungen als erstellt zu erachten.
5.4. Die Ausführungen der Beschwerdeführer überzeugen nicht:
Vorweg ist festzuhalten, dass das von den Beschwerdeführern behauptete Vorgehen in der Tat als sehr ungewöhnlich erscheint: Die Übergabe eines grösseren Barbetrages an eine Drittunternehmung zur Weiterleitung in ein Land, in welchem eine entwickelte Finanzindustrie besteht, entspricht offenkundig nicht den üblichen Gegebenheiten; solche Vorgänge betreffend meistens Zahlungsempfänger in Entwicklungs- oder Schwellenländern, in denen mangels ausgebauter Infrastruktur im Finanzwesen Bargeld das einzig sinnvolle Zahlungsmittel darstellt. Auffallend ist auch die Höhe der für diese Dienstleistung der F._ S.A. geltend gemachten Gebühr. Weshalb die Beschwerdeführer ein solches kostenintensives Vorgehen gewählt haben wollen, können sie nicht schlüssig aufzeigen.
Wie es sich damit verhält, muss an dieser Stelle jedoch nicht abschliessend geklärt werden. Entscheidend ist, dass die Konnexität zwischen den geltend gemachten Zahlungen an die F._ S.A. und den angeblichen Darlehenszinsen von den Beschwerdeführern nicht dargetan werden konnte: Durch die bewusste Unterbrechung der Papierspur zwischen den Beschwerdeführern und der angeblichen Darlehensgeberin lässt sich der Verlauf der Zahlung nicht nachverfolgen. Wohl ist den Beschwerdeführern insofern zuzustimmen, dass es ihnen frei steht, welcher Zahlungsmodalitäten sie sich bedienen. Indessen ist ihnen entgegenzuhalten, dass sie auch die entsprechenden Folgen bzw. die beweisrechtlichen Nachteile und Lasten zu tragen haben, wenn sich eine Zahlung aufgrund der gewählten Methode nicht mehr einem bestimmten Zahlungsgrund zuordnen lässt.
Zu Recht hat die Vorinstanz in diesem Zusammenhang auch erhöhte Anforderungen an den Nachweis der behaupteten abzugsfähigen Zahlungen ins Ausland gestellt: Da eine schweizerische Steuerbehörde wenn überhaupt nur mit hohem Aufwand selber feststellen kann, ob die Mutter der Beschwerdeführerin die hier streitigen Zinszahlungen tatsächlich erhalten (und dementsprechend in Korea auch als Einkommen versteuert) hat, ist sie auf schlüssige Belege der Beschwerdeführer angewiesen, welche nicht nur die Zahlung an sich bestätigen, sondern zudem erkennen lassen, dass die Zahlung auch wirklich dem angegebenen Zweck diente. Solche schlüssigen Unterlagen sind hier weder in Bezug auf die Zahlungen an die F._ S.A. (s. oben) noch in Bezug auf die behauptete direkte Barübergabe an die Mutter ersichtlich: Die von den Beschwerdeführern ausdrücklich angerufene Zusammenstellung samt angeblicher Bestätigung eines Zahlungserhalts ist im koreanischen Hangul-Alphabet verfasst und allfällige Unterschriften sind weder als solche erkennbar, geschweige denn wurden sie beglaubigt. Auch eine beglaubigte Übersetzung wurde von den Beschwerdeführern weder im kantonalen noch im bundesgerichtlichen Verfahren beigebracht, so dass der Inhalt dieses Dokuments letztlich unbekannt bleibt. Gleiches gilt im Wesentlichen für die übrigen Unterlagen zu diesem Thema, welche das Bundesgericht in den kantonalen Akten aufgefunden hat: Auch die Authentizität dieser fremdsprachigen Unterlagen lässt sich mangels Lesbarkeit des Originals nicht nachvollziehen. Auf den beiden - von der Beschwerdeführerin selbst - auf Deutsch verfassten Quittungen für die Schuldzinszahlungen der Perioden 2008 und 2009 ist nicht erkennbar, von wem diese Unterlagen unterschrieben wurden bzw. ob es sich bei den darauf angebrachten koreanischen Schriftzeichen überhaupt um eine Unterschrift handelt. Auffallend ist indes, dass die Schriftzeichen auf den beiden Dokumenten nicht miteinander identisch sind.
Sodann kann auch keine Rede davon sein, dass die Vorinstanz das rechtliche Gehör der Beschwerdeführer verletzt hätte oder überspitzt formalistisch vorgegangen wäre, als sie die fehlenden Übersetzungen und Beglaubigungen beanstandet hat: Es ist vielmehr selbstverständlich, dass fremdsprachige Dokumente einer beglaubigten Übersetzung bedürfen, damit ein Gericht ihren Beweiswert prüfen und würdigen kann. Gleiches gilt für die Beglaubigung von Unterschriften, insbesondere wenn diese - wie im vorliegenden Fall - nicht als solche erkennbar sind.
5.5. Nach dem Ausgeführten durfte die Vorinstanz den von den Beschwerdeführern geltend gemachten Abzug von Darlehenszinsen in den Perioden 2008 und 2009 verweigern, ohne hierdurch Bundesrecht im Allgemeinen und die verfassungsmässigen Rechte der Beschwerdeführer im Besondern zu verletzen.
III. Kantons- und Gemeindesteuern
6.
Die Rechtslage ist bei den Kantons- und Gemeindesteuern im Wesentlichen identisch wie bei der direkten Bundessteuer (vgl. Art. 10 Abs. 1 StHG i.V.m. Art. 40 Abs. 1 des Steuergesetzes des Kantons St. Gallen vom 9. April 1998 [StG/SG] betreffend die Abzüge bei selbständiger Erwerbstätigkeit; Art. 9 Abs. 3 StHG i.V.m. Art. 44 Abs. 2 und Art. 47 Abs. 1 lit. c StG/SG betreffend die Abzüge von Liegenschaftskosten sowie Art. 9 Abs. 2 lit. a StHG i.V.m. Art. 45 Abs. 1 lit. a StG/SG betreffend Schuldzinsen).
Aus diesen Gründen gelten die vorstehenden Erwägungen für die direkte Bundessteuer auch bei den Kantons- und Gemeindesteuern, weshalb auf das bereits Ausgeführte verwiesen werden kann.
IV. Kosten- und Entschädigungsfolgen
7.
Nach dem Obenstehenden ist die Beschwerde sowohl betreffend die direkte Bundessteuer als auch betreffend die Kantons- und Gemeindesteuern als unbegründet abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Prozessausgang tragen die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens unter solidarischer Haftung (<ref-law>). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Beschwerde betreffend die Kantons- und Gemeindesteuern wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten in Höhe von Fr. 5'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. November 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Zähndler