Sachverhalt:
A.
B._ ist Eigentümer der Grundstücke Gbbl. Nrn. 90, 590 und 591 in Hemberg. Alle drei Grundstücke befinden sich gemäss Zonenplan in der Landwirtschaftszone.
Mit Gesuch vom 3. November 2001 ersuchte B._ um Erteilung einer Baubewilligung für eine Erschliessungsstrasse zum Weidstall auf dem Grundstück Gbbl. Nr. 591 für die landwirtschaftliche Bewirtschaftung. Im Gesuchsformular wurde die Erschliessungsstrasse mit 200 m Länge und 2,80 m Breite angegeben. Gemäss dem beigelegten Situationsplan sollte der Aushub an drei Standorten (Deponie 1, 2 und 3) auf Parzelle Gbbl. Nr. 90 deponiert werden. Dieses Gesuch wurde mit raumplanungsrechtlicher Teilverfügung des Planungsamts des Kantons St. Gallen (heute: Amt für Raumentwicklung und Geoinformation des Kantons St. Gallen) vom 6. Juni 2002 und Baubewilligung des Gemeinderats Hemberg vom 20. Juni 2002 bewilligt.
B.
Nach einem Hinweis aus der Bevölkerung, wonach auf den Parzellen Gbbl. Nrn. 90, 590 und 591 von aussen zugeführtes Material abgelagert und der Wald- und Gewässerabstand unterschritten werde, erliess die Gemeinde Hemberg nach diversen Augenscheinen am 7. März 2012 eine Baueinstellungsverfügung betreffend die Deponierung von Aushub und verlangte die Nachreichung eines Baugesuchs. In der Folge reichten die A._ GmbH und B._ am 18. Dezember 2012 ein Baugesuch für die nachträgliche Bewilligung der Mehrdeponie gegenüber der Baubewilligung vom 20. Juni 2002 sowie für eine Deponie von ca. 20'000 m3 sauberen Aushubmaterials auf einer Fläche von 6'000 m2 ein. Dieses Gesuch wurde mit Eingabe vom 20. März 2013 und Korrekturplänen vom 15. Februar 2013 angepasst und öffentlich aufgelegt. Gegen das Baugesuch gingen mehrere Einsprachen ein. Das Amt für Raumentwicklung und Geoinformation verweigerte am 7. Mai 2014 die Zustimmung zum Baugesuch, worauf die Gemeinde Hemberg am 14. August 2014 die gegen das Projekt erhobenen Einsprachen guthiess (Ziffern 1-3 des Dispositivs), die Gesuche zur nachträglichen Bewilligung der Mehrdeponie gegenüber der Baubewilligung vom 20. Juni 2002 und zur Bewilligung einer Deponie von ca. 20'000 m3 abwies (Ziffer 4 des Dispositivs) und die A._ GmbH und B._ zur Wiederherstellung des rechtmässigen Zustands durch Abführung von 600 m3 Festmaterial innert sechs Monaten ab Rechtskraft verpflichtete (Ziffer 5 des Dispositivs), unter Androhung von Strafe und Ersatzvornahme (Ziffern 6 und 7 des Dispositivs) und Regelung der Kosten- und Entschädigungsfolgen (Ziffer 8 des Dispositivs).
Die A._ GmbH und B._ erhoben dagegen Rekurs beim Baudepartement des Kantons St. Gallen mit den - nachträglich reduzierten - Anträgen, es seien die Ziffern 5-8 des Entscheids der Gemeinde Hemberg aufzuheben (Ziffer 1), es sei die Angelegenheit ins Baubewilligungsverfahren zurückzuweisen (Ziffer 2) und es sei die Bewilligung zur Füllung der am 20. Juni 2002 bewilligten Deponie zu erteilen (Ziffer 3). Das Baudepartement schrieb den Rekurs mit Entscheid vom 22. Januar 2016 bezüglich des ursprünglich gestellten Antrags - es sei eine Deponie von rund 20'000 m3 zu bewilligen - zufolge Rückzugs ab (Ziffer 1 des Dispositivs), auf den Rückweisungsantrag und auf den Antrag, es sei die Füllung der Deponiestandorte gemäss Bewilligung vom 20. Juni 2002 zu bewilligen, trat das Baudepartement nicht ein (Ziffer 2 des Dispositivs). Im Übrigen - das heisst bezüglich der Verpflichtung zur Wiederherstellung (Ziffer 3 des Dispositivs) und bezüglich der Kostenfolgen (Ziffern 4-6 des Dispositivs) - wurde der Rekurs abgewiesen.
Die A._ GmbH und B._ fochten diesen Entscheid mit Beschwerde beim Verwaltungsgericht des Kantons St. Gallen an und beantragten die Aufhebung der Ziffern 2-6 des Entscheids des Baurekursgerichts.
Mit Entscheid vom 12. März 2018 wies das Verwaltungsgericht die Beschwerde ab.
C.
Mit Eingabe vom 27. April 2018 führen die A._ GmbH und B._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht mit den Hauptanträgen, das angefochtene Urteil aufzuheben und die Streitsache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Mit Verfügung vom 29. Mai 2018 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt.
Die Vorinstanz und das Baudepartement stellen Antrag auf Beschwerdeabweisung. Die Gemeinde Hemberg beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Beschwerdegegner beantragen, auf die Beschwerde sei nicht einzutreten, soweit sich die Beschwerde gegen den Entscheid der Vorinstanz über die den Beschwerdeführern auferlegte Parteikostenentschädigung richte. Das Bundesamt für Raumentwicklung ARE und das Bundesamt für Umwelt BAFU verzichten auf Stellungnahmen.
Die Beschwerdeführer halten an ihren Anträgen und an ihrem Standpunkt fest.

Erwägungen:
1.
1.1. Die Beschwerde richtet sich gegen einen kantonal letztinstanzlichen Endentscheid öffentlich-rechtlicher Natur (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Ein Ausschlussgrund ist nicht gegeben (<ref-law>). Die Beschwerdeführer hatten im vorinstanzlichen Verfahren Parteistellung (<ref-law>). Als Eigentümer der von der Wiederherstellung betroffenen Grundstücke sind sie durch den angefochtenen Entscheid besonders berührt (lit. b) und haben ein schutzwürdiges Interesse an dessen Aufhebung (lit. c). Sie sind zur Beschwerdeführung legitimiert.
1.2.
1.2.1. Gemäss <ref-law> dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt; dies ist in der Beschwerde näher darzulegen (<ref-ruling> E. 2.2.1 S. 226 mit Hinweis). Unzulässig ist das Nachreichen von Beweismitteln, die ohne Weiteres schon im kantonalen Verfahren hätten vorgebracht werden können und sollen.
1.2.2. Die Beschwerdeführer reichen einen Auszug aus dem "Brockhaus-Lexikon" von 1980 als neues Beweismittel ein. Sie machen insoweit geltend, es sei zwar von einer sichtbaren minimalen Strassenbreite von 2,8 m der landwirtschaftlichen Erschliessungsstrasse auszugehen. Die Strasse weise jedoch ein nicht sichtbares, unterirdisches Bankett von rund 4 m Breite auf, was - wie sich auch aus dem "Brockhaus-Lexikon" ergebe - für die Befahrbarkeit mit landwirtschaftlichen Fahrzeugen unabdingbar sei. Bei der Erstellung des Banketts sei zusätzlicher Aushub von rund 144 m3 angefallen, welchen die Vorinstanzen fälschlicherweise nicht berücksichtigt hätten.
Dieses Vorbringen ist neu und demzufolge unzulässig. In ihrer Beschwerde (samt Beilagen) an die Vorinstanz finden sich keinerlei Ausführungen zur Thematik "unterirdisches Bankett". Es kann auch nicht gesagt werden, erst der Entscheid der Vorinstanz habe zu dieser neuen Behauptung Anlass gegeben. Vielmehr hat die Vorinstanz ausdrücklich auf die Berechnung des Aushubs durch die Gemeinde Hemberg im Entscheid vom 14. August 2014 abgestellt, welche bereits das Baudepartement in seinem Entscheid vom 22. Januar 2016 als plausibel eingestuft hat (vgl. auch nachfolgend E. 2.3).
1.2.3. Neu und deshalb unbeachtlich ist auch das Vorbringen der Beschwerdeführer, wonach die Geländesenke bei der Deponie 3 eine Hangneigung von 50-125 % aufweise, was das Land für die Landwirtschaft unbrauchbar mache.
1.3.
1.3.1. Die Beschwerde ist nur im Rahmen des Streitgegenstands zulässig. Dieser wird durch den Gegenstand des angefochtenen Entscheids und durch die Parteibegehren bestimmt, wobei der angefochtene Entscheid den möglichen Streitgegenstand begrenzt (<ref-ruling> E. 3.3 S. 189); neue Begehren sind unzulässig (<ref-law>).
1.3.2. Die Vorinstanz hat erwogen, die Beschwerdeführer hätten im Verfahren vor dem Baudepartement ihr Rechtsbegehren reduziert und nunmehr lediglich die Aufhebung des angefochtenen Entscheids der Gemeinde Hemberg vom 14. August 2014 in den Ziffern 5 bis 8 des Dispositivs (Wiederherstellung, Strafandrohung, Androhung der Ersatzvornahme und Gebühr) verlangt. Das Baudepartement habe den ursprünglichen Rekurs gegen die Ziffern 1 bis 4 des Dispositivs des angefochtenen Entscheids zufolge Rückzugs abgeschrieben. Diesen Abschreibungsentscheid hätten die Beschwerdeführer nicht angefochten.
Weshalb das Baudepartement im Entscheid vom 22. Januar 2016 zu Unrecht nicht auf das Begehren um Rückweisung in das Baubewilligungsverfahren eingetreten sein sollte (Ziffer 2 des Dispositivs), begründeten die Beschwerdeführer nicht; dies sei auch nicht ersichtlich. Die Sache habe nach dem Rückzug des Rekurses gegen den Bauabschlag für die ausgeführte Mehrdeponie und die geplante Neudeponie gar nicht mehr ins Baubewilligungsverfahren zurückgewiesen werden können. Diesbezüglich sei die Beschwerde abzuweisen. Zu prüfen seien (einzig) die Vorbringen gegen die Wiederherstellung und die Kostenverlegung.
1.3.3. Diese Ausführungen werden von den Beschwerdeführern zu Recht nicht oder jedenfalls nicht substanziiert bestritten. In ihrer Beschwerde im bundesgerichtlichen Verfahren wiederum bildet die Frage der Kostenverlegung im kantonalen Verfahren kein Thema. Umstritten und näher zu prüfen sind folglich einzig Rügen in Zusammenhang mit der angeordneten Wiederherstellung des rechtmässigen Zustands.
1.4. Die Vorinstanz hat erwogen, der rechtserhebliche Sachverhalt ergebe sich aus den Verfahrensakten, insbesondere aus den anlässlich des vorinstanzlichen Augenscheins aufgenommenen und weiteren sich in den Vorakten befindlichen Fotos sowie aus dem öffentlich zugänglichen Geoportal (www.geoportal.ch). Es könne deshalb auf die Durchführung eines Augenscheins zwecks Beurteilung der Verhältnismässigkeit der Wiederherstellung verzichtet werden.
Diese Erwägung, welche von den Beschwerdeführern im Übrigen auch nicht substanziiert beanstandet wird, lässt keine Willkür erkennen und stellt (unter dem Blickwinkel des rechtlichen Gehörs) eine zulässige antizipierte Beweiswürdigung dar (vgl. <ref-ruling> E. 5.3 S. 236 mit Hinweisen).
1.5. Die Beschwerdeführer rügen eine offensichtlich unrichtige Sachverhaltsfeststellung gemäss <ref-law>.
Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Von den Beschwerdeführern kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (<ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-law> i.V.m. <ref-law>).
Soweit es sich bei den Ausführungen in der Beschwerde nicht ohnehin um unzulässige neue Vorbringen im Sinne von <ref-law> handelt (vgl. E. 1.2 hiervor), verfallen die Beschwerdeführer über weite Strecken in appellatorische Kritik am angefochtenen Entscheid. Sie stellen der vorinstanzlichen Begründung lediglich ihre eigene Sicht der Dinge gegenüber, ohne darzulegen, inwiefern die Feststellungen der Vorinstanz willkürlich oder offensichtlich unvollständig sein sollten (vgl. auch nachfolgend E. 2.2 und 2.3).
2.
2.1. Als offensichtlich unbegründet erweist sich die von den Beschwerdeführern erhobene Rüge der Verletzung von Art. 16 und Art. 16a RPG. In der Landwirtschaftszone zonenkonform sind Bauten und Anlagen, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind (Art. 16a Abs. 1 Satz 1 RPG); Deponien sind mithin in der Landwirtschaftszone nicht zonenkonform. Insoweit kann auf die ausführlich begründete raumplanungsrechtliche Teilverfügung des kantonalen Amts für Raumentwicklung und Geoinformation vom 7. Mai 2014 E. 4 verwiesen werden (vgl. auch Sachverhalt lit. B. hiervor).
2.2.
2.2.1. Die Vorinstanz hat in einem ersten Schritt geprüft, was Inhalt der Bewilligung vom 6./20. Juni 2002 bildete.
Sie hat erwogen, es sei nicht ersichtlich, wie die Beschwerdeführer angesichts der Begründung des eigenen Baugesuchs und der von ihnen selbst eingereichten Planunterlagen, der Erwägungen in der raumplanungsrechtlichen Teilverfügung des Planungsamts des Kantons St. Gallen vom 6. Juni 2002 sowie der Bezeichnung der Baubewilligung ("Erschliessungsstrasse sowie Deponie des Aushubs") davon hätten ausgehen können, es seien - unbefristet - drei Kleindeponien zur Ablagerung von beliebigem eigenem sowie von fremdem Aushub bewilligt worden. Dass die Gemeinde Hemberg mit der damaligen Bewilligung kein ausdrückliches Verbot zur Ablagerung weiteren Materials ausgesprochen habe, ändere daran nichts. Wenn gemäss Gesuch lediglich der beim Bau der Erschliessungsstrasse anfallende Aushub deponiert werden sollte, erübrige sich ein solches Verbot von vornherein.
Damit stehe fest, dass für die Beurteilung, ob unerlaubt zu viel Material abgelagert worden sei, ausschliesslich auf den beim Strassenbau angefallenen Aushub abzustellen sei. Entgegen der Ansicht der Beschwerdeführer sei damit kein weiterer Aushub für die Vorplätze und für eine Sickerleitung ums Wohnhaus herum sowie kein weiterer, nicht näher spezifizierter Geländeabtrag zu berücksichtigen.
2.2.2. Diese Feststellungen der Vorinstanz und ihre Beweiswürdigung erweisen sich ohne Weiteres als haltbar, was die Beschwerdeführer mit ihren allgemein gehaltenen Ausführungen auch nicht in Frage zu stellen vermögen.
2.3.
2.3.1. Die Vorinstanz hat weiter ausgeführt, gemäss den Berechnungen der Gemeinde Hemberg in der Bauabschlagsverfügung vom 14. August 2014 seien beim Bau der Erschliessungsstrasse rund 336 m3 Aushub, davon rund 84 m3 Humus, angefallen. Somit habe die ursprünglich bewilligte Ablagerung des Aushubs der landwirtschaftlichen Erschliessungsstrasse bis zu 252 m3 betragen. In der Deponie 1 hätten gemäss Bauabschlag rund 100 - 120 m3 Aushub abgelagert werden können, was entsprechend erfolgt sei. Die Deponie 1 sei abgeschlossen, die Deponie 3 nicht in Angriff genommen worden. Die Differenz von rund 130 - 150 m3 Material (bewilligte Aushubmenge ohne Humus: 252 m3 abzüglich Deponie 1 von 100 - 120 m3) habe in der Deponie 2 abgelagert werden dürfen. Gemäss Ermittlung des Geometers seien in der Deponie 2 aber 745.7 m3 abgelagert worden. Daraus resultiere gemäss Bauabschlagsverfügung ein Deponiemehrvolumen von rund 600 m3 Material, welches ohne Bewilligung abgelagert worden sei. Das Baudepartement habe diese Berechnungen als plausibel taxiert.
Die Vorinstanz hat darauf hingewiesen, die Beschwerdeführer treffe ungeachtet des Untersuchungsprinzips eine Mitwirkungspflicht, welcher sie nicht ansatzweise nachgekommen seien. Ihre anderweitigen Annahmen des beim Strassenbau angefallenen Aushubs seien unbelegt und es bestünden keine Anhaltspunkte dafür, dass die Berechnung der Gemeinde Hemberg unzutreffend sei. Die Mehrdeponie im Umfang von 600 m3 sei formell und materiell rechtswidrig.
2.3.2. Die Beschwerdeführer bestreiten die Berechnung des beim Bau der Strasse angefallenen Aushubs einzig mit dem unbeachtlichen neuen Vorbringen betreffend die Erstellung eines nicht sichtbaren, unterirdischen Strassenbanketts, welches zu einer höheren Aushubmenge geführt habe (vgl. E. 1.2.2 hiervor).
2.4. Die Vorinstanz hat geschlossen, dem Grundsatz der Trennung von Bau- und Nichtbaugebiet komme zentrale Bedeutung zu. Die Abweichung von den Vorschriften durch die unberechtigte Ablagerung von rund 600 m3 zugeführtem Material ausserhalb der Bauzone sei sehr erheblich. Das öffentliche Interesse an der Wiederherstellung des rechtmässigen Zustands sei entsprechend sehr gross. Die Beschwerdeführer hätten auch nicht berechtigterweise davon ausgehen können, dass sie dieses Material hätten ablagern dürfen. Die damalige, klare Baubewilligung habe keinerlei Grundlage für eine solche Annahme geboten, was der Beschwerdeführer 2 als Grundeigentümer und Rechtsanwalt bei Anwendung der gebotenen Sorgfalt hätte erkennen können. Die Wiederherstellung des rechtmässigen Zustands erweise sich damit als verhältnismässig.
2.5. Die Beschwerdeführer erachten demgegenüber die Wiederherstellung insbesondere angesichts der ihnen vermutungsweise anfallenden Kosten von rund Fr. 45'000.-- als unverhältnismässig.
2.6. Im Wiederherstellungsverfahren sind die massgebenden allgemeinen verfassungs- und verwaltungsrechtlichen Prinzipien zu berücksichtigen. Zu ihnen gehören namentlich die in Art. 5 Abs. 2 und 3 sowie <ref-law> festgehaltenen Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens. Im Falle einer nicht den Bauvorschriften bzw. der Baubewilligung entsprechenden Baute kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn die Bauherrschaft in gutem Glauben angenommen hat, die von ihr ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht schwerwiegenden öffentlichen Interessen widerspricht (<ref-ruling> E. 6 S. 35). Auf den guten Glauben kann sich nicht berufen, wer bei der Aufmerksamkeit, wie sie nach den Umständen von ihm oder ihr erwartet werden kann, nicht hat gutgläubig sein können (vgl. <ref-ruling> E. 6.2.2 S. 38 f. mit Hinweisen).
Auf die Verhältnismässigkeit berufen kann sich zwar auch eine Bauherrschaft, die nicht gutgläubig gehandelt hat. Sie muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, namentlich zum Schutz der Rechtsgleichheit und der baurechtlichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die der Bauherrschaft allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6.4 S. 39 f.).
2.7. Die Vorinstanz hat unter Bezugnahme auf den zentralen Grundsatz der Trennung von Bau- und Nichtbaugebiet zu Recht gefolgert, es bestehe ein gewichtiges öffentliches Interesse an der Wiederherstellung des rechtmässigen Zustands. Ebenso verletzt es kein Bundesrecht, wenn die Vorinstanz zum Schluss gekommen ist, die Beschwerdeführer könnten aufgrund der gesamten Umstände, insbesondere angesichts der klar und unmissverständlich ausgestalteten damaligen Bewilligung, nicht als gutgläubig gelten. Bei diesem Ergebnis sind die der Bauherrschaft erwachsenden finanziellen Nachteile nicht oder jedenfalls nur in verringertem Masse zu berücksichtigen. Die Vorinstanz hat die Verhältnismässigkeit der Wiederherstellung zusammenfassend zu Recht bejaht.
3.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Die Gerichtskosten sind den unterliegenden Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Diese haben die Beschwerdegegner angemessen zu entschädigen (Art. 68 Abs. 1, 2 und 4 BGG). Zu berücksichtigen ist insoweit, dass sich die Beschwerdegegner in ihrer Vernehmlassung im bundesgerichtlichen Verfahren einzig zum Kostenpunkt geäussert haben. Die kommunalen und kantonalen Behörden haben keinen Anspruch auf eine Entschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 1'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Politischen Gemeinde Hemberg, dem Baudepartement des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, dem Bundesamt für Raumentwicklung und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 19. Februar 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Stohner