Sachverhalt:
A.
A._ ist Eigentümer der Parzelle Nr. xxx in der Gemeinde Klosters-Serneus. Gemäss geltendem Zonenplan 1:2'500 der Gemeinde Klosters-Serneus vom 26. September 1999 befinden sich der nordöstliche und der mit einem Wohnhaus überbaute Teil des Grundstücks, die circa 80 % der Gesamtfläche der Parzelle umfassen, in der Wohnzone. Der restliche, südwestliche und an die Bahnstrecke der Rhätischen Bahn angrenzende Teil der Parzelle ist dem übrigen Gemeindegebiet (üG) zugewiesen. Die gesamte Parzelle Nr. xxx wird von der Gefahrenzone mit geringer Gefahr (Gefahrenzone 2) überlagert.
A._ erstellte auf seinem Grundstück ohne Bewilligung im Südwesten gegen das Schienentrasse der Rhätischen Bahn einen circa 1,5 m hohen Zaun mit Pfosten in der Höhe von 1,7 m bis 1,8 m (inkl. Stellriemen), welcher teilweise in der Bauzone und teilweise im übrigen Gemeindegebiet steht.
Am 15. Oktober 2012 fand eine die Zaunanlage betreffende Besprechung zwischen der Gemeinde Klosters-Serneus und A._ vor Ort statt, bei der A._ aufgefordert wurde, ein Baugesuch für den Zaun einzureichen. Am 3. April 2013 wurde A._ erneut aufgefordert, ein nachträgliches Baugesuch einzureichen. Gleichzeitig wurde ihm mitgeteilt, dass der Zaun ausserhalb der Bauzone voraussichtlich nicht bewilligt werden könne, innerhalb der Bauzone zumindest aber teilweise.
Am 15. April 2013 reichte A._ ein Baugesuch für die Zaunanlage ein, gegen welches während der Auflagefrist keine Einsprachen eingingen.
B.
Mit Verfügung vom 27. August 2013 verweigerte die Gemeinde Klosters-Serneus die Baubewilligung für die Zaunanlage ausserhalb der Bauzone und verfügte, dass dieser Teil (inkl. Stellriemen) ersatzlos bis zum 27. Oktober 2013 zu entfernen sei, andernfalls würden die Arbeiten auf Kosten von A._ durch einen Dritten ausgeführt. Innerhalb der Bauzone erteilte die Gemeinde Klosters-Serneus die Bewilligung für die Errichtung eines 1,6 m hohen Zauns (bei tatsächlicher Einhaltung eines Grenzabstandes von 10 cm) und verlangte, die Zaunpfosten seien auf diese Höhe zu kürzen. Die gekürzten Zaunpfosten und der Zaunabschluss an der Bauzonengrenze seien gut zu gestalten. Sodann wurde A._ mit Fr. 200.-- gebüsst, und es wurden ihm die Verfahrenskosten in der Höhe von Fr. 1072.-- auferlegt. Zur Begründung wurde im Wesentlichen vorgebracht, die Zaunanlage inkl. Stellriemen ausserhalb der Bauzone entspreche nicht dem Zweck des übrigen Gemeindegebietes (Art. 41 des Raumplanungsgesetzes für den Kanton Graubünden vom 6. Dezember 2004 [KRG; BR 801.100]) und sei mithin nicht zonenkonform. Vorliegend fehle es an der Standortgebundenheit, so dass für die Zaunanlage keine Ausnahmebewilligung gemäss Art. 24 RPG (SR 700) erteilt werden könne. Bei der Zaunanlage innerhalb der Bauzone könne mittels sachgerechter Nebenbestimmungen die gesetzes- und bauordnungskonforme Realisierung gewährleistet werden. Die Zaunpfosten seien daher bei einem Grenzabstand von 10 cm auf eine Höhe von 1,60 m zu kürzen. Da sowohl die formelle als auch die materielle Baurechtsverletzung bei Einhalt der gebotenen Sorgfalt ohne weiteres erkennbar gewesen wäre, sei zumindest von einer fahrlässigen Tatbegehung auszugehen. Strafmindernd sei zu berücksichtigen, dass es sich vorliegend um ein untergeordnetes Bauvorhaben handle. Angesichts dieser Umstände erscheine eine Busse von Fr. 200.-- als angemessen.
Gegen diese Verfügung gelangte A._ mit Verwaltungsgerichtsbeschwerde an das Verwaltungsgericht des Kantons Graubünden, welches mit Urteil vom 1. April 2014 die Beschwerde abwies. Es setzte A._ zur Wiederherstellung des gesetzmässigen Zustandes für sämtliche Arbeiten eine Frist von 30 Tagen ab Rechtskraft seines Urteils an. Zudem wurden A._ die Verfahrenskosten auferlegt.
C.
Gegen dieses Urteil des Verwaltungsgerichts hat A._ am 24. Mai 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Er beantragt die Aufhebung des Urteils des Verwaltungsgerichts des Kantons Graubünden und der Verfügung der Gemeinde Klosters-Serneus, alles zu Lasten der Gemeinde Klosters-Serneus.
Die Gemeinde Klosters-Serneus und das Verwaltungsgericht beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Das Amt für Raumentwicklung des Kantons Graubünden schliesst auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) beantragt ebenfalls die Abweisung der Beschwerde. In einer weiteren Stellungnahme bekräftigt der Beschwerdeführer seinen Standpunkt.

Erwägungen:
1.
Das angefochtene Urteil des Verwaltungsgerichts ist ein letztinstanzlicher kantonaler Endentscheid in einer öffentlich-rechtlichen Angelegenheit (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Der Beschwerdeführer ist als Adressat des angefochtenen Entscheids und als direkt Betroffener zur Beschwerde legitimiert (vgl. <ref-law>).
Auf die Beschwerde ist, vorbehältlich der Erfüllung der Rüge- und Begründungspflicht (nachfolgend E. 2.1 f.), in dem Umfang einzutreten, wie damit die Aufhebung des angefochtenen Urteils beantragt wird. Unzulässig ist der Antrag auf Aufhebung der im vorinstanzlichen Verfahren angefochtenen, durch das vorinstanzliche Urteil ersetzten (Devolutiveffekt) und im vorliegenden Verfahren inhaltlich mitangefochtenen Verfügung der Gemeinde Klosters-Serneus vom 27. August 2013 (<ref-ruling> E. 1.4 S. 144).
2.
2.1. Gemäss <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer muss sich wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Rein appellatorische Kritik ohne Bezug zum angefochtenen Entscheid genügt nicht. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (<ref-law>). Das setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die Begründungsanforderungen von <ref-law> erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten (einschliesslich der willkürlichen Anwendung von kantonalem Recht und Willkür bei der Sachverhaltsfeststellung) geltend gemacht wird. Dies prüft das Bundesgericht grundsätzlich nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 1.4 S. 176 mit Hinweisen).
2.2. Die vorliegende Beschwerdeschrift vermag den Begründungserfordernissen nur in begrenztem Ausmass zu genügen.
2.2.1. In seiner Eingabe beschränkt sich der Beschwerdeführer über weite Strecken darauf, die schon vor den kantonalen Instanzen vorgebrachten Argumente so zu wiederholen, dass dem Urteil des Verwaltungsgerichts bloss ein weiteres Mal die eigene Sichtweise entgegengehalten wird, ohne darzulegen, inwiefern darin Bundesrecht, insbesondere Bundesverfassungsrecht, verletzt worden sein soll.
2.2.2. Soweit der Beschwerdeführer insbesondere geltend macht, dass nirgends nachzuschlagen sei, dass im übrigen Gemeindegebiet Stellriemen und Verbundsteine nicht zulässig seien, macht er zumindest sinngemäss geltend, das Verwaltungsgericht habe das kantonale und eidgenössische Raumplanungsrecht willkürlich angewendet. Er unterlässt es jedoch, sich diesbezüglich mit der ausführlichen Begründung, die dem verwaltungsgerichtlichen Urteil zugrunde liegt, im Einzelnen auseinander zu setzen und nachvollziehbar aufzuzeigen, inwiefern diese Begründung resp. das Urteil in diesem Punkt rechts- bzw. verfassungswidrig sein soll. Was er insoweit vorbringt, ist im Wesentlichen eine appellatorische Kritik am angefochtenen Urteil, auf welche das Bundesgericht gemäss ständiger Rechtsprechung nicht eintritt (<ref-ruling> E. 2.8 S. 494; <ref-ruling> E. 2.2 S. 246; je mit Hinweisen). Gleiches gilt in Bezug auf die in seinem Antrag enthaltene Aufhebung der von der Gemeinde Klosters-Serneus verfügten und von der Vorinstanz bestätigten Busse. Der Beschwerdeführer setzt sich diesbezüglich weder mit dem angefochtenen Entscheid auseinander noch liefert er eine sachbezogene Begründung, weshalb insoweit auf die Beschwerde nicht einzutreten ist.
2.2.3. Der Beschwerdeführer macht weiter geltend, aus der Stellungnahme des Amtes für Raumplanung gehe hervor, dass trotz nachträglich eingereichtem Baugesuch keine Einsprachen eingegangen seien. Es sei erwiesen, dass die grünen Baugesuchseingaben vom Gemeindebauamt nicht weitergeleitet worden seien. Soweit der Beschwerdeführer damit implizit rügt, die vorinstanzlichen Sachverhaltsfeststellungen seien falsch oder unvollständig, legt er in keiner Weise dar, die Vorinstanz habe die Tatsachen offensichtlich unrichtig, d.h. willkürlich, erhoben. Offensichtliche Sachverhaltsfehler sind auch nicht ersichtlich. Die tatsächlichen Feststellungen der Vorinstanz erweisen sich damit als für das Bundesgericht verbindlich (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 1 und 2 BGG). Der Beschwerdeführer nennt überdies keine Bestimmungen des Bundesgesetzesrechts, die verletzt worden sein sollten.
2.3. Der Beschwerdeführer reicht vor Bundesgericht zwei neue Fotografien ein, auf denen eine Zaunanlage in Serneus im übrigen Gemeindegebiet zu sehen ist.
Gemäss <ref-law> dürfen neue Tatsachen und Beweismittel vor Bundesgericht nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Es mag dahingestellt bleiben, ob die neu eingereichten Fotografien zulässige Beweismittel im Sinne dieser Bestimmung bilden, denn sie vermögen ohnehin nichts am Ausgang des Verfahrens zu ändern.
3.
3.1. Das Verwaltungsgericht hat im angefochtenen Entscheid erwogen, dass die Zaunanlage im übrigen Gemeindegebiet als solche nicht standortgebunden sei, sondern den subjektiven Vorstellungen und Wünschen des Beschwerdeführers bzw. der persönlichen Zweckmässigkeit entspringe, die der gesetzgeberischen räumlichen Ordnungsvorstellung widerspreche. Eine einzig auf die Bauzone beschränkte Zaunanlage würde den anvisierten Zweck - Schutz vor Sprayern, Behinderung der Nutzung der Aussentreppe durch Unbefugte, Hundezwinger - ebenfalls erfüllen. Ebenso wenig vermöge der Einwand, der Zaun schütze seine Obstbäume vor Wildverbiss, die Standortgebundenheit der Zaunanlage im übrigen Gemeindegebiet zu begründen.
Der Beschwerdeführer hält dem entgegen, die erstellte Zaunanlage sei mit dem Eisenbahngesetz zu legitimieren. Sämtliche Amtsstellen hätten das Interesse der Rhätischen Bahn, einen reibungslosen Ablauf zu gewähren, nicht berücksichtigt. Das Bahngesetz stehe über allem.
3.2. Es ist nicht umstritten, dass der im vorliegenden Verfahren zur Diskussion stehende Drahtzaun ausserhalb der Bauzone der in Art. 24 RPG enthaltenen Bewilligungspflicht für nicht zonenkonforme Anlagen und Bauten unterliegt. Eine Ausnahmebewilligung nach Art. 24 RPG kann erteilt werden, wenn der Zweck der Baute einen Standort ausserhalb der Bauzone erfordert (lit. a) und wenn dem Vorhaben keine überwiegenden Interessen entgegenstehen (lit. b). Soweit der Beschwerdeführer mit seiner Berufung auf die Sicherheit von Mensch und Tier und die Gewährleistung des Bahnbetriebes die Standortgebundenheit der Anlage ausserhalb der Bauzone begründen will (Art. 24 lit. a RPG), ist ihm entgegen zu halten, dass dies auch durch eine Zaunanlage innerhalb der Bauzone erreicht werden kann. Demnach ist nicht zu beanstanden, dass das Verwaltungsgericht die Voraussetzungen zur Erteilung einer Ausnahmebewilligung nach Art. 24 RPG als nicht erfüllt betrachtet. Das angefochtene Urteil ist in dieser Hinsicht bundesrechtskonform.
4.
4.1. Der Beschwerdeführer stellt sich weiter auf den Standpunkt, er sei rechtsungleich behandelt worden. Er sei in der Lage, mittels Fotos zu beweisen, dass Zaunanlagen in verschiedenen Gemeinden vorhanden seien. Hätte er sein Land unter landwirtschaftlicher Nutzung eingezäunt, wäre wohl nichts passiert. Er sei seit 40 Jahren Besitzer einer der schönsten Blumenwiesen im Kanton Graubünden, die nur von Hand gemäht werde. Er werde sich überlegen müssen, ob er wie seine Nachbarn Schafe zwangsweiden lassen werde. Unter der landwirtschaftlichen Nutzung (Schafhaltung) gehe die Alpenflora kaputt.
4.2. Das Verwaltungsgericht verneinte eine Verletzung des Gleichbehandlungsgebotes. Aus dem Umstand, dass in der näheren Umgebung des Beschwerdeführers ein rund 2,8 m hohes Damhirschgehege bestehe, könne der Beschwerdeführer nichts zu seinen Gunsten ableiten, da die Grundeigentümerin dieses Grundstücks über eine ordentliche Baubewilligung im Sinne von Art. 22 Abs. 1 lit. a RPG i.V.m. Art. 16a Abs. 1 und 2 RPG verfüge, zumal ihr Gehege in der Landwirtschaftszone stehe und es - im Gegensatz zur Zaunanlage des Beschwerdeführers - einer zonenkonformen landwirtschaftlichen Nutzung diene.
4.3. Nach der bundesgerichtlichen Rechtsprechung geht der Grundsatz der Gesetzmässigkeit der Verwaltung in der Regel der Rücksicht auf die gleichmässige Rechtsanwendung vor. Der Umstand, dass das Gesetz in anderen Fällen nicht oder nicht richtig angewendet worden ist, gibt den Bürgern grundsätzlich keinen Anspruch darauf, ebenfalls abweichend vom Gesetz behandelt zu werden. Ausnahmsweise wird jedoch ein Anspruch auf Gleichbehandlung im Unrecht anerkannt, wenn die zu beurteilenden Fälle in den erheblichen Sachverhaltselementen übereinstimmen, dieselbe Behörde in ständiger Praxis vom Gesetz abweicht und zudem zu erkennen gibt, auch inskünftig nicht gesetzeskonform entscheiden zu wollen (vgl. <ref-ruling> E. 7.1 S. 61; <ref-ruling> E. 5.6 S. 78; Urteil des Bundesgerichts 1C_398/2011 vom 7. März 2012 E. 3.6; je mit Hinweisen).
Soweit der Beschwerdeführer geltend macht, der Grundsatz der Gleichbehandlung werde verletzt, weil die Gemeinde Zaunanalagen im übrigen Gemeindegebiet dulde, ist ihm entgegen zu halten, dass er mit seinen allgemeinen und unbelegten Angaben sowie seinen nicht näher bezeichneten, erstmals im bundesgerichtlichen Verfahren eingereichten Fotografien einer Zaunanlage nicht aufzuzeigen vermag, dass die vergleichsweise angerufenen Einfriedungen in tatsächlicher und rechtlicher Sicht mit seiner Zaunanlage vergleichbar sind und eine entsprechende generelle Praxis der Gemeinde Klosters-Serneus besteht. Demnach kann der Beschwerdeführer keine Gleichbehandlung im Unrecht verlangen. Zudem anerkennt der Beschwerdeführer selber, dass der hier zu beurteilende Fall nicht mit dem von ihm angerufenen Damhirschgehege identisch oder zumindest ähnlich ist, zumal es bei dieser Einfriedung um eine zonenkonforme, landwirtschaftliche Nutzung geht. Was der Beschwerdeführer weiter zur Begründung der Rechtsungleichheit vorbringt, vermag nicht zu überzeugen und ist nicht geeignet, die verwaltungsgerichtlichen Erwägungen verfassungswidrig erscheinen zu lassen.
5.
5.1. Der Beschwerdeführer rügt schliesslich sinngemäss, der Verhältnismässigkeitsgrundsatz sei verletzt, und ist der Ansicht, das Vorgehen der Gemeinde Klosters-Serneus sei wohl "ein Verhältnisblödsinn".
5.2. Das Verwaltungsgericht hat die Verhältnismässigkeit der angeordneten Wiederherstellung des rechtmässigen Zustands geprüft. Dazu hielt es fest, die erstellte Zaunanlage sei offensichtlich nicht geringfügig, es sei eine massive Zaunanlage von bis zu 1,8 m Höhe erstellt worden, welche eine gewichtige Abweichung von den Bauvorschriften darstelle. Auch könnten die privaten Interessen - Schutz der Liegenschaft und Tiere - durch einen Zaun innerhalb der Bauzone gewährleistet werden. Der aus dem Abbruch zu erwartende Schaden des Beschwerdeführers scheine geringfügig. Auch seien die Kosten für die bereits erstellte Zaunanlage nach dem Gesagten von untergeordneter Bedeutung, wobei vorliegend ohnehin von verhältnismässig geringen Erstellungskosten auszugehen sei. Alles in allem würden die öffentlichen Interessen am Schutz der baulichen Ordnung und der Rechtsgleichheit gegenüber dem Interesse des Beschwerdeführers an der Duldung überwiegen.
5.3. Wenn das Verwaltungsgericht und seine Vorinstanz in Anbetracht der erheblichen Abweichung von den gesetzlichen Vorschriften auf der Entfernung der Zaunanlage ausserhalb der Bauzone bzw. auf eine Reduktion der Höhe der Zaunpfosten innerhalb der Bauzone bestehen, ist darin weder eine Verletzung des Verhältnismässigkeitsgebotes noch eine sonstwie bundesrechtswidrige Anwendung des kantonalen Rechts zu sehen. Die diesbezügliche Rüge des Beschwerdeführers erweist sich, soweit mangels rechtsgenügender Substantiierung überhaupt auf sie einzutreten ist (vgl. E. 2.1), als unbegründet. Im Übrigen wird entgegen seiner Auffassung auch nicht von ihm verlangt, dass er auf dem südwestlichen, nicht in der Bauzone befindlichen Teil seiner Parzelle wieder ein Bahngleis erstellt, sondern nur, dass er die dortige Einfriedung entfernt.
6.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang hat der Beschwerdeführer für die bundesgerichtlichen Kosten aufzukommen (<ref-law>). Der in ihrem amtlichen Wirkungskreis obsiegenden Gemeinde ist keine Parteientschädigung zuzusprechen (<ref-law> sowie <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Klosters-Serneus, dem Amt für Raumentwicklung Graubünden, dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, sowie dem Bundesamt für Raumentwicklung (ARE) schriftlich mitgeteilt.
Lausanne, 4. Juni 2015
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Mattle