Sachverhalt: A. A._ ist Eigentümer der Parzelle Nr. xxx in der Gemeinde Klosters-Serneus. Gemäss geltendem Zonenplan 1:2'500 der Gemeinde Klosters-Serneus vom 26. September 1999 befinden sich der nordöstliche und der mit einem Wohnhaus überbaute Teil des Grundstücks, die circa 80 % der Gesamtfläche der Parzelle umfassen, in der Wohnzone. Der restliche, südwestliche und an die Bahnstrecke der Rhätischen Bahn angrenzende Teil der Parzelle ist dem übrigen Gemeindegebiet (üG) zugewiesen. Die gesamte Parzelle Nr. xxx wird von der Gefahrenzone mit geringer Gefahr (Gefahrenzone 2) überlagert. A._ erstellte auf seinem Grundstück ohne Bewilligung im Südwesten gegen das Schienentrasse der Rhätischen Bahn einen circa 1,5 m hohen Zaun mit Pfosten in der Höhe von 1,7 m bis 1,8 m (inkl. Stellriemen), welcher teilweise in der Bauzone und teilweise im übrigen Gemeindegebiet steht. Am 15. Oktober 2012 fand eine die Zaunanlage betreffende Besprechung zwischen der Gemeinde Klosters-Serneus und A._ vor Ort statt, bei der A._ aufgefordert wurde, ein Baugesuch für den Zaun einzureichen. Am 3. April 2013 wurde A._ erneut aufgefordert, ein nachträgliches Baugesuch einzureichen. Gleichzeitig wurde ihm mitgeteilt, dass der Zaun ausserhalb der Bauzone voraussichtlich nicht bewilligt werden könne, innerhalb der Bauzone zumindest aber teilweise. Am 15. April 2013 reichte A._ ein Baugesuch für die Zaunanlage ein, gegen welches während der Auflagefrist keine Einsprachen eingingen. B. Mit Verfügung vom 27. August 2013 verweigerte die Gemeinde Klosters-Serneus die Baubewilligung für die Zaunanlage ausserhalb der Bauzone und verfügte, dass dieser Teil (inkl. Stellriemen) ersatzlos bis zum 27. Oktober 2013 zu entfernen sei, andernfalls würden die Arbeiten auf Kosten von A._ durch einen Dritten ausgeführt. Innerhalb der Bauzone erteilte die Gemeinde Klosters-Serneus die Bewilligung für die Errichtung eines 1,6 m hohen Zauns (bei tatsächlicher Einhaltung eines Grenzabstandes von 10 cm) und verlangte, die Zaunpfosten seien auf diese Höhe zu kürzen. Die gekürzten Zaunpfosten und der Zaunabschluss an der Bauzonengrenze seien gut zu gestalten. Sodann wurde A._ mit Fr. 200.-- gebüsst, und es wurden ihm die Verfahrenskosten in der Höhe von Fr. 1072.-- auferlegt. Zur Begründung wurde im Wesentlichen vorgebracht, die Zaunanlage inkl. Stellriemen ausserhalb der Bauzone entspreche nicht dem Zweck des übrigen Gemeindegebietes (Art. 41 des Raumplanungsgesetzes für den Kanton Graubünden vom 6. Dezember 2004 [KRG; BR 801.100]) und sei mithin nicht zonenkonform. Vorliegend fehle es an der Standortgebundenheit, so dass für die Zaunanlage keine Ausnahmebewilligung gemäss Art. 24 RPG (SR 700) erteilt werden könne. Bei der Zaunanlage innerhalb der Bauzone könne mittels sachgerechter Nebenbestimmungen die gesetzes- und bauordnungskonforme Realisierung gewährleistet werden. Die Zaunpfosten seien daher bei einem Grenzabstand von 10 cm auf eine Höhe von 1,60 m zu kürzen. Da sowohl die formelle als auch die materielle Baurechtsverletzung bei Einhalt der gebotenen Sorgfalt ohne weiteres erkennbar gewesen wäre, sei zumindest von einer fahrlässigen Tatbegehung auszugehen. Strafmindernd sei zu berücksichtigen, dass es sich vorliegend um ein untergeordnetes Bauvorhaben handle. Angesichts dieser Umstände erscheine eine Busse von Fr. 200.-- als angemessen. Gegen diese Verfügung gelangte A._ mit Verwaltungsgerichtsbeschwerde an das Verwaltungsgericht des Kantons Graubünden, welches mit Urteil vom 1. April 2014 die Beschwerde abwies. Es setzte A._ zur Wiederherstellung des gesetzmässigen Zustandes für sämtliche Arbeiten eine Frist von 30 Tagen ab Rechtskraft seines Urteils an. Zudem wurden A._ die Verfahrenskosten auferlegt. C. Gegen dieses Urteil des Verwaltungsgerichts hat A._ am 24. Mai 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben. Er beantragt die Aufhebung des Urteils des Verwaltungsgerichts des Kantons Graubünden und der Verfügung der Gemeinde Klosters-Serneus, alles zu Lasten der Gemeinde Klosters-Serneus. Die Gemeinde Klosters-Serneus und das Verwaltungsgericht beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten ist. Das Amt für Raumentwicklung des Kantons Graubünden schliesst auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) beantragt ebenfalls die Abweisung der Beschwerde. In einer weiteren Stellungnahme bekräftigt der Beschwerdeführer seinen Standpunkt.