Sachverhalt:
A. X._ ist seit dem 27. Mai 2008 Eigentümer der in der Landwirtschaftszone gelegenen und mit einer zweistöckigen Heubarge überbauten Parzelle Nr. 429 auf dem Gebiet der Gemeinde Maladers. Nachdem die Gemeinde im Sommer 2008 festgestellt hatte, dass X._ ohne Baubewilligung umfangreiche Arbeiten am Gebäude ausführen liess, erliess sie am 28. August 2008 und am 10. September 2008 Baueinstellungsverfügungen. Daraufhin reichte X._ im Oktober 2008 ein erstes und am 13. Juni 2009 ein zweites, abgeändertes Baugesuch ein, welches er in der Folge auf Aufforderung der Gemeinde hin mehrfach ergänzte. Das Baugesuch sah den Ausbau beider Stockwerke der Heubarge zu einem Ferien- und Wochenendhaus, die Errichtung eines zusätzlichen Kellers, den Anbau eines Holzschopfs sowie grössere Terrainveränderungen um das Gebäude herum vor. Weil die Bauarbeiten in der Zwischenzeit fortgesetzt wurden, erliess die Gemeinde am 28. August 2009 erneut eine Baueinstellungsverfügung.
B. Mit Entscheid vom 18. Oktober 2010 stellte der Gemeindevorstand Maladers in Dispositiv-Ziffer 1 fest, am 14. April 1977 seien die zulässige Nutzung der Heubarge auf der Parzelle Nr. 429 rechtskräftig festgelegt und verschiedene Ausbauten nicht bewilligt worden. Überdies sei damals rechtskräftig verfügt worden, dass die Heubarge ausschliesslich landwirtschaftlichen Zwecken und insbesondere nicht Unterkunfts- und Wohnzwecken dienen dürfe. Mit Dispositiv-Ziffer 2 verweigerte der Gemeindevorstand die ersuchte Bewilligung für eine Zweckänderung der landwirtschaftlichen Heubarge in eine Wohn- bzw. Ferienhausnutzung sowie für sämtliche in Abweichung zum seinerzeit bewilligten Zustand bereits ausgeführten und weiter geplanten Arbeiten, namentlich für alle Terrainveränderungen inklusive Fäkalientank mit Leitung, den neuen Keller, den Innenausbau des Erd- und des Dachgeschosses zu Wohnzwecken, die bestehenden und neu vorgesehenen Fenster, die Solaranlage, den vorgesehenen gedeckten Holzschopf sowie die Holzverschalung mit Betonpfeilern. In Dispositiv-Ziffer 3 behielt sich der Gemeindevorstand vor, nach Rechtskraft der Verfügung eine Busse zu erteilen und die Wiederherstellung des rechtmässigen Zustands anzuordnen. Eine von X._ gegen den Entscheid des Gemeindevorstands vom 18. Oktober 2010 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden am 17. Mai 2011 ab.
C. Gegen das verwaltungsgerichtliche Urteil hat X._ am 10. November 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Er beantragt die Aufhebung des angefochtenen Entscheids sowie der Verfügung der Gemeinde Maladers vom 18. Oktober 2010. Die Gemeinde Maladers sei anzuweisen, vor bzw. mit dem Entscheid über das Bauvorhaben über die Frage der Duldung der Wohnnutzung zu befinden. Eventualiter sei festzustellen, dass die bereits ausgeführten sowie projektierten Arbeiten nicht bewilligungspflichtig seien.
D. Die Gemeinde Maladers und unter Verweis auf die Ausführungen im angefochtenen Entscheid die Vorinstanz beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Amt für Raumentwicklung Graubünden verzichtet auf Vernehmlassung und beantragt die Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung beantragt sinngemäss ebenfalls die Abweisung der Beschwerde. Mit Eingabe vom 9. März 2012 hält der Beschwerdeführer an der Beschwerde fest.

Erwägungen:
1. Mit dem angefochtenen Urteil bestätigte das Verwaltungsgericht die Verweigerung einer Baubewilligung für teilweise bereits ausgeführte sowie weitere geplante bauliche Massnahmen an der auf dem Grundstück des Beschwerdeführers liegenden Heubarge sowie um sie herum. Das angefochtene Urteil ist ein letztinstanzlicher kantonaler Endentscheid in einer öffentlich-rechtlichen Angelegenheit (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Der Beschwerdeführer ist als Adressat des angefochtenen Entscheids und als Eigentümer der betroffenen Liegenschaft zur Beschwerde legitimiert (vgl. <ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist vorbehältlich rechtsgenügender Rügen (Art. 42 Abs. 2 i.V.m. <ref-law>) einzutreten.
2. Der Beschwerdeführer schildert den Sachverhalt aus eigener Sicht. Er rügt indessen nicht, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt. In tatsächlicher Hinsicht ist somit auf die Feststellungen der Vorinstanz abzustellen (vgl. Art. 105 Abs. 1 und 2 i.V.m. <ref-law>).
3. Der Beschwerdeführer bringt vor, die Vorinstanz habe seinen Antrag abgelehnt, das Patenkind des ehemaligen Eigentümers der Liegenschaft als Zeugen einzuvernehmen. Ebenso habe sie seinen Antrag auf Durchführung eines Augenscheins abgewiesen. Der Beschwerdeführer rügt indessen nicht, die Vorinstanz habe damit seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt. Dies ist auch nicht ersichtlich, zumal die Vorinstanz zu Recht festgehalten hat, auf die Einvernahme könne verzichtet werden, weil es für den Entscheid keine Rolle spiele, wann die unbewilligte Wohnnutzung aufgenommen worden sei, und auf die Durchführung eines Augenscheins könne ebenfalls verzichtet werden, da der rechtserhebliche Sachverhalt aufgrund der umfangreichen Akten hinreichend erstellt sei (vgl. <ref-ruling> E. 5.3 S. 148 mit Hinweisen).
4. Im angefochtenen Urteil führte die Vorinstanz aus, im Jahre 1975 sei dem damaligen Eigentümer der Liegenschaft die Erstellung einer einstöckigen Heubarge unter der Auflage bewilligt worden, dass diese nur für landwirtschaftliche Zwecke genutzt werden dürfe. Nachdem die Gemeinde im Jahr 1976 festgestellt habe, dass der Bauherr die erlaubten Ausmasse überschritten, das Gebäude zweistöckig erstellt und eine Unterkunftsmöglichkeit eingebaut hatte, habe sie am 14. April 1977 die nachträgliche Bewilligung für die nicht der Baubewilligung entsprechenden Arbeiten verweigert und verschiedene Wiederherstellungsmassnahmen verfügt. So habe sie für den Stall im Untergeschoss ein Benützungsverbot erlassen, den Einbau einer Eingangstür in diesem und von Fenstern im ganzen Gebäude sowie Innenausbauten untersagt und ihren Entscheid mit dem ausdrücklichen Hinweis darauf verknüpft, dass Unter- und Obergeschoss ausschliesslich als Heubarge genutzt werden dürften. Ferner habe die Gemeinde bereits damals verlangt, dass die Ost-, Nord- und Westseite des Gebäudes vollständig auf die Höhe des gewachsenen Bodens angeschüttet werden müssten. Die Verfügung vom 14. April 1977 sei unangefochten in Rechtskraft erwachsen.
Die Vorinstanz hielt weiter fest, die Gemeinde sei in ihrem Entscheid vom 18. Oktober 2010 zu Recht vom Zustand ausgegangen, wie er mit der Verfügung vom 14. April 1977 rechtskräftig festgelegt worden sei, weil die seither vorgenommenen baulichen Massnahmen nie bewilligt worden seien. Vielmehr habe die Gemeinde am 25. Juli 1980 ein weiteres Baugesuch des damaligen Eigentümers der Liegenschaft abgewiesen, was vom Bundesgericht mit Urteil vom 3. August 1982 bestätigt worden sei. Am 23. Oktober 1985 habe der Gemeindevorstand erneut die Wiederherstellung des ursprünglichen Zustands angeordnet. Eine vom damaligen Eigentümer dagegen erhobene Beschwerde habe das Bundesgericht am 5. Dezember 1986 abgewiesen. Für die vom Beschwerdeführer nun geplante Umnutzung der Heubarge könne - unbesehen davon, ob eine landwirtschaftliche oder nichtlandwirtschaftliche Wohnnutzung angestrebt werde - keine Bewilligung erteilt werden. Weder könne das umgenutzte Gebäude nach Art. 16a und 22 RPG (SR 700) als in der Landwirtschaftszone zonenkonform gelten, noch könne eine Ausnahmebewilligung nach Art. 24, 24a, 24c oder 24d RPG erteilt werden.
Schliesslich führte die Vorinstanz aus, die Gemeinde habe die teilweise bereits ausgeführten und weiteren geplanten baulichen Massnahmen zu Recht der Baubewilligungspflicht unterstellt und ihnen wie auch der sinngemäss beantragten Umnutzung der Heubarge in ein Ferien- und Wochenendhaus richtigerweise die baurechtliche Bewilligung verweigert.
5. Zu Recht wird vom Beschwerdeführer nicht bestritten, dass für die Umnutzung des in der Landwirtschaftszone gelegenen und als Heubarge bewilligten Gebäudes zu einem Ferien- und Wochenendhaus keine baurechtliche Bewilligung nach Art. 16a und 22 RPG bzw. keine Ausnahmebewilligung nach Art. 24 ff. RPG erteilt werden kann. Er macht aber geltend, aufgrund der Umstände sei eine Wohnnutzung wohl zu dulden. Ob dem so sei, müsse vorab entschieden werden, weil davon die Frage abhänge, ob die teilweise bereits ausgeführten und weiteren geplanten baulichen Arbeiten zulässig seien. Sei nämlich eine Wohnnutzung aufgrund der Umstände zu dulden, so seien die teilweise bereits ausgeführten und weiteren geplanten baulichen Arbeiten als reine Reparatur- und Unterhaltsarbeiten zu qualifizieren, die nicht bewilligungspflichtig seien.
5.1 Bauten und Anlagen dürfen nur mit behördlicher Bewilligung errichtet oder geändert werden (Art. 22 Abs. 1 RPG). Von Bundesrechts wegen sind Neubauten, Wiederaufbauten, Ersatzbauten, Umbauten, Anbauten, Zweckänderungen und Sanierungen, die über das übliche Mass einer Renovation hinausgehen, bewilligungspflichtig. Den Kantonen bleibt es vorbehalten, über den bundesrechtlichen Mindeststandard hinauszugehen und weitere Vorgänge der Bewilligungspflicht zu unterstellen. Hingegen können die Kantone nicht von der Bewilligungspflicht ausnehmen, was nach Art. 22 RPG einer Bewilligung bedarf (Urteile 1C_226/2008 vom 21. Januar 2009 E. 2.2 sowie 1C_47/2008 vom 8. August 2008 E. 2.5.1, in: ZBl 111/2010 S. 397 ff.; je mit Hinweisen). Nach der Rechtsprechung ist eine bauliche Massnahme dann dem Baubewilligungsverfahren zu unterwerfen, wenn mit der Realisierung der Baute oder Anlage im Allgemeinen, nach dem gewöhnlichen Lauf der Dinge, so wichtige räumliche Folgen verbunden sind, dass ein Interesse der Öffentlichkeit oder der Nachbarn an einer vorgängigen Kontrolle besteht (<ref-ruling> E. 3 S. 259; <ref-ruling> E. 3c S. 383 f. mit Hinweisen). Wenn diese Voraussetzung erfüllt ist, unterstehen auch reine Umnutzungen der Baubewilligungspflicht (<ref-ruling> E. 3a S. 226 f. mit Hinweis; Urteil 1C_47/2008 vom 8. August 2008 E. 2.5.1, in: ZBl 111/2010 S. 397 ff.; vgl. auch Art. 40 Abs. 1 Ziffer 1 der Raumplanungsverordnung für den Kanton Graubünden vom 24. Mai 2005).
5.2 Die an der Baute des Beschwerdeführers und in deren Umgebung bereits ausgeführten und weiteren geplanten baulichen Massnahmen (vgl. Sachverhalt, lit. B) stellen insgesamt und je für sich alleine bedeutsame bauliche Veränderungen dar, die nicht als reine Unterhaltsarbeiten oder kleinere Reparaturen bezeichnet werden können. Auch wurde mit ihnen das übliche Mass einer Renovierung überschritten. Die baulichen Änderungen sind mit so wichtigen räumlichen Folgen verbunden, dass ein Interesse an einer vorgängigen Kontrolle besteht. Damit sind sie nach Art. 22 Abs. 1 RPG bewilligungspflichtig. Dies gilt entgegen der Ansicht des Beschwerdeführers insbesondere auch für die Geländeveränderungen, zumal diese vor dem Hintergrund der bundesgerichtlichen Praxis und in Berücksichtigung des der kantonalen Behörde zuzugestehenden Beurteilungsspielraums als erheblich einzustufen sind (vgl. Urteil 1C_226/2008 vom 21. Januar 2009 E. 2.3 ff.), was aus dem vom Beschwerdeführer im Baubewilligungsverfahren eingereichten Plan "Grundrisse/Schnitte/Fassaden" vom 25. August 2010 hervorgeht.
5.3 Nicht zu folgen ist der Argumentation des Beschwerdeführers, die baulichen Arbeiten seien jedenfalls dann nicht bewilligungspflichtig, sofern sich zeigen sollte, dass die Wohnnutzung des Gebäudes aufgrund der Umstände zu dulden sei. Er spricht damit offenbar den Umstand an, dass nach der bundesgerichtlichen Rechtsprechung die Wiederherstellung des rechtmässigen Zustands bei einer materiell rechtswidrigen Baute aus Gründen der Verhältnismässigkeit oder weil der Grundeigentümer den rechtswidrigen Zustand gestützt auf den Grundsatz von Treu und Glauben beibehalten darf, ausnahmsweise nicht verlangt werden kann (<ref-ruling> E. 6 S. 35). Der Beschwerdeführer scheint davon auszugehen, dass ihm die Nutzung des Gebäudes zu Wohnzwecken nicht untersagt werden könne, weil es vom früheren Eigentümer schon seit dem Jahr 1977 auch zu Wohnzwecken genutzt worden sei, was von der Gemeinde seit dem 24. August 1989 toleriert worden sei. Der Beschwerdeführer nimmt ausserdem offenbar an, bauliche Massnahmen seien nur dann bewilligungspflichtig, wenn mit ihnen neue Nutzungsmöglichkeiten geschaffen werden, welche zu einer äusseren Veränderung des Raums, einer Belastung der Erschliessung oder einer Beeinträchtigung der Umwelt führen.
Der Beschwerdeführer verkennt, dass bauliche Massnahmen an einem bestehenden Gebäude auch ohne Änderung des Nutzungszwecks mit so wichtigen räumlichen Folgen verbunden sein können und häufig verbunden sind, dass ein Interesse an einer vorgängigen Kontrolle besteht (ALEXANDER RUCH, Kommentar zum Bundesgesetz über die Raumplanung, 2010, N. 31 f. zu Art. 22). Die vorliegend bereits ausgeführten und weiteren geplanten baulichen Massnahmen sind nach Art. 22 Abs. 1 RPG bewilligungspflichtig unabhängig davon, wie das Gebäude bis anhin genutzt worden ist und ob dem Beschwerdeführer die Nutzung des Gebäudes zu Wohnzwecken im von der Gemeinde erst in Aussicht gestellten Verfahren zu untersagen sein wird oder nicht. Nicht anders wäre im Übrigen selbst zu entscheiden, wenn es sich bei der Baute des Beschwerdeführers - was indessen unbestrittenerweise nicht der Fall ist - um ein rechtmässig erstelltes und bewilligtes Wohngebäude handeln würde. Nicht stattzugeben ist damit dem Begehren des Beschwerdeführers, die Gemeinde sei anzuweisen, vor bzw. mit dem Entscheid über das hängige Baugesuch über die Frage der Duldung der Wohnnutzung zu befinden. Der Gemeindevorstand hat beschlossen, über die allfällige Anordnung eines Wiederherstellungsbefehls erst nach Rechtskraft der Verfügung vom 18. Oktober 2010 zu befinden. Gegen ein solches Vorgehen ist nach dem Gesagten nichts einzuwenden.
5.4 Von der Bewilligungspflicht für Erneuerungsarbeiten zu unterscheiden ist die Frage, ob bei baurechtswidrigen Bauten bewilligungspflichtige Erneuerungsarbeiten unter dem Gesichtspunkt des Bestandesschutzes zugelassen werden müssen oder ob sie zu untersagen sind, weil sie den bestehenden baurechtswidrigen Zustand verstärken (RUCH, a.a.O., N. 32 zu Art. 22). Im vom Beschwerdeführer zitierten Urteil des Bundesgerichts 1A.17/2004 vom 19. Mai 2004 ging es um die Frage, ob die Bestandesgarantie nach Art. 24c RPG auch für eine ausserhalb der Bauzonen unrechtmässig erstellte Baute gilt, deren Beseitigung von den Behörden aus Gründen des Vertrauensschutzes nicht angeordnet wurde. Wie das Bundesgericht damals in E. 2.2 festgehalten hat, gilt die Bestandesgarantie gemäss Art. 24c RPG nicht für rechtswidrig errichtete oder geänderte Bauten und Anlagen, sondern nur für solche, die seinerzeit in Übereinstimmung mit dem materiellen Recht erstellt und aufgrund einer späteren Rechtsänderung zonenwidrig geworden sind (vgl. auch <ref-law> [SR 700.1]). Demzufolge kann der Eigentümer einer aus Treu und Glauben zu duldenden rechtswidrigen Baute oder Anlage ausserhalb der Bauzone diese Baute nur unterhalten, soweit dies mit bewilligungsfrei zulässigen Massnahmen geschieht (Urteil 1A.17/2004 vom 19. Mai 2004 E. 2.2.7). Vorliegend handelt es sich unbestrittenerweise um eine vom damaligen Eigentümer rechtswidrig errichtete bzw. geänderte Baute. Die baulichen Massnahmen, welche von der Gemeinde mit Verfügung vom 18. Oktober 2010 nicht bewilligt worden sind, stellen wie bereits ausgeführt keine bewilligungsfrei zulässigen Massnahmen dar, weshalb der Beschwerdeführer aus dem Hinweis auf die Bestandesgarantie nichts zu seinen Gunsten ableiten kann.
6. Nach dem Gesagten steht fest, dass die Gemeinde zu Recht die bereits ausgeführten und weiteren geplanten baulichen Massnahmen am Gebäude des Beschwerdeführers und um dieses herum der Bewilligungspflicht unterstellt und die entsprechende Baubewilligung verweigert hat. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (vgl. <ref-law>). Der in ihrem amtlichen Wirkungskreis obsiegenden Gemeinde ist keine Parteientschädigung zuzusprechen (<ref-law> sowie <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Maladers, dem Amt für Raumentwicklung Graubünden, dem Verwaltungsgericht des Kantons Graubünden, 5. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 6. Juni 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle