Sachverhalt:
Sachverhalt:
A. Die in der Landwirtschaftszone der Gemeinde Herisau gelegene Parzelle Nr. 3477, auf der ein Wohnhaus mit angebautem Ökonomiegebäude (Scheune/Stall) stand, war ursprünglich Teil eines landwirtschaftlichen Betriebs, der auch die Parzellen Nrn. 1954 und 1953 umfasste. Der Landwirtschaftsbetrieb wurde 1979 aufgegeben. Schon 1974 wurde die Parzelle Nr. 3477 veräussert und zu nicht landwirtschaftlichen Wohnzwecken benutzt. 1982 wurde der angebaute Stallteil abgebrochen und wiederaufgebaut, wobei die Baute neu unterkellert wurde und im Erdgeschoss eine Garage, ein Badezimmer sowie ein Hobby- und Waschraum eingerichtet wurden. Das Obergeschoss wurde neu zu Wohnzwecken ausgebaut.
A. Die in der Landwirtschaftszone der Gemeinde Herisau gelegene Parzelle Nr. 3477, auf der ein Wohnhaus mit angebautem Ökonomiegebäude (Scheune/Stall) stand, war ursprünglich Teil eines landwirtschaftlichen Betriebs, der auch die Parzellen Nrn. 1954 und 1953 umfasste. Der Landwirtschaftsbetrieb wurde 1979 aufgegeben. Schon 1974 wurde die Parzelle Nr. 3477 veräussert und zu nicht landwirtschaftlichen Wohnzwecken benutzt. 1982 wurde der angebaute Stallteil abgebrochen und wiederaufgebaut, wobei die Baute neu unterkellert wurde und im Erdgeschoss eine Garage, ein Badezimmer sowie ein Hobby- und Waschraum eingerichtet wurden. Das Obergeschoss wurde neu zu Wohnzwecken ausgebaut.
B. 1998 erwarb der als Kaufmann tätige X._ die Parzellen Nrn. 3477, 1954 und 1953. 1999 wurde ihm der Bau einer Doppelgarage mit Geräteraum im Dach auf der Parzelle Nr. 1954 bewilligt, als Ersatz für die im Hauptgebäude bestehende Garage, die neu als Holzlager und Geräteraum genutzt wurde.
Anlässlich einer Baukontrolle stellte das Hochbauamt der Gemeinde Herisau fest, dass der Dachraum der Garage zu einem Büro ausgebaut worden war.
Anlässlich einer Baukontrolle stellte das Hochbauamt der Gemeinde Herisau fest, dass der Dachraum der Garage zu einem Büro ausgebaut worden war.
C. Am 14. Januar 2002 stellte X._ ein nachträgliches Baugesuch für den Dachraum-Ausbau. Er machte geltend, das bestehende Wohnhaus sei für seine fünfköpfige Familie zu klein, weshalb er das Büro in den Dachraum der Garage habe verlegen müssen. Mit Verfügung vom 10. Juli 2002 verweigerte das Planungsamt des Kantons Appenzell Ausserrhoden die raumplanerische Bewilligung und verfügte die Wiederherstellung des rechtmässigen Zustands. Mit Verfügung vom 22. Juli 2002 verweigerte auch das Ressort Hochbau der Gemeinde Herisau die nachträgliche Baubewilligung.
C. Am 14. Januar 2002 stellte X._ ein nachträgliches Baugesuch für den Dachraum-Ausbau. Er machte geltend, das bestehende Wohnhaus sei für seine fünfköpfige Familie zu klein, weshalb er das Büro in den Dachraum der Garage habe verlegen müssen. Mit Verfügung vom 10. Juli 2002 verweigerte das Planungsamt des Kantons Appenzell Ausserrhoden die raumplanerische Bewilligung und verfügte die Wiederherstellung des rechtmässigen Zustands. Mit Verfügung vom 22. Juli 2002 verweigerte auch das Ressort Hochbau der Gemeinde Herisau die nachträgliche Baubewilligung.
D. Gegen beide Verfügungen erhob X._ Rekurs bei der Baudirektion. Am 21. Mai 2003 hiess die Baudirektion den Rekurs insoweit gut, als auf das Entfernen des Bodenbelags zu verzichten sei; im Übrigen wies sie den Rekurs ab.
D. Gegen beide Verfügungen erhob X._ Rekurs bei der Baudirektion. Am 21. Mai 2003 hiess die Baudirektion den Rekurs insoweit gut, als auf das Entfernen des Bodenbelags zu verzichten sei; im Übrigen wies sie den Rekurs ab.
E. Gegen den Rekursentscheid erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Appenzell Ausserrhoden. Dieses wies die Beschwerde am 28. April 2004 ab. In Gutheissung eines Antrags des Gemeindebauamts Herisau verpflichtete es den Beschwerdeführer, beim Entfernen der Decken- und Wandverkleidung auch die Isolation mit zu entfernen.
E. Gegen den Rekursentscheid erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Appenzell Ausserrhoden. Dieses wies die Beschwerde am 28. April 2004 ab. In Gutheissung eines Antrags des Gemeindebauamts Herisau verpflichtete es den Beschwerdeführer, beim Entfernen der Decken- und Wandverkleidung auch die Isolation mit zu entfernen.
F. Gegen den verwaltungsgerichtlichen Entscheid erhebt X._ Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Baudirektion sowie die Gemeinde Herisau seien anzuweisen, das Baugesuch zu bewilligen.
F. Gegen den verwaltungsgerichtlichen Entscheid erhebt X._ Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Baudirektion sowie die Gemeinde Herisau seien anzuweisen, das Baugesuch zu bewilligen.
G. Die Gemeinde Herisau und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Die Baudirektion hat sich nicht vernehmen lassen.
Das Bundesamt für Raumentwicklung hat auf eine Vernehmlassung verzichtet mit der Bemerkung, es wolle durch rasche Rücksendung der Akten einen Beitrag dazu leisten, dass die notwendigen Massnahmen zur Wiederherstellung des rechtmässigen Zustands möglichst rasch zum Tragen kommen.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine Bewilligung im Sinne der Art. 24 ff. des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700). Dagegen steht die Verwaltungsgerichtsbeschwerde an das Bundesgericht offen (Art. 34 Abs. 1 RPG). Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Verwaltungsgerichtsbeschwerde einzutreten.
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid über eine Bewilligung im Sinne der Art. 24 ff. des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700). Dagegen steht die Verwaltungsgerichtsbeschwerde an das Bundesgericht offen (Art. 34 Abs. 1 RPG). Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Verwaltungsgerichtsbeschwerde einzutreten.
2. Zunächst ist zu prüfen, ob für den Umbau eine Ausnahmebewilligung erteilt werden kann. Nach den unstreitigen Feststellungen des Verwaltungsgerichts wurde der Umbau des Dachraums im Jahre 2001 vorgenommen, d.h. nach Inkrafttreten des revidierten RPG am 1. September 2000. Anwendbar sind deshalb die neuen Art. 24-24d RPG und die Art. 40 ff. der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1).
2.1 Der Beschwerdeführer macht zunächst geltend, ihm hätte eine Ausnahmebewilligung gestützt auf Art. 24a RPG erteilt werden müssen, weil die in Abweichung vom bewilligten Bauvorhaben (Doppelgarage mit Dachraum) vorgenommenen baulichen Massnahmen nicht als gravierend zu bezeichnen seien: Umriss und Volumen der Baute seien nicht verändert worden; äusserlich sei nur das Einsetzen einer geänderten Türe und zweier Dachfenster sichtbar; im Innern handle es sich lediglich um Anpassungen bezüglich des Ausbaustandards.
Art. 24a RPG ist jedoch nur auf Zweckänderungen anwendbar, die keine baulichen Massnahmen im Sinne von Artikel 22 Absatz 1 RPG erfordern. Im vorliegenden Fall hat der Beschwerdeführer dagegen bedeutsame baulichen Veränderungen des Dachraums vorgenommen (Einbau einer Bodenheizung mitsamt den Steigleitungen und eines entsprechenden Bodenbelags, Isolierung und Verkleidung der Dachunterseite, Einbau von zwei Dachflächenfenstern und einer verglasten Tür), die z.T. auch nach Aussen in Erscheinung treten. Diese baulichen Massnahmen sind nach Art. 22 Abs. 1 RPG bewilligungspflichtig und schliessen eine Ausnahmebewilligung gemäss Art. 24a RPG aus.
2.2 Eine Ausnahmebewilligung gestützt auf Art. 24c RPG kommt im vorliegenden Fall nicht in Betracht, weil die Hauptbaute bei Inkrafttreten des Gewässerschutzgesetzes am 1. Juli 1972, als erstmals eine klare Trennung von Bau- und Nichtbaugebiet vorgenommen wurde, noch zonenkonform genutzt wurde. Sie ist erst 1974 durch Aufgabe der landwirtschaftlichen Nutzung zonenwidrig geworden. Die Zonenwidrigkeit beruht somit nicht auf einer nachträglichen Änderung von Erlassen oder Plänen, was Voraussetzung für die Anwendbarkeit von Art. 24c RPG wäre (vgl. dazu <ref-law> und <ref-ruling> E. 4.2.1 S. 398).
2.3 Zu prüfen ist daher, ob der Umbau und die damit verbundene Zweckänderung des Dachraums nach Art. 24d Abs. 1 RPG i.V.m. <ref-law> bewilligt werden kann. Diese Bestimmungen sind im Kanton Appenzell Ausserrhoden mit Inkrafttreten des Gesetzes vom 12. Mai 2003 über die Raumplanung und das Baurecht (Baugesetz; BauG) anwendbar geworden (vgl. Art. 120 BauG).
2.3.1 Gemäss Art. 24d Abs. 1 RPG kann das kantonale Recht in landwirtschaftlichen Wohnbauten, die in ihrer Substanz erhalten sind, landwirtschaftsfremde Wohnnutzungen zulassen, unter Beachtung der in Art. 24d Abs. 3 RPG genannten Voraussetzungen; insbesondere muss die äussere Erscheinung und die bauliche Grundstruktur im wesentlichen unverändert bleiben (Art. 24d Abs. 3 lit. b RPG). Erweiterungen sind grundsätzlich nur zulässig, wenn sie für eine zeitgemässe Wohnnutzung unumgänglich sind (<ref-law>). Nur für altrechtliche landwirtschaftliche Wohnbauten, die schon rechtmässig bestanden, bevor das betreffende Grundstück Bestandteil des Nichtbaugebiets wurde, lässt <ref-law> weitergehende Erweiterungen innerhalb des bestehenden Gebäudevolumens zu, und zwar bis zu den Grenzen von Artikel 42 Absatz 3 lit. a und b RPV (vgl. Erläuterungen des Bundesamts für Raumentwicklung zu <ref-law> vom 23. August 2004).
2.3.2 Die Hauptbaute auf der Parzelle Nr. 3477 wurde 1972 noch landwirtschaftlich genutzt und ist deshalb grundsätzlich als altrechtlich zu qualifizieren. Allerdings ist fraglich, ob dies auch für den ehemaligen Ökonomieteil gilt, der 1982 freiwillig abgebrochen und zu nicht landwirtschaftlichen Zwecken neu errichtet wurde. Die Frage kann jedoch offen bleiben, da der umstrittene Umbau nicht innerhalb des Gebäudevolumens der Hauptbaute stattfinden soll, sondern ausserhalb davon, im Dachraum der 1999 errichteten Doppelgarage. Auf diesen Umbau findet nur <ref-law> Anwendung, gleichgültig, ob man ihn als äussere Erweiterung einer altrechtlichen oder einer neurechtlichen Baute qualifiziert. Danach ist eine Erweiterung nur zulässig, wenn sie für eine zeitgemässe Wohnnutzung unumgänglich ist (Art. 42a Abs. 1 RPG).
Der Beschwerdeführer macht geltend, die Hauptbaute sei für seine inzwischen fünfköpfige Familie zu klein geworden, weshalb das Büro verlegt werden müsse. Damit zeigt er jedoch nicht auf, dass die Hauptbaute zeitgemässen Wohnansprüchen nicht genügen würde. Zum einen kann das Vorhandensein eines Büros nicht als Mindeststandard zeitgemässen Wohnens betrachtet werden. Zum anderen kommt es nicht auf die individuellen Wohnbedürfnisse der Familie des Beschwerdeführers an, sondern es ist ein genereller Massstab anzulegen: Massgeblich ist, ob die Platzverhältnisse derart beengt sind, dass die Hauptbaute den allgemeinen Ansprüchen an eine Wohnbaute nicht mehr genügt und deshalb auch nicht zu Wohnzwecken vermietet oder verkauft werden könnte (Erläuterungen des ARE zu <ref-law>, S. 3). Davon kann bei einer Baute mit einer Bruttogeschossfläche von über 200 m2 keine Rede sein.
2.3.3 Im Übrigen würde die Erweiterung selbst das nach Art. 42a Abs. 2 i.V.m. <ref-law> zulässige Mass überschreiten. Hierfür kann auf die zutreffenden Ausführungen des Verwaltungsgerichts verwiesen werden (E. 6b und c S. 12 ff.). Die vom Beschwerdeführer dagegen erhobenen Einwände sind nicht stichhaltig:
Der Beschwerdeführer berücksichtigt bei seiner Berechnung lediglich die Bruttogeschossfläche und nicht die Nebenflächen, die jedoch ebenfalls zur zonenwidrig genutzten Fläche i.S.v. <ref-law> gehören (vgl. UVEK/ARE, Neues Raumplanungsrecht, Erläuterungen zur Raumplanungsverordnung und Empfehlungen für den Vollzug, Abschnitt I Ziff. 2.4.4. S. 46 und Abschnitt V, Ziff. 3.3.1, S. 9; so schon <ref-ruling> E. 3 S. 98 zu Art. 24 Abs. 2 aRPG).
Sodann verkennt der Beschwerdeführer, dass <ref-law> eine Privilegierung gegenüber Abs. 1 darstellt, weshalb Erweiterungen nach Abs. 1 keinesfalls über das nach Abs. 2 zulässige Mass hinausgehen können. Sind - wie im vorliegenden Fall - die nach Abs. 2 vorgesehenen Erweiterungsmöglichkeiten bereits erschöpft, so kann gestützt auf Abs. 1 keine zusätzliche Erweiterung mehr bewilligt werden (ARE, Erläuterungen zu Art. 42a Abs. 2 RPG, S. 4). Unzulässig ist in dieser Situation auch die Verstärkung der Zonenwidrigkeit durch die Umwandlung einer schon zuvor zonenwidrigen Nebenfläche (Geräteraum) in eine zonenwidrige Bruttogeschossfläche (Büroraum).
2.4 Schliesslich macht der Beschwerdeführer geltend, er benutze das Büro auch für landwirtschaftliche Zwecke, nämlich für die Bewirtschaftung einer Hirschhaltung auf rund 5 ha Wiesland und zur Verwaltung eines in der Zellersmühle verpachteten landwirtschaftlichen Gewerbes. Er macht jedoch selbst nicht geltend, dass er für die Bewirtschaftung dieser Betriebe - sofern sie überhaupt als landwirtschaftlich qualifiziert werden können - auf ein Büro in der Landwirtschaftszone angewiesen sei. Eine Bewilligung des Umbaus als zonenkonformes Bauvorhaben gemäss Art. 24 RPG scheidet daher aus.
2.4 Schliesslich macht der Beschwerdeführer geltend, er benutze das Büro auch für landwirtschaftliche Zwecke, nämlich für die Bewirtschaftung einer Hirschhaltung auf rund 5 ha Wiesland und zur Verwaltung eines in der Zellersmühle verpachteten landwirtschaftlichen Gewerbes. Er macht jedoch selbst nicht geltend, dass er für die Bewirtschaftung dieser Betriebe - sofern sie überhaupt als landwirtschaftlich qualifiziert werden können - auf ein Büro in der Landwirtschaftszone angewiesen sei. Eine Bewilligung des Umbaus als zonenkonformes Bauvorhaben gemäss Art. 24 RPG scheidet daher aus.
3. Kann nach dem Gesagten keine nachträgliche Ausnahmebewilligung für den Umbau erteilt werden, ist zu prüfen, ob die angeordneten Wiederherstellungsmassnahmen vor Verfassungsrecht standhalten.
3.1 Der Beschwerdeführer rügt eine Verletzung des Grundsatzes von Treu und Glauben, legt aber nicht dar, weshalb er auf die nachträgliche Bewilligung der Baute bzw. das Unterlassen von Wiederherstellungsmassnahmen habe vertrauen dürfen. Dies ist auch nicht ersichtlich (vgl. hierzu E. 5a-c S. 10 f. des angefochtenen Entscheids).
3.2 Zu prüfen ist daher nur, ob die Wiederherstellungsmassnahmen eine unverhältnismässige Beschränkung der Eigentumsgarantie darstellen.
Es ist unstreitig, dass die angeordneten Massnahmen geeignet und erforderlich sind, um den 1999 bewilligten Zustand (Geräteraum) wieder herzustellen. Streitig ist nur die Verhältnismässigkeit im engeren Sinne.
Das Verwaltungsgericht hat ausgeführt, dass der in Abweichung von den 1999 bewilligten Plänen vorgenommene bauliche Ausbau des Dachraums dem eidgenössischen Raumplanungsrecht erheblich widerspreche, zumal bereits das zuvor in zwei Etappen bewilligte Ausmass an zonenfremden Erweiterungen das maximal zulässige Ausmass erheblich überschritten habe. Die freistehende Doppelgarage mit dem Büro samt Dachflächenfenstern sprenge nun vollends die Identität des ehemaligen Bauernhauses. Das öffentliche Interesse an der Wiederherstellung des vorherigen Zustands überwiege bei Weitem die finanziellen und übrigen privaten Interessen des Beschwerdeführers. Dies gelte um so mehr, als der Beschwerdeführer das Büro eigenmächtig und nicht gutgläubig errichtet habe.
Diesen Ausführungen ist zuzustimmen: Die Trennung des Baugebiets vom Nichtbaugebiet ist ein fundamentaler Grundsatz des Raumplanungsrechts, der gebietet, dass eigenmächtige Erweiterungen und Umbauten, die nicht bewilligt werden können, grundsätzlich rückgängig gemacht werden. Davon kann nur ausnahmsweise, bei geringfügigen Abweichungen oder besonders gewichtigen privaten Interessen abgesehen werden. Dass die Abweichung im vorliegenden Fall nicht geringfügig ist, hat das Verwaltungsgericht zutreffend dargelegt. Die vom Beschwerdeführer geltend gemachten privaten Interessen, namentlich die Möglichkeit, gewisse Büroarbeiten am Abend oder am Wochenende zuhause erledigen zu können, fallen gegenüber den öffentlichen Interessen nicht ins Gewicht.
Diesen Ausführungen ist zuzustimmen: Die Trennung des Baugebiets vom Nichtbaugebiet ist ein fundamentaler Grundsatz des Raumplanungsrechts, der gebietet, dass eigenmächtige Erweiterungen und Umbauten, die nicht bewilligt werden können, grundsätzlich rückgängig gemacht werden. Davon kann nur ausnahmsweise, bei geringfügigen Abweichungen oder besonders gewichtigen privaten Interessen abgesehen werden. Dass die Abweichung im vorliegenden Fall nicht geringfügig ist, hat das Verwaltungsgericht zutreffend dargelegt. Die vom Beschwerdeführer geltend gemachten privaten Interessen, namentlich die Möglichkeit, gewisse Büroarbeiten am Abend oder am Wochenende zuhause erledigen zu können, fallen gegenüber den öffentlichen Interessen nicht ins Gewicht.
4. Nach dem Gesagten ist die Verwaltungsgerichtsbeschwerde abzuweisen. Bei diesem Ausgang wird der Beschwerdeführer kostenpflichtig und hat keinen Anspruch auf eine Parteientschädigung (Art. 156 und 159 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird dem Beschwerdeführer auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, der Gemeinde Herisau, der Baudirektion und dem Verwaltungsgericht des Kantons Appenzell Ausserrhoden, II. Abteilung, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 7. April 2005
Im Namen der I. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: