Sachverhalt: Sachverhalt: A. Die in der Landwirtschaftszone der Gemeinde Herisau gelegene Parzelle Nr. 3477, auf der ein Wohnhaus mit angebautem Ökonomiegebäude (Scheune/Stall) stand, war ursprünglich Teil eines landwirtschaftlichen Betriebs, der auch die Parzellen Nrn. 1954 und 1953 umfasste. Der Landwirtschaftsbetrieb wurde 1979 aufgegeben. Schon 1974 wurde die Parzelle Nr. 3477 veräussert und zu nicht landwirtschaftlichen Wohnzwecken benutzt. 1982 wurde der angebaute Stallteil abgebrochen und wiederaufgebaut, wobei die Baute neu unterkellert wurde und im Erdgeschoss eine Garage, ein Badezimmer sowie ein Hobby- und Waschraum eingerichtet wurden. Das Obergeschoss wurde neu zu Wohnzwecken ausgebaut. A. Die in der Landwirtschaftszone der Gemeinde Herisau gelegene Parzelle Nr. 3477, auf der ein Wohnhaus mit angebautem Ökonomiegebäude (Scheune/Stall) stand, war ursprünglich Teil eines landwirtschaftlichen Betriebs, der auch die Parzellen Nrn. 1954 und 1953 umfasste. Der Landwirtschaftsbetrieb wurde 1979 aufgegeben. Schon 1974 wurde die Parzelle Nr. 3477 veräussert und zu nicht landwirtschaftlichen Wohnzwecken benutzt. 1982 wurde der angebaute Stallteil abgebrochen und wiederaufgebaut, wobei die Baute neu unterkellert wurde und im Erdgeschoss eine Garage, ein Badezimmer sowie ein Hobby- und Waschraum eingerichtet wurden. Das Obergeschoss wurde neu zu Wohnzwecken ausgebaut. B. 1998 erwarb der als Kaufmann tätige X._ die Parzellen Nrn. 3477, 1954 und 1953. 1999 wurde ihm der Bau einer Doppelgarage mit Geräteraum im Dach auf der Parzelle Nr. 1954 bewilligt, als Ersatz für die im Hauptgebäude bestehende Garage, die neu als Holzlager und Geräteraum genutzt wurde. Anlässlich einer Baukontrolle stellte das Hochbauamt der Gemeinde Herisau fest, dass der Dachraum der Garage zu einem Büro ausgebaut worden war. Anlässlich einer Baukontrolle stellte das Hochbauamt der Gemeinde Herisau fest, dass der Dachraum der Garage zu einem Büro ausgebaut worden war. C. Am 14. Januar 2002 stellte X._ ein nachträgliches Baugesuch für den Dachraum-Ausbau. Er machte geltend, das bestehende Wohnhaus sei für seine fünfköpfige Familie zu klein, weshalb er das Büro in den Dachraum der Garage habe verlegen müssen. Mit Verfügung vom 10. Juli 2002 verweigerte das Planungsamt des Kantons Appenzell Ausserrhoden die raumplanerische Bewilligung und verfügte die Wiederherstellung des rechtmässigen Zustands. Mit Verfügung vom 22. Juli 2002 verweigerte auch das Ressort Hochbau der Gemeinde Herisau die nachträgliche Baubewilligung. C. Am 14. Januar 2002 stellte X._ ein nachträgliches Baugesuch für den Dachraum-Ausbau. Er machte geltend, das bestehende Wohnhaus sei für seine fünfköpfige Familie zu klein, weshalb er das Büro in den Dachraum der Garage habe verlegen müssen. Mit Verfügung vom 10. Juli 2002 verweigerte das Planungsamt des Kantons Appenzell Ausserrhoden die raumplanerische Bewilligung und verfügte die Wiederherstellung des rechtmässigen Zustands. Mit Verfügung vom 22. Juli 2002 verweigerte auch das Ressort Hochbau der Gemeinde Herisau die nachträgliche Baubewilligung. D. Gegen beide Verfügungen erhob X._ Rekurs bei der Baudirektion. Am 21. Mai 2003 hiess die Baudirektion den Rekurs insoweit gut, als auf das Entfernen des Bodenbelags zu verzichten sei; im Übrigen wies sie den Rekurs ab. D. Gegen beide Verfügungen erhob X._ Rekurs bei der Baudirektion. Am 21. Mai 2003 hiess die Baudirektion den Rekurs insoweit gut, als auf das Entfernen des Bodenbelags zu verzichten sei; im Übrigen wies sie den Rekurs ab. E. Gegen den Rekursentscheid erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Appenzell Ausserrhoden. Dieses wies die Beschwerde am 28. April 2004 ab. In Gutheissung eines Antrags des Gemeindebauamts Herisau verpflichtete es den Beschwerdeführer, beim Entfernen der Decken- und Wandverkleidung auch die Isolation mit zu entfernen. E. Gegen den Rekursentscheid erhob X._ Beschwerde an das Verwaltungsgericht des Kantons Appenzell Ausserrhoden. Dieses wies die Beschwerde am 28. April 2004 ab. In Gutheissung eines Antrags des Gemeindebauamts Herisau verpflichtete es den Beschwerdeführer, beim Entfernen der Decken- und Wandverkleidung auch die Isolation mit zu entfernen. F. Gegen den verwaltungsgerichtlichen Entscheid erhebt X._ Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Baudirektion sowie die Gemeinde Herisau seien anzuweisen, das Baugesuch zu bewilligen. F. Gegen den verwaltungsgerichtlichen Entscheid erhebt X._ Verwaltungsgerichtsbeschwerde ans Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Baudirektion sowie die Gemeinde Herisau seien anzuweisen, das Baugesuch zu bewilligen. G. Die Gemeinde Herisau und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Die Baudirektion hat sich nicht vernehmen lassen. Das Bundesamt für Raumentwicklung hat auf eine Vernehmlassung verzichtet mit der Bemerkung, es wolle durch rasche Rücksendung der Akten einen Beitrag dazu leisten, dass die notwendigen Massnahmen zur Wiederherstellung des rechtmässigen Zustands möglichst rasch zum Tragen kommen.