Sachverhalt: A. A.a. A._ ist Eigentümer der Parzellen Nrn. 1206, 1530 und 1531 im Grundbuch der Gemeinde Walzenhausen. Auf der in der Landwirtschaftszone liegenden Parzelle Nr. 1531 steht ein altrechtliches und daher unter Bestandesschutz stehendes, ursprünglich landwirtschaftlich, heute als Wohnhaus genutztes Gebäude Assekuranz-Nr. 773. Die Parzelle Nr. 1531 liegt östlich der beiden anderen Grundstücke und grenzt auf ihrer ganzen Länge an diese zwei an. Der Zugang zum Gebäude erfolgt über einen insgesamt knapp 90 m langen Zufahrtsweg über die heute ebenfalls in der Landwirtschaftszone gelegene westliche Parzelle Nr. 1206. Der Zugang war am 13. Mai 1985 zum schon damals ausserhalb der Bauzone gelegenen Gebäude Nr. 773 als bekieste Zufahrtsstrasse mit einer Breite von 2.6 m bewilligt worden, als sich die belastete Parzelle Nr. 1206 selbst noch in der Bauzone befand. Der Zugang wurde in der Folge nur auf den ersten 45 m vom Abzweiger der Quartierstrasse auf der noch weiter westlich gelegenen Liegenschaft Nr. 1606 bis in die Parzelle Nr. 1206 als Strasse in der bewilligten Breite realisiert, von dort bis zum Gebäude Assekuranz-Nr. 773 aber auf einer Länge von 38 m lediglich mit einer Breite von 1.2 m als Formsteinweg weiter geführt. Mit einer Zonenplanänderung im Jahre 1997 reduzierte die Gemeinde die als zu gross erkannte Bauzone und überführte unter anderem die Parzelle Nr. 1206 in die Landwirtschaftszone. Am 17. Dezember 2014 erhielt A._ in Form einer Ausnahmebewilligung die Erlaubnis, die Zufahrt auf dem Grundstück Nr. 1206 auf der Länge des Formsteinwegs von 38 m um 1.43 m zu verbreitern, einen Kanalisationsanschluss zu realisieren und parzellenübergreifend auf den Grundstücken Nrn. 1206 und 1531 zwei Autoabstellplätze und einen Holzlagerplatz zu errichten. Die Strassenarbeiten sind inzwischen ausgeführt und die Autoabstellplätze erstellt. A.b. Am 19. Dezember 2013 ersuchte A._ um Neubau einer Doppelgarage mit Atelier und Zufahrtsstrasse auf der in der Bauzone gelegenen Parzelle Nr. 1530 im Grundbuch der Gemeinde Walzenhausen. Dieses Grundstück schliesst aber nur in westlicher Richtung an eine andere Bauparzelle Nr. 1170 an und ist ansonsten von der Landwirtschaftszone umgeben. Nach dem Bauvorhaben soll der Zugang nicht über die Bauzone erfolgen, sondern entlang der Parzellengrenze über die Verlängerung der bestehenden Zufahrtsstrasse über den realisierten Autoabstellplatz hinaus um 9 m auf der südlich davon in der Landwirtschaftszone gelegenen Parzelle Nr. 1206 realisiert werden. Mit Entscheiden vom 25. Februar 2016 und 15. März 2016 verweigerten die Abteilung Raumentwicklung des Kantons Appenzell Ausserrhoden sowie die Baubewilligungskommission der Gemeinde Walzenhausen die Bewilligung für den Ausbau der ersuchten Zufahrtsstrasse über die Parzelle Nr. 1206, im Wesentlichen weil es sich um ein zonenfremdes Projekt handle. A.c. Nach Durchführung eines Augenscheines am 23. Juni 2016 wies das Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden am 5. September 2016 einen dagegen von A._ erhobenen Rekurs im Sinne der Erwägungen ab. Dazu führte es im Wesentlichen aus, die in der Landwirtschaftszone geplante Erschliessungsstrasse sei nicht für eine landwirtschaftliche Nutzung vorgesehen und könne mangels Zonenkonformität weder ordentlich noch im Sinne einer Ausnahmeerlaubnis bewilligt werden. B. Am 18. Mai 2017 wies das Obergericht Appenzell Ausserrhoden eine dagegen von A._ eingereichte Beschwerde im Wesentlichen mit einer analogen Begründung wie das Departement ab. Zuvor hatte das Gericht allerdings ergänzende Abklärungen vorgenommen, um nach Anhörung des Baugesuchstellers die Annahme des kantonalen Planungsamts zu überprüfen, dass sich die Zufahrt zur Bauparzelle Nr. 1530 über die westlich in der Bauzone gelegene Parzelle Nr. 1170 realisieren lasse. Das Obergericht bejahte dies ebenfalls und verweigerte unter anderem gestützt darauf die Erteilung einer Ausnahmebewilligung für den Ausbau der auf der Parzelle Nr. 1206 bestehenden Strasse. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Januar 2019 an das Bundesgericht beantragt A._, das Urteil des Obergerichts vom 18. Mai 2017 aufzuheben, den Ausbau der Zufahrtsstrasse gemäss dem Baugesuch zu bewilligen und die Sache anschliessend zur Neubeurteilung des gesamten Baugesuchs an die Baubewilligungsbehörde Walzenhausen zurückzuweisen; eventuell sei die Sache zur Neubeurteilung des Baugesuchs ohne Ausbau der Zufahrtsstrasse an die kommunale Baubewilligungsbehörde zurückzuweisen; subeventuell sei die Sache zur Durchführung eines Augenscheins und anschliessender Neubeurteilung an das Obergericht zurückzuweisen. Zur Begründung wird im Wesentlichen geltend gemacht, das Urteil des Obergerichts beruhe teilweise auf offensichtlich unrichtigen Sachverhaltsfeststellungen und stehe im Widerspruch zu den bundesrechtlichen Bestimmungen über Ausnahmebewilligungen für Bauten ausserhalb der Bauzone. Die Baubewilligungskommission der Gemeinde Walzenhausen hat innert Frist keine Vernehmlassung eingereicht. Das Obergericht stellt Antrag auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung ARE schliesst sich ohne ausdrücklichen Antrag den Ausführungen des Obergerichts an. A._ äusserte sich am 27. Mai 2019 nochmals zur Sache.