Sachverhalt:
A.
A.a. A._ ist Eigentümer der Parzellen Nrn. 1206, 1530 und 1531 im Grundbuch der Gemeinde Walzenhausen. Auf der in der Landwirtschaftszone liegenden Parzelle Nr. 1531 steht ein altrechtliches und daher unter Bestandesschutz stehendes, ursprünglich landwirtschaftlich, heute als Wohnhaus genutztes Gebäude Assekuranz-Nr. 773. Die Parzelle Nr. 1531 liegt östlich der beiden anderen Grundstücke und grenzt auf ihrer ganzen Länge an diese zwei an. Der Zugang zum Gebäude erfolgt über einen insgesamt knapp 90 m langen Zufahrtsweg über die heute ebenfalls in der Landwirtschaftszone gelegene westliche Parzelle Nr. 1206. Der Zugang war am 13. Mai 1985 zum schon damals ausserhalb der Bauzone gelegenen Gebäude Nr. 773 als bekieste Zufahrtsstrasse mit einer Breite von 2.6 m bewilligt worden, als sich die belastete Parzelle Nr. 1206 selbst noch in der Bauzone befand. Der Zugang wurde in der Folge nur auf den ersten 45 m vom Abzweiger der Quartierstrasse auf der noch weiter westlich gelegenen Liegenschaft Nr. 1606 bis in die Parzelle Nr. 1206 als Strasse in der bewilligten Breite realisiert, von dort bis zum Gebäude Assekuranz-Nr. 773 aber auf einer Länge von 38 m lediglich mit einer Breite von 1.2 m als Formsteinweg weiter geführt. Mit einer Zonenplanänderung im Jahre 1997 reduzierte die Gemeinde die als zu gross erkannte Bauzone und überführte unter anderem die Parzelle Nr. 1206 in die Landwirtschaftszone. Am 17. Dezember 2014 erhielt A._ in Form einer Ausnahmebewilligung die Erlaubnis, die Zufahrt auf dem Grundstück Nr. 1206 auf der Länge des Formsteinwegs von 38 m um 1.43 m zu verbreitern, einen Kanalisationsanschluss zu realisieren und parzellenübergreifend auf den Grundstücken Nrn. 1206 und 1531 zwei Autoabstellplätze und einen Holzlagerplatz zu errichten. Die Strassenarbeiten sind inzwischen ausgeführt und die Autoabstellplätze erstellt.
A.b. Am 19. Dezember 2013 ersuchte A._ um Neubau einer Doppelgarage mit Atelier und Zufahrtsstrasse auf der in der Bauzone gelegenen Parzelle Nr. 1530 im Grundbuch der Gemeinde Walzenhausen. Dieses Grundstück schliesst aber nur in westlicher Richtung an eine andere Bauparzelle Nr. 1170 an und ist ansonsten von der Landwirtschaftszone umgeben. Nach dem Bauvorhaben soll der Zugang nicht über die Bauzone erfolgen, sondern entlang der Parzellengrenze über die Verlängerung der bestehenden Zufahrtsstrasse über den realisierten Autoabstellplatz hinaus um 9 m auf der südlich davon in der Landwirtschaftszone gelegenen Parzelle Nr. 1206 realisiert werden.
Mit Entscheiden vom 25. Februar 2016 und 15. März 2016 verweigerten die Abteilung Raumentwicklung des Kantons Appenzell Ausserrhoden sowie die Baubewilligungskommission der Gemeinde Walzenhausen die Bewilligung für den Ausbau der ersuchten Zufahrtsstrasse über die Parzelle Nr. 1206, im Wesentlichen weil es sich um ein zonenfremdes Projekt handle.
A.c. Nach Durchführung eines Augenscheines am 23. Juni 2016 wies das Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden am 5. September 2016 einen dagegen von A._ erhobenen Rekurs im Sinne der Erwägungen ab. Dazu führte es im Wesentlichen aus, die in der Landwirtschaftszone geplante Erschliessungsstrasse sei nicht für eine landwirtschaftliche Nutzung vorgesehen und könne mangels Zonenkonformität weder ordentlich noch im Sinne einer Ausnahmeerlaubnis bewilligt werden.
B.
Am 18. Mai 2017 wies das Obergericht Appenzell Ausserrhoden eine dagegen von A._ eingereichte Beschwerde im Wesentlichen mit einer analogen Begründung wie das Departement ab. Zuvor hatte das Gericht allerdings ergänzende Abklärungen vorgenommen, um nach Anhörung des Baugesuchstellers die Annahme des kantonalen Planungsamts zu überprüfen, dass sich die Zufahrt zur Bauparzelle Nr. 1530 über die westlich in der Bauzone gelegene Parzelle Nr. 1170 realisieren lasse. Das Obergericht bejahte dies ebenfalls und verweigerte unter anderem gestützt darauf die Erteilung einer Ausnahmebewilligung für den Ausbau der auf der Parzelle Nr. 1206 bestehenden Strasse.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Januar 2019 an das Bundesgericht beantragt A._, das Urteil des Obergerichts vom 18. Mai 2017 aufzuheben, den Ausbau der Zufahrtsstrasse gemäss dem Baugesuch zu bewilligen und die Sache anschliessend zur Neubeurteilung des gesamten Baugesuchs an die Baubewilligungsbehörde Walzenhausen zurückzuweisen; eventuell sei die Sache zur Neubeurteilung des Baugesuchs ohne Ausbau der Zufahrtsstrasse an die kommunale Baubewilligungsbehörde zurückzuweisen; subeventuell sei die Sache zur Durchführung eines Augenscheins und anschliessender Neubeurteilung an das Obergericht zurückzuweisen. Zur Begründung wird im Wesentlichen geltend gemacht, das Urteil des Obergerichts beruhe teilweise auf offensichtlich unrichtigen Sachverhaltsfeststellungen und stehe im Widerspruch zu den bundesrechtlichen Bestimmungen über Ausnahmebewilligungen für Bauten ausserhalb der Bauzone.
Die Baubewilligungskommission der Gemeinde Walzenhausen hat innert Frist keine Vernehmlassung eingereicht. Das Obergericht stellt Antrag auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung ARE schliesst sich ohne ausdrücklichen Antrag den Ausführungen des Obergerichts an.
A._ äusserte sich am 27. Mai 2019 nochmals zur Sache.

Erwägungen:
1.
1.1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid über die Erteilung bzw. Verweigerung einer Baubewilligung. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG an das Bundesgericht offen (vgl. <ref-ruling> E. 1.2 S. 251). Der Beschwerdeführer ist als Baugesuchsteller und direkter Adressat des angefochtenen Entscheids zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG).
1.2. Strittig ist vor Bundesgericht vorrangig die Frage der Rechtmässigkeit der Bewilligungsverweigerung für die Verlängerung der Zufahrt über die Parzelle Nr. 1206. Über die ersuchte Baubewilligung für die Doppelgarage mit Atelier haben die Vorinstanzen nicht abschliessend entschieden, da sie davon ausgingen, eine Bewilligung falle schon mangels ausreichender verkehrsmässiger Erschliessung ausser Betracht. Den Streitgegenstand im bundesgerichtlichen Verfahren bilden damit einzig die Frage der Bewilligung der Zufahrtsstrasse sowie diejenige, ob die Vorinstanzen über die weiteren Bestandteile des Baugesuchs zu Recht nicht entschieden haben. Über die Bewilligung für das Gesamtprojekt ist nicht zu befinden. Gegebenenfalls wäre die Sache zur weiteren Behandlung an eine der Vorinstanzen zurückzuweisen.
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann in rechtlicher Hinsicht insbesondere die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig, d.h. willkürlich, ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.4. Eine offensichtlich unrichtige bzw. willkürliche Sachverhaltsfeststellung liegt vor, wenn diese widersprüchlich oder aktenwidrig ist oder auf einem offensichtlichen Versehen beruht bzw. klarerweise den tatsächlichen Verhältnissen widerspricht (vgl. etwa <ref-ruling> E. 4.1.2 S. 62). Auch die unvollständige Feststellung des massgeblichen Sachverhalts ist offensichtlich unrichtig (vgl. <ref-ruling> E. 3.1 S. 373; <ref-ruling> E. 3.4.2 S. 295 f.). Ob ein solcher Mangel im vorliegenden Fall gegeben ist, wird nachfolgend im Zusammenhang mit den sich stellenden einzelnen Rechtsfragen zu prüfen sein.
2.
2.1. Nach Art. 22 Abs. 1 RPG dürfen Bauten und Anlagen nur mit behördlicher Bewilligung errichtet oder geändert werden. Voraussetzung einer solchen Bewilligung ist namentlich, dass die Bauten und Anlagen dem Zweck der Nutzungszone entsprechen und das Land erschlossen ist (Art. 22 Abs. 2 RPG). Gemäss Art. 16 Abs. 1 RPG umfassen Landwirtschaftszonen insbesondere Land, das sich für die landwirtschaftliche Bewirtschaftung oder den produzierenden Gartenbau eignet (lit. a) oder im Gesamtinteresse landwirtschaftlich bewirtschaftet werden soll (lit. b). Nach Art. 16a Abs. 1 RPG sind Bauten und Anlagen in der Landwirtschaftszone zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind.
2.2. Unter den Verfahrensbeteiligten ist nicht strittig, dass die fragliche Zufahrtsstrasse grundsätzlich zonenfremd ist und nicht im ordentlichen Verfahren bewilligt werden kann, sondern einer Ausnahmebewilligung bedarf. Der Beschwerdeführer beruft sich dabei auf zwei gesetzliche Bestimmungen, nämlich auf die Bestandesgarantie von Art. 24c RPG sowie auf die allgemeine Ausnahmenorm von Art. 24 RPG. Vorweg ist die besondere Ausnahmebestimmung von Art. 24c RPG zu prüfen. Auf Art. 24 RPG ist in der Folge nur dann einzugehen, wenn eine Ausnahme gemäss Art. 24c RPG zu verneint werden muss.
3.
3.1. Gemäss Art. 24c Abs. 1 RPG werden bestimmungsgemäss nutzbare Bauten und Anlagen ausserhalb der Bauzonen, die nicht mehr zonenkonform sind, in ihrem Bestand grundsätzlich geschützt. Solche Bauten und Anlagen können mit Bewilligung der zuständigen Behörde erneuert, teilweise geändert, massvoll erweitert oder wiederaufgebaut werden, sofern sie rechtmässig erstellt oder geändert worden sind (Art. 24c Abs. 2 RPG). In jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten (Art. 24c Abs. 5 RPG).
3.2. In Art. 42 RPV werden die zulässigen Änderungen im Sinne von Art. 24c Abs. 2 RPG konkretisiert. Als Grundregel für alle Bauvorhaben gilt, dass die Identität der Baute einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleiben muss, wobei Verbesserungen gestalterischer Art zulässig sind (Art. 42 Abs. 1 RPV). Massgeblicher Vergleichszustand für die Beurteilung der Identität ist der Zustand, in dem sich die Baute oder Anlage im Zeitpunkt der Zuweisung zum Nichtbaugebiet befand (Art. 42 Abs. 2 RPV). Ob die Identität der Baute im Wesentlichen gewahrt bleibt, ist unter Würdigung der gesamten Umstände zu beurteilen (Art. 42 Abs. 3 Satz 1 RPV). Nach Art. 42 Abs. 3 lit. b RPV darf die gesamte Erweiterung einer Baute oder Anlage die vorbestandene Fläche weder um 30% noch um 100 m2 überschreiten.
3.3. Nach der Rechtsprechung des Bundesgerichts ist darauf abzustellen, ob die Änderung bei einer Gesamtbetrachtung von untergeordneter Natur ist. Die Wesensgleichheit der Baute oder Anlage muss hinsichtlich Umfang, äusserer Erscheinung sowie Zweckbestimmung gewahrt werden und es dürfen keine wesentlichen neuen Auswirkungen auf die Nutzungsordnung, Erschliessung und Umwelt geschaffen werden (vgl. <ref-ruling> E. 7.1.1 S. 42; <ref-ruling> E. 3a und b S. 218 f.; vgl. zum Ganzen auch Urteil 1C_128/2018 vom 28. September 2018 E. 5).
3.4. Für die strittige Zufahrt bildet die Baubewilligung vom 13. Mai 1985 den Ausgangspunkt für die Festlegung des von der Besitzstandsgarantie gedeckten bestehenden Zustands. Die damalige Bewilligung diente ausdrücklich der privaten Erschliessung des Landwirtschaftsbetriebs auf der Parzelle Nr. 566, bei der es sich um die Vorgängerparzelle der heutigen Nr. 1531 handelte. Die Bewilligung hielt fest, der vorgesehene Ausbau mit Kiesbelag auf 2.6 m Breite werde für diesen Zweck ausreichen; für die Erschliessung der umliegenden Bauparzellen könne der Zufahrtsweg grundsätzlich mitbenützt werden, wofür dann jedoch ein entsprechender Ausbau gemäss den technischen Bestimmungen der Bauordnung notwendig sei. Mit dem Obergericht ist davon auszugehen, dass damit bloss mittelbar die Erschliessung weiterer umliegender Parzellen bezweckt, zunächst konkret und unmittelbar aber nur diejenige des heutigen Grundstücks Nr. 1531 bewilligt wurde. Was der Beschwerdeführer dagegen vorbringt, überzeugt angesichts des ausdrücklich genannten Vorbehalts der Baubewiligung nicht. Da die Zufahrt über die damals in der Bauzone gelegene Parzelle Nr. 1206 führte, wurde diese dadurch zwangsläufig miterschlossen, wobei das allerdings mit der späteren Auszonung der Parzelle ins Nichtbaugebiet wirkungslos blieb. Jedenfalls ist die Einschätzung der Vorinstanzen nicht zu beanstanden, dass die 1985 bewilligte Zufahrt nicht unabhängig von einem konkreten Baugesuch auf der Parzelle Nr. 1530 bereits deren Erschliessung erlaubte. Hingegen ist davon auszugehen, dass 1985 die Errichtung einer bekiesten Zufahrtsstrasse mit einer Breite von 2.6 m nicht nur auf den ersten 45 m von der Abzweigung an, sondern auf der ganzen Länge von rund 90 m bis zum Gebäude auf der Parzelle Nr. 1531 bewilligt wurde. Insofern mögen die in diesem Zusammenhang allenfalls missverständlichen tatsächlichen Feststellungen des Obergerichts, das in E. 3.1 des angefochtenen Urteils teilweise und in gewissem Widerspruch zu den nachfolgenden Ausführungen eine lediglich auf knapp 50 m bekiest bewilligte Strasse erwähnt, aktenwidrig und zu korrigieren sein. Für die Besitzstandsgarantie ist allerdings vom in der Folge realisierten Zustand auszugehen. Dazu steht fest, dass der Zugang damals auf den ersten 45 m als bekieste Strasse in der bewilligten Breite von 2.6 m erstellt, von dort bis zum massgeblichen Gebäude auf der Parzelle Nr. 1531 aber zumindest an der Erdoberfläche auf einer Länge von 38 m lediglich mit einer Breite von 1.2 m als Formsteinweg weiter geführt wurde. Insoweit sind die Sachverhaltsfeststellungen im angefochtenen Urteil nicht zu beanstanden.
3.5. Im Jahre 2014 ersuchte der Beschwerdeführer erstmals um einen Ausbau der Zufahrt, und zwar durch Verbreiterung des zweiten als Formsteinweg vorbestandenen Teils von 38 m Länge, was ihm mit Baubewilligung vom 17. Dezember 2014 erlaubt wurde. Die hier strittige Bewilligung verlangt einen erneuten Ausbau der Strasse durch Verlängerung um weitere 9 m. Dabei muss sich der Beschwerdeführer die erste Erweiterung von 2014 anrechnen lassen. Er macht zwar geltend, der Weg sei bereits vorher auch auf seinem schmalspurigen Abschnitt auf 2 m unterirdisch gekoffert gewesen. Ob das zutrifft, dürfte heute kaum mehr oder nur schwierig überprüfbar sein. Eine solche Feststellung enthält der angefochtene Entscheid im Übrigen nicht, und es fragt sich, ob es sich dabei nicht ohnehin um ein vor Bundesgericht unzulässiges Novum handelt (Art. 99 BGG). Das kann aber offen bleiben. Denn jedenfalls ersuchte der Beschwerdeführer im Jahre 2014 selbst um Bewilligung für die Erweiterung der Zufahrt auf den fraglichen 38 m um 1.43 m. Er ging also ebenfalls davon aus, dass der vorbestandene Weg nur eine Breite von 1.2 m aufwies. Darauf ist er zu behaften und kann er nicht zurückkommen. Zu seinen Gunsten wirkt sich demgegenüber die implizite Feststellung des Obergerichts aus, dass der erste bekieste Teil der Strasse von 45 m Länge eine Breite von 3 m und nicht bloss 2.6 m misst, erhöht dies doch flächenmässig die zulässige massvolle Erweiterung von 30%.
3.6. Gestützt darauf ging das Obergericht davon aus, mit der ersten Ausbaubewilligung vom 17. Dezember 2014 sei eine vorbestandene Verkehrsfläche von insgesamt 180.6 m2 um 54.34 m2erweitert worden. Sie errechnete diese Flächen wie folgt: Für die vorbestandene Fläche addierte sie 135 m2 für den ersten bekiesten Teil der Zufahrt (als Resultat einer Multiplikation von 45 m Länge x 3 m Breite) mit 45.6 m2 für den zweiten als Formsteinweg ausgestalteten Teil (als Ergebnis einer Multiplikation von 38 m Länge x 1.2 m Breite). Die Ausbaufläche durch Verbreiterung des zweiten Wegteils wurde mit 38 m x 1.43 m errechnet. Daraus ergibt sich bereits ohne Berücksichtigung des gleichzeitig bewilligten Autoabstellplatzes und des Holzlagerplatzes eine Erweiterung der bestehenden baulichen Einrichtungen auf der Parzelle Nr. 1206 um 30.08%. Auch wenn der Ausbau der Strasse in gestalterischer Hinsicht, abgesehen von der Flächenvergrösserung, keine grossen Veränderungen mit sich brachte, ist damit doch davon auszugehen, dass dem Beschwerdeführer die nach Art. 24c RPG in Verbindung mit Art. 42 RPV maximal zulässige massvolle Erweiterung der Zufahrtsstrasse um 30% bereits mit der Bewilligung vom 17. Dezember 2014 erlaubt worden ist. Er kann sich daher für die nunmehr zusätzlich beantragte Verlängerung der Strasse um 9 m nicht mehr auf den Ausnahmetatbestand von Art. 24c RPG berufen.
4.
4.1. Gemäss Art. 24 RPG können abweichend von Art. 22 Abs. 2 lit. a RPG Bewilligungen erteilt werden, wenn der Zweck der Bauten und Anlagen einen Standort ausserhalb der Bauzonen erfordert und keine überwiegenden Interessen entgegenstehen. Auf eine solche Ausnahmebewilligung besteht Anspruch, wenn deren Voraussetzungen erfüllt sind (RUDOLF MUGGLI, in: Aemisegger et al. [Hrsg.], Praxiskommentar RPG: Bauen ausserhalb der Bauzone, 2017, Vorbemerkungen zu den Art. 24 bis 24e und 37a, Rz. 33). Eine Anlage ist im Sinne von Art. 24 lit. a RPG standortgebunden, wenn sie aus technischen oder betriebswirtschaftlichen Gründen auf einen Standort ausserhalb der Bauzone angewiesen ist oder wenn die Anlage aus bestimmten Gründen in einer Bauzone ausgeschlossen ist. Nach bundesgerichtlicher Praxis muss jedoch ein Standort in der Bauzone nicht absolut ausgeschlossen sein. Es genügt die relative Standortgebundenheit, die gegeben ist, wenn gewichtige Gründe einen Standort in der Nichtbauzone gegenüber anderen Standorten innerhalb der Bauzone als erheblich vorteilhafter erscheinen lassen. Die Bejahung der relativen Standortgebundenheit setzt eine umfassende Interessenabwägung voraus, die sich mit derjenigen nach Art. 24 lit. b RPG überschneidet (<ref-ruling> E. 7.6.1 S. 253 f. mit Hinweisen).
4.2. Nach der bundesgerichtlichen Rechtsprechung ist in der Landwirtschaftszone eine Strasse, die der Erschliessung von bestandesgeschützten, aber landwirtschaftsfremden Bauten dient, nicht gemäss Art. 22 RPG zonenkonform und auch nicht im Sinne von Art. 24 RPG standortgebunden (Urteile des Bundesgerichts 1C_257/2012 vom 6. September 2012 E. 3.1 und 1A.256/2004 vom 31. August 2005 E. 4 und 5). Diese Rechtsprechung beruht auf der Begründung, dass sich die Standortgebundenheit nicht mit der Zugehörigkeit zu Bauten rechtfertigen lässt, die selbst zonenfremd sind (dazu insbes. Urteil 1A.256/ 2004 vom 31. August 2005 E. 5). Im vorliegenden Fall geht es aber nicht mehr um die Erschliessung des zonenfremden Gebäudes auf der Parzelle Nr. 1531, sondern um diejenige der Bauparzelle Nr. 1530 bzw. der darauf geplanten Bauten, die sich grundsätzlich zonenkonform ausgestalten lassen. Die Annahme der Standortgebundenheit erweist sich daher nicht bereits deshalb als ausgeschlossen, weil die Erschliessung einer zonenfremden Baute dienen soll. Ob die konkret geplanten Bauten zonenkonform sind, ist hier nicht zu entscheiden, sondern würde allenfalls Gegenstand des weiteren Verfahrens bilden (vgl. vorne E. 1.2).
4.3. Allerdings steht auch die Erschliessung einer Bauzone über Landwirtschaftsland in klarem Widerspruch zum Gebot der strikten Trennung von Bau- und Nichtbaugebiet (Art. 3 RPG). Die Standortgebundenheit von der Bauzone dienenden Erschliessungsstrassen im Nichtbaugebiet setzt besondere Umstände voraus, die eine solche Ausnahme rechtfertigen (dazu RUDOLF MUGGLI, in: Aemisegger et al. [Hrsg.], a.a.O., Art. 24, Rz. 27). Sie fällt grundsätzlich nur dann in Betracht, wenn es keine andere Möglichkeit gibt, mithin die Erschliessung ansonsten ausgeschlossen wäre. Der Zugang zu einer Bauzone hat vielmehr wenn immer möglich über das Baugebiet selbst zu erfolgen. Die Parzelle Nr. 1530, um deren Erschliessung es hier geht, ist auf drei Seiten von der Landwirtschaftszone umgeben. Einzig nach Westen schliesst sich die in der Bauzone gelegene und überbaute Parzelle Nr. 1170 an, die wiederum an die Quartierstrasse anstösst. Von dort aus liesse sich die fragliche Parzelle Nr. 1530 erschliessen. Weil sich das Gelände dort in einer Hanglage mit relativ starkem Gefälle befindet, prüfte das Obergericht, wieweit eine Alternativerschliessung über die Nachbarparzelle Nr. 1170 überhaupt möglich ist. Da es keine entsprechenden Grunddienstbarkeiten gibt, würde eine solche Lösung allenfalls das Einverständnis des nachbarschaftlichen Grundeigentümers erfordern oder müsste im Bestreitungsfalle zivilrechtlich erzwungen werden. Das schliesst aber die Möglichkeit einer entsprechenden Erschliessung nicht aus.
4.3.1. Das Obergericht stützte sich auf Pläne des Geoportals (GIS), erstellte offenbar selbst Höhenprofile und nahm entsprechende Berechnungen vor. Der Beschwerdeführer bestreitet die Richtigkeit dieser Unterlagen und der darauf beruhenden Feststellungen. Es trifft zwar zu, dass nicht klar ist, von wem die Berechnungen stammen und wie gewisse Annahmen zustande gekommen sind. Auch sind die darin enthaltenen Werte approximativ. Es handelt sich nicht um professionell erstellte Detailpläne mit genau bemessenen Berechnungen. Dennoch erscheinen die Unterlagen geeignet, die Erschliessungsverhältnisse ausreichend wiederzugeben. Eigentliche Baupläne braucht es nicht, und es ist im Übrigen auch nicht Aufgabe des Obergerichts, solche auszuarbeiten. Die tatsächlichen Feststellungen sind diesbezüglich genügend erstellt. Weder ist die Streitsache daher zu ergänzenden Abklärungen an die Vorinstanz zurückzuweisen noch ist das Obergericht gemäss dem entsprechenden Antrag des Beschwerdeführers zu einem Augenschein anzuhalten. Im Übrigen beruhen die Feststellungen des Obergerichts unter anderem auf den aktenkundigen Unterlagen, die auf den vom Departement durchgeführten Augenschein zurückgehen.
4.3.2. Ausgangspunkt ist, dass nach Art. 43 Abs. 2 des Baureglements von Walzenhausen vom 5. Februar 2013 für neue Erschliessungsstrassen ein Gefälle von 15% nicht überschritten werden darf. Gemäss E. 4.3 des angefochtenen Urteils könnte davon gemäss Art. 118 Abs. 1 des Gesetzes vom 12. Mai 2003 über die Raumplanung und das Baurecht (Baugesetz; bGS 721.1) allenfalls im Sinne einer Ausnahmebewilligung abgewichen werden. Die Tragweite dieser Abweichungsmöglichkeit ist unter den Verfahrensbeteiligten umstritten, doch kann dies hier offen bleiben. Dem Grundsatz nach erscheint die entsprechende Erwägung des Obergerichts jedenfalls weder willkürlich noch sonst wie bundesrechtswidrig, was vom Beschwerdeführer im Übrigen auch gar nicht ausreichend dargelegt würde.
4.3.3. Gemäss dem Beschwerdeführer beträgt das maximale Gefälle für eine direkte Strassenverbindung über die Parzelle Nr. 1170 20%. Auch das Departement ging von einer Steigung von rund 20% aus und bezeichnete es als fraglich, ob eine Alternativerschliessung realisierbar sei, schloss dies aber nicht aus. Gemäss den eigenen Berechnungen des Obergerichts würde eine direkte Verbindung mit der Quartierstrasse eine Länge von rund 43 m und ein Gefälle von etwas mehr als 18% erreichen. Alternativ prüfte und bejahte das Obergericht die Möglichkeit einer doppelt gekurvten Strasse über den südlichen Teil der Nachbarparzelle Nr. 1170, was es als Doppel-S bezeichnete, womit sich ein Gefälle von 13% erreichen lasse. Die Berechnung geht ebenfalls von einer Basislänge von 43 m aus, gibt aber nicht an, wie lange die Strasse als solche tatsächlich ausfallen und wie viel Platz sie beanspruchen würde. Nicht geprüft hat das Obergericht eine Verkehrserschliessung über den nördlichen Teil der Nachbarparzelle Nr. 1170. Eine solche Zufahrt würde wohl länger, es ist aber nicht bekannt, welches Gefälle dabei in Betracht zu ziehen wäre.
4.3.4. Entscheidend ist, dass eine Alternativerschliessung über die Bauzone möglich erscheint. Wie diese genau auszugestalten ist, muss hier nicht bestimmt werden. Es genügt, dass von einer solchen Alternativmöglichkeit ausgegangen werden kann.
4.4. Immerhin ist nicht von der Hand zu weisen, dass die vom Beschwerdeführer beantragte Erschliessung über die ihm selbst gehörende landwirtschaftliche Parzelle Nr. 1206 mit einer relativ kurzen und praktisch flachen Verlängerung der bestehenden Zufahrt um 9 m realisiert werden könnte. Die dafür erforderliche Grunddienstbarkeit existiert bereits seit 1978. Die gesamte Zufahrt würde damit rund 100 m erreichen, besteht aber schon auf knapp 90 m und weist gemäss den Berechnungen des Obergerichts offenbar ein Gefälle von lediglich 8% auf. Eine solche Lösung stünde ebenfalls in gewissem Einklang mit der ursprünglichen Zwecksetzung der Zufahrtsstrasse, mittelbar auch der Erschliessung des umliegenden Baulands zu dienen (vgl. vorne E. 3.4). Dieser Zweck ist allerdings mit der Auszonung von 1997 weggefallen. Bei der vom Beschwerdeführer nachgesuchten Erschliessung geht es nur um die Zufahrt zu einer Doppelgarage mit Atelier. Dabei darf aber nicht unberücksichtigt bleiben, dass auf der Bauparzelle dereinst ein grösseres Wohnhaus erstellt werden könnte, das mit einem bedeutenderen Erschliessungsbedarf verbunden wäre. Es erscheint unwahrscheinlich, dass die relativ enge Zufahrt über einen Formsteinweg dafür noch ausreichen würde. Die Verkehrserschliessung muss jedoch von vornherein so konzipiert werden, dass sie auch bei einer vollen Nutzung der Baumöglichkeiten auf der zu erschliessenden Bauparzelle geographisch und topographisch über denselben Zufahrtsweg erfolgen könnte, selbst wenn dafür ein gewisser Ausbau der Strasse erforderlich wäre. Mit Blick darauf steht es mit dem Raumplanungsgesetz nicht im Einklang, heute eine Erschliessung über die Landwirtschaftszone zuzulassen, obwohl es andere Erschliessungsmöglichkeiten über die Bauzone gibt. Daran ändert nichts, dass die genaue Streckenführung noch nicht bestimmt ist.
4.5. Insgesamt ergibt sich auch unter Berücksichtigung der besonderen geographischen und topographischen Lage, der Vorgeschichte des Projekts und der planerischen Situation, dass angesichts des strikten Grundsatzes der Trennung von Bau- und Nichtbaugebiet überwiegende Interessen gegen die Erteilung der beantragten Ausnahmebewilligung sprechen. Dies gilt im Übrigen unabhängig von der Bereitschaft des Beschwerdeführers, ein Stück Strasse von ebenfalls 9 m auf der Parzelle Nr. 1531 rückzubauen, was ihm selbstredend frei steht. Damit entfällt auch die Möglichkeit einer Ausnahmebewilligung nach Art. 24 RPG.
5.
Die Bewilligung für die Überbauung eines Baugrundstücks setzt unter anderem die ausreichende Erschliessung desselben voraus (vgl. Art. 22 Abs. 2 lit. b RPG sowie vorne E. 2.1). Im vorliegenden Fall sahen die Vorinstanzen davon ab, das Gesamtprojekt, namentlich die Erteilung einer Baubewilligung für die Erstellung einer Doppelgarage mit Atelier, zu prüfen, nachdem sie die darin integrierte verkehrsmässige Erschliessung als nicht bewilligungsfähig beurteilt hatten. Das ist angesichts der fehlenden Erschliessung nicht zu beanstanden.
6.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer für das bundesgerichtliche Verfahren kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist nicht zuzusprechen (vgl. Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Baubewilligungskommission Walzenhausen, dem Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden, dem Obergericht des Kantons Appenzell Ausserrhoden, 4. Abteilung, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 4. Oktober 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Uebersax