Sachverhalt:
A.
B._ ist Eigentümer des in der Wohnzone liegenden Grundstücks Nr. 1698 mit einem neu errichteten Wohnhaus in der Gemeinde Walzenhausen. Am 21. Dezember 2017 stellte er beim Bausekretariat Walzenhausen ein nachträgliches Baugesuch für den Bau einer Frischwasserleitung zu seinem Wohnhaus. Von der Leitungsführung betroffen sind u.a. die Grundstücke Nrn. 569 und 1699, die in der Landwirtschaftszone liegen. Gegen dieses Baugesuch erhob A._, der Eigentümer des an das Grundstück Nr. 1698 anstossenden Grundstücks Nr. 570, am 29. Januar 2018 beim Bausekretariat Walzenhausen Einsprache. Das Amt für Raum und Wald, Abteilung Raumentwicklung des Kantons Appenzell Ausserrhoden, trat mit Entscheid vom 10. April 2018 auf diese Einsprache nicht ein. Im gleichen Entscheid verweigerte es auch die von B._ beantragte nachträgliche Baubewilligung und wies die Gemeindebaubehörde Walzenhausen an, über die Wiederherstellung des rechtmässigen Zustands zu entscheiden. Die Baubewilligungskommission Walzenhausen wies mit Entscheid vom 2. Juli 2018 entsprechend die Bewilligung für das Baugesuch ab und erklärte den Entscheid des kantonalen Amts vom 10. April 2018 zum Bestandteil seines Entscheids, der zusammen mit diesem den Verfahrensbeteiligten zu eröffnen sei, was am 3. Juli 2018 erfolgte. Gegen diesen Entscheid erhob B._ am 24. Juli 2018 Rekurs beim Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden. A._ focht diesen Entscheid dagegen nicht an.
Auf sein Ersuchen hin stellte das Departement mit Verfügung vom 5. September 2018 fest, dass A._ am Rekursverfahren von B._ weder beteiligt noch von Amtes wegen zu beteiligen sei.
B.
Gegen diese Verfügung erhob A._ am 12. September 2018 beim Obergericht Beschwerde. Er verlangte, die Verfügung des Departements vom 5. September 2018 sei aufzuheben und er sei am Rekursverfahren von B._ zu beteiligen. Das Obergericht wies die Beschwerde von A._ mit Urteil vom 23. Mai 2019 ab. Mit der Nichtanfechtung der Bau- und Einspracheentscheide habe A._ auf seine Parteistellung im Rekursverfahren verzichtet.
C.
Mit Beschwerde vom 16. September 2019 an das Bundesgericht beantragt A._ im Wesentlichen, das Urteil des Obergerichts vom 23. Mai 2019 aufzuheben. Zudem sei er am Rekursverfahren von B._ mit einer schriftlichen Vernehmlassung und eigenen Rechtsbegehren zu beteiligen. B._ sowie das Obergericht des Kantons Appenzell Ausserrhoden stellen Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Baubewilligungskommission Walzenhausen und das Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden reichten innert Frist keine Stellungnahme ein.

Erwägungen:
1.
1.1. Gemäss <ref-law> beurteilt das Bundesgericht Beschwerden in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund. Nach Art. 34 Abs. 1 RPG gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege (<ref-ruling> E. 1.2 S. 251; <ref-ruling> E. 1.1 S. 411).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht unter Einschluss des Bundesverfassungsrechts, von Völkerrecht und von kantonalen verfassungsmässigen Rechten sowie die offensichtlich unrichtige Feststellung des Sachverhalts gerügt werden (Art. 95 lit. a-c und <ref-law>). Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht bzw. gegen die verfassungsmässigen Rechte und Grundsätze. Das Bundesgericht prüft kantonales Recht somit nur auf Bundesrechtsverletzung, namentlich Willkür, hin. Frei prüft das Bundesgericht die Verletzung kantonaler verfassungsmässiger Rechte. Soweit es dabei allerdings um die Auslegung von kantonalem Gesetzes- und Verordnungsrecht geht, prüft dies das Bundesgericht wiederum ausschliesslich unter dem Gesichtswinkel der Willkür (<ref-ruling> E. 2 S. 149 f.).
1.3. Nach <ref-law> legt das Bundesgericht seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde, es sei denn, dieser sei offensichtlich unrichtig, d.h. willkürlich, erhoben worden oder beruhe auf einem erheblichen Verstoss gegen Verfahrensrecht (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
1.4. Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>); die Verletzung von Grundrechten überprüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
2.
2.1. Nach <ref-law> ist die Beschwerde zulässig gegen Entscheide, die das Verfahren abschliessen. Endentscheide sind Entscheide, mit denen ein Verfahren in der Hauptsache aus prozessualen oder materiellen Gründen beendet wird (SEILER/VON WERDT/GÜNGERICH/OBERHOLZER, Bundesgerichtsgesetz [BGG], 2. Aufl., 2015, Rz. 4 zu <ref-law>). Von weiteren, hier nicht interessierenden Ausnahmen abgesehen, wird von der Beschränkung der Anfechtbarkeit auf Endentscheide abgewichen, wenn ein selbständig eröffneter Vor- oder Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (<ref-law>; Urteil des Bundesgerichts 1C_19/2019 vom 7. Oktober 2019 E. 2.2, zur Publikation vorgesehen).
2.2. Angefochten ist vorliegend nicht der Nichteintretensentscheid der Baubewilligungsbehörde bzw. des kantonalen Amts, sondern der Feststellungsentscheid des Departements im Rekursverfahren. Es erscheint dabei fraglich, ob es sich hierbei um eine Feststellung handelt oder nicht eher um die rechtsgestaltende Abweisung eines zumindest sinngemässen Gesuchs um Einbezug ins Verfahren. Diese Frage braucht indes nicht entschieden zu werden. Da das Verfahren durch die Verfügung nicht abgeschlossen wird, handelt es sich jedenfalls um eine Zwischenverfügung. Das Bundesgericht hat im Übrigen keine Kenntnis davon, dass das Verfahren in der Sache bisher abgeschlossen wäre.
2.3. Für die Frage der Anfechtbarkeit massgeblich ist vorliegend, ob der selbständig eröffnete Zwischenentscheid für den Beschwerdeführer einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>). Dies ist zu bejahen, da ansonsten das ganze Verfahren durch alle Instanzen ohne seine Beteiligung durchgeführt würde und diese Behörden über die Sache bereits entschieden hätten, bevor er sich gegebenenfalls erstmals zur Sache äussern könnte. Diese ihm drohende formelle Rechtsverweigerung bewirkt einen irreversiblen Nachteil. Das Bundesgericht tritt deshalb auf die Beschwerde ein.
3.
3.1. Streitig ist einzig die Frage, ob es Bundesrecht verletzt, den Beschwerdeführer nicht am Rekursverfahren des Beschwerdegegners zu beteiligen. Der Beschwerdeführer rügt eine Verletzung von <ref-law>, von <ref-law> und Art. 33 RPG sowie eine willkürliche Anwendung des kantonalen Verfahrensrechts.
3.2. <ref-law> umfasst als Teilgehalt das Verbot der formellen Rechtsverweigerung. Im engeren Sinne liegt eine solche vor, wenn eine Behörde auf eine Eingabe fälschlicherweise nicht eintritt oder eine solche nicht an die Hand nimmt und behandelt, obwohl sie dazu verpflichtet wäre (vgl. <ref-ruling> E. 3.1 S. 192; <ref-ruling> E. 2.1 S. 9). Überspitzter Formalismus ist eine besondere Form der Rechtsverweigerung. Eine solche liegt vor, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und den Bürgern und Bürgerinnen den Rechtsweg in unzulässiger Weise versperrt. Wohl sind im Rechtsgang prozessuale Formen unerlässlich, um die ordnungsgemässe und rechtsgleiche Abwicklung des Verfahrens sowie die Durchsetzung des materiellen Rechts zu gewährleisten. Nicht jede prozessuale Formstrenge steht demnach zu <ref-law> im Widerspruch. Überspitzter Formalismus ist nur gegeben, wenn die strikte Anwendung der Formvorschriften durch keine schutzwürdigen Interessen gerechtfertigt ist, zum blossen Selbstzweck wird und die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschwert oder verhindert (<ref-ruling> E. 5.4.1 S. 183 f.). Ob eine solche Rechtsverweigerung vorliegt, prüft das Bundesgericht frei (<ref-ruling> E. 3.1 S. 192). Die Auslegung und Anwendung des einschlägigen kantonalen Rechts untersucht es hingegen nur unter dem Gesichtswinkel der Willkür (vgl. vorne E. 1.2).
3.3. Um beurteilen zu können, ob es sich bei der Nichtbeteiligung des Beschwerdeführers am Rekursverfahren des Beschwerdegegners um eine formelle Rechtsverweigerung handelt, ist vorerst zu prüfen, ob der Beschwerdeführer bereits im Einspracheverfahren beschwerdelegitimiert gewesen wäre.
3.3.1. Gemäss Art. 33 Abs. 3 lit. a RPG ist die Legitimation in kantonalen Verfahren betreffend Nutzungspläne und raumplanerische Verfügungen - z.B. Baubewilligungen - mindestens im gleichen Umfang gewährleistet wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten. Gleiches ergibt sich auch aus <ref-law> (Grundsatz der Einheit des Verfahrens; vgl. dazu <ref-ruling> E. 2.1 S. 283 f.). Zu prüfen ist daher, ob der Beschwerdeführer nach den für die Beschwerde in öffentlich-rechtlichen Angelegenheiten geltenden Kriterien (<ref-law>; vgl. dazu <ref-ruling> E. 2.2 und 2.3 S. 284-286; sowie das Urteil des Bundesgerichts 1C_101/2016 vom 21. November 2016 E. 3.2 und 3.3) zur Beschwerde befugt wäre (vgl. dazu das Urteil des Bundesgerichts 1C_475/2017 vom 21. September 2018 E. 2).
3.3.2. Gemäss <ref-law> ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (lit. c).
Die Rechtsprechung bejaht ein schutzwürdiges Interesse im Sinne von <ref-law>, wenn der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht. Die Nähe der Beziehung zum Streitgegenstand muss bei Bauprojekten insbesondere in räumlicher Hinsicht gegeben sein (<ref-ruling> E. 2.1 S. 52). Nach der bundesgerichtlichen Rechtsprechung sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen wie Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden. Bei grösseren Entfernungen muss eine Beeinträchtigung glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden (<ref-ruling> E. 2.3 S. 220 f. mit Hinweisen). Der Beeinträchtigung muss ein gewisses Gewicht zukommen, um eine Betroffenheit zu begründen, die grösser ist als diejenige der Allgemeinheit (Urteil des Bundesgerichts 1C_107/2018 vom 30. August 2018 E. 4.1).
3.3.3. Der Beschwerdeführer ist Eigentümer eines Grundstücks, das direkt an das Grundstück des Beschwerdeführers grenzt, auf dem sich das Wohnhaus befindet, zu welchem die neue Frischwasserleitung führt. Wie dem aktenkundigen Entscheid des Amts für Raum und Wald, Abteilung Raumentwicklung des Kantons Appenzell Ausserrhoden vom 10. April 2018 zu entnehmen ist, grenzt das Grundstück des Beschwerdeführers zudem an ein in der Landwirtschaftszone liegendes Grundstück, durch welches die Frischwasserleitung führt. Der Abstand der Frischwasserleitung zum Grundstück des Beschwerdeführers wird darin auf "20 m und mehr" angegeben. Vom Bau der Frischwasserzuleitung gehen jedenfalls Bauimmissionen aus (Lärm, Staub, evtl. Verkehr). Angesichts der zu erwartenden Immissionen und der Nähe des Beschwerdeführers zum streitigen Bau wäre er nach der wiedergegebenen bundesgerichtlichen Rechtsprechung beschwerdelegitimiert. Dabei kann dem Beschwerdeführer nicht entgegengehalten werden, dass die Bauimmissionen bereits stattgefunden haben. Die Frischwasserzuleitung wurde ohne Baubewilligung erstellt. Dem Beschwerdeführer darf daraus kein Nachteil entstehen.
Hinzu kommt, dass der Beschwerdeführer laut seiner Beschwerdeschrift der Baubewilligungskommission Walzenhausen ein Wiederaufnahmebegehren oder Wiedererwägungsgesuch gestellt hat, mit dem er die fehlende Baureife des Wohnhauses des Beschwerdegegners geltend macht, zu welchem die streitige Frischwasserzuleitung führt. Er bestreitet darin, dass dieses Wohnhaus im Sinne von Art. 19 RPG hinreichend erschlossen sei. Demnach fehle eine Voraussetzung für die Erteilung einer Baubewilligung nach Art. 22 Abs. 2 lit. b RPG. Eine ungenügende Erschliessung hätte zur Folge, dass ein Widerruf der Baubewilligung des Wohnhauses geprüft werden müsse. Daraus leitet er zusätzlich einen konkreten praktischen Nutzen ab, dass der Beschwerdegegner den rechtmässigen Zustand wiederherstellen müsste.
3.3.4. Der Beschwerdeführer wäre somit nach <ref-law> beschwerdelegitimiert. Damit ist er nach Art. 33 Abs. 3 lit. a RPG und <ref-law> auch im kantonalen Verfahren als Partei zuzulassen (vgl. dazu vorne E. 3.3.1).
3.4. Dem Beschwerdeführer kann weiter nicht entgegengehalten werden, dass er kein Rechtsmittel gegen den Entscheid der Baubewilligungskommission Walzenhausen vom 2. Juli 2018, welche den Nichteintretensentscheid des kantonalen Amts vom 10. April 2018 enthielt, ergriffen hat. Der Beschwerdeführer war von jenem Entscheid materiell höchstens in unwesentlichen Nebenpunkten beschwert. Insbesondere hatte er die Wiederherstellung innerhalb von 30 Tagen beantragt, wohingegen die Baubewilligungskommission dafür eine Frist von 90 Tagen anordnete. Da er im Hauptpunkt materiell nicht beschwert war, hätte insoweit auf eine allfällige Beschwerde nicht eingetreten werden können. Allein wegen den Nebenpunkten eine Beschwerdeerhebung zu verlangen, erscheint nicht nur unzumutbar, sondern vermag auch das Fehlen der materiellen Beschwer im Hauptpunkt nicht zu beseitigen. Das liefe überdies auf einen prozessualen Leerlauf hinaus, wäre durch keine schutzwürdigen Interessen gerechtfertigt und würde die Verwirklichung des materiellen Rechts in unhaltbarer Weise erschweren. Im Ergebnis liegt daher eine formelle Rechtsverweigerung in der Form des überspitzten Formalismus und damit ein Verstoss gegen <ref-law> vor (vgl. dazu vorne E. 3.2). Demnach hat der Beschwerdeführer seinen Anspruch auf Beteiligung am Rekursverfahren nicht verwirkt. Er ist am Rekursverfahren des Beschwerdegegners zu beteiligen.
3.5. Damit kann offenbleiben, ob die Vorinstanz überdies das kantonale Verfahrensrecht willkürlich angewendet hat.
4.
Zusammenfassend ist die Beschwerde gutzuheissen. Der angefochtene Entscheid muss aufgehoben werden. Die Sache ist an das Departement zur Weiterführung des Verfahrens im Sinne der Erwägungen zurückzuweisen.
Bei diesem Ausgang des Verfahrens wird der Beschwerdegegner kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und das Urteil des Obergerichts des Kantons Appenzell Ausserrhoden vom 23. Mai 2019 aufgehoben. Die Streitsache wird an das Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden zurückgewiesen zur Weiterführung des Verfahrens im Sinne der Erwägungen.
2.
Die Gerichtskosten von Fr. 2000.-- werden dem Beschwerdegegner auferlegt.
3.
Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.-- zu entschädigen.
4.
Das Obergericht des Kantons Appenzell Ausserrhoden wird über die Neuverlegung der Kosten und der Entschädigungen des vorinstanzlichen Verfahrens neu zu entscheiden haben.
5.
Dieses Urteil wird den Parteien, der Baubewilligungskommission Walzenhausen, dem Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden und dem Obergericht des Kantons Appenzell Ausserrhoden, 4. Abteilung, schriftlich mitgeteilt.
Lausanne, 29. Januar 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Bisaz