Sachverhalt:
A.
A._ ist Eigentümer der Parzelle Nr. 570 in Walzenhausen. B._ gehören die benachbarten Parzellen Nrn. 1698 und 1699. Der Rechtsvorgänger von B._ erhielt am 26. Januar 2012 die Bewilligung für den Bau eines Einfamilienhauses auf der Parzelle Nr. 1698. Die Baubewilligungskommission Walzenhausen verlängerte deren Geltungsdauer mit Entscheid vom 20. Juni 2016 bis zum 11. Juli 2017. Ende Juni 2017 begann B._ mit der Ausführung seines Bauvorhabens. Ein Gesuch von A._ um Erlass eines Baustopps wies die Baubewilligungskommission am 3. Juli 2017 ab.
Am 14. September 2017 erhob A._ Rekurs an den Gemeinderat Walzenhausen gegen den Entscheid der Baubewilligungskommission vom 20. Juni 2016 betreffend die Verlängerung der Geltungsdauer der Baubewilligung.
B.
Am 15. November 2017 beantragte A._ im Sinne einer superprovisorischen Massnahme den Erlass eines Baustopps beim Gemeindepräsidenten von Walzenhausen. Mit Entscheid vom 20. November 2017 trat die Baubewilligungskommission nicht auf dieses ihr überwiesene Gesuch ein. Am 21. November 2017 erneuerte A._ sein Gesuch an den Gemeindepräsidenten. Am 24. November 2017 erhob er Rechtsverweigerungsbeschwerde beim Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden (im Folgenden: Departement). Darin beantragte er, der Gemeindepräsident sei anzuweisen, sein Gesuch um Anordnung eines Baustopps unverzüglich zu behandeln. Im Weiteren sei die Nichtigkeit der Entscheide der Baubewilligungskommission vom 3. Juli 2017 und vom 20. November 2017 festzustellen. Überdies beantragte er die Anordnung eines Baustopps durch das Departement.
Mit Schreiben vom 30. November 2017 überwies das Departement dem Gemeinderat das Gesuch um Anordnung eines Baustopps und ordnete an, darüber sei anlässlich der Behandlung des Rekurses vom 14. September 2017 an der Gemeinderatssitzung vom 5. Dezember 2017 zu entscheiden, sofern an dieser Sitzung nicht bereits ein Entscheid über die Gültigkeit der Baubewilligung gefällt werden könne.
Mit Entscheid vom 5. Dezember 2017 trat der Gemeinderat nicht auf den Rekurs betreffend die Verlängerung der Baubewilligung ein und wies das Begehren auf Erlass eines Baustopps ab. Dagegen erhob A._ am 28. Dezember 2017 Rekurs beim Departement.
C.
Am 6. Dezember 2017 erhob A._ Rechtsverweigerungsbeschwerde beim Obergericht des Kantons Appenzell Ausserrhoden. Er beantragte, das Departement Bau und Volkswirtschaft sei anzuweisen, das Gesuch um Erlass eines Baustopps vom 24. November 2017 und die gleichzeitig eingereichte Rechtsverweigerungsbeschwerde unverzüglich zu behandeln. Zudem sei die Nichtigkeit der Entscheide der Baubewilligungskommission vom 3. Juli 2017 und vom 20. November 2017 festzustellen. Am 8. Februar 2018 wies der Einzelrichter das gleichzeitig gestellte Gesuch um Erlass eines Baustopps ab. Mit Entscheid vom 23. Juli 2018 schrieb er die Rechtsverweigerungsbeschwerde zufolge Gegenstandslosigkeit ab und trat auf die Beschwerde im Übrigen nicht ein. Zudem auferlegte er A._ reduzierte Gerichtskosten und verpflichtete ihn zur Leistung einer Parteientschädigung an B._.
D.
Gegen den einzelrichterlichen Entscheid des Obergerichts vom 23. Juli 2018 führt A._ mit Eingabe vom 14. September 2018 Beschwerde an das Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Sache zu neuem Entscheid an das Gesamtgericht zurückzuweisen. Eventuell sei das Departement anzuweisen, die am 24. November 2017 eingereichte Rechtsverweigerungsbeschwerde zu behandeln.
Das Obergericht und B._ haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1.
1.1. Angefochten ist ein Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist auch im Übrigen zur Beschwerdeführung legitimiert (vgl. <ref-law>). Unter Vorbehalt der nachfolgenden Erwägung ist auf die fristgerecht erhobene Beschwerde grundsätzlich einzutreten.
1.2. Gemäss <ref-law> ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Zwar wendet das Bundesgericht das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Gemäss <ref-law> prüft es die Verletzung von Grundrechten jedoch nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist. Das Bundesgericht prüft insoweit nur klar und detailliert erhobene und soweit möglich belegte Rügen. Auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 1.1 S. 503; <ref-ruling> E. 2.4 S. 368; je mit Hinweisen). Wird eine Verletzung des Willkürverbots geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leiden soll (<ref-ruling> E. 1.4.1 S. 53 mit Hinweisen).
2.
Der Beschwerdeführer macht geltend, die Vorinstanz hätte auf seine Rechtsverweigerungsbeschwerde eintreten müssen, da er ein andauerndes Rechtsschutzinteresse an deren Behandlung habe. Er begründet dieses im Wesentlichen mit der ausgebliebenen Anordnung des als vorsorgliche Massnahme wiederholt beantragten Baustopps sowie mit der Gefahr künftiger Rechtsverzögerungen.
Gemäss Art. 42 des Gesetzes des Kantons Appenzell Ausserrhoden über die Verwaltungsrechtspflege vom 9. September 2002 (VRPG; bGS 143.1) kann mit einer Rechtsverweigerungsbeschwerde die Verweigerung oder ungebührliche Verzögerung einer Amtshandlung gerügt werden, sofern kein ordentliches Rechtsmittel gegeben ist. Am 5. Dezember 2017 trat der Gemeinderat als zuständige Rekursinstanz gemäss Art. 110 Abs. 1 lit. a des Gesetzes des Kantons Appenzell Ausserrhoden über die Raumplanung und das Baurecht vom 12. Mai 2003 (Baugesetz; bGS 721.1) auf den Rekurs nicht ein, mit dem der Beschwerdeführer die Unrechtmässigkeit des Bauvorhabens auf der Parzelle Nr. 1698 geltend zu machen suchte. Zum Zeitpunkt der Beschwerdeerhebung an die Vorinstanz lag somit ein Sachentscheid der zuständigen Behörde vor. Folglich hatte der Beschwerdeführer kein aktuelles Rechtsschutzinteresse an einer Rechtsverweigerungsbeschwerde, weil eine solche gerade darauf abzielt, einen Entscheid in der Sache herbeizuführen (vgl. <ref-ruling> E. 1 S. 374; Entscheid des Bundesrates vom 28. Oktober 1998, in: VPB 63 [1999] Nr. 14 E. 5). Der Gemeinderat erliess einen solchen Entscheid bereits am 5. Dezember 2017, wovon der Beschwerdeführer vor Erhebung der Rechtsverweigerungsbeschwerde an die Vorinstanz Kenntnis hatte und gegen den er mit Rekurs vom 28. Dezember 2018 ein ordentliches Rechtsmittel ergriff. Im Rahmen dieses Rechtsmittelverfahrens konnte er auch um vorsorglichen Rechtsschutz nachsuchen, womit kein Interesse mehr daran bestand, eine obergerichtliche Anweisung an das Departement zu erwirken, wonach das am 24. November 2017 gestellte Gesuch um Anordnung eines Baustopps zu behandeln sei. Ob - wie der Beschwerdeführer vorbringt - das Departement sich aufgrund der Behandlungsdauer dieses Rechtsmittels eine Rechtsverzögerung hat zu Schulden kommen lassen, ist hier nicht zu prüfen. Allfällige Mängel im Rechtsmittelverfahren gegen den Entscheid des Gemeinderates vom 5. Dezember 2017 sind ebenfalls nicht Gegenstand dieses bundesgerichtlichen Verfahrens.
Soweit der Beschwerdeführer die willkürliche Anwendung kantonalen Verfahrensrechts und eine Verletzung seiner Verfahrensgrundrechte überhaupt genügend begründet vorträgt (vgl. hiervor E. 1.2), sind seine Rügen nach dem Gesagten abzuweisen.
3.
Der Beschwerdeführer rügt sodann, die Vorinstanz hätte sein Feststellungsbegehren auf Nichtigkeit der Entscheide der Baubewilligungskommission vom 3. Juli 2017 und vom 20. November 2017, worin jeweils der Erlass eines Baustopps abgelehnt wurde, materiell behandeln müssen. Dabei verkennt er, dass eine formelle Feststellung der Nichtigkeit ein entsprechendes Streitobjekt in der Sache voraussetzt (<ref-ruling> E. 3h S. 48). Einen gleichlautenden Antrag auf Feststellung der Nichtigkeit dieser Entscheide hatte der Beschwerdeführer bereits in seiner Eingabe vom 24. November 2017 an das Departement gestellt, deren Nichtbehandlung er bei der Vorinstanz rügte. Mit einer Rechtsverweigerungsbeschwerde kann aber einzig der Anspruch auf Behandlung eines Begehrens durch jene untere Behörde, bei der es eingereicht worden ist, geltend gemacht, nicht jedoch ein materieller Entscheid der übergeordneten Instanz erwirkt werden (vgl. Entscheid des Bundesrates vom 28. Oktober 1998, in: VPB 63 [1999] Nr. 14 E. 5). Die Kritik des Beschwerdeführers am angefochtenen Entscheid, soweit nicht bloss appellatorischer Natur (vgl. hiervor E. 1.2), zielt damit ins Leere.
4.
Weiter bringt der Beschwerdeführer vor, der vorinstanzliche Entscheid sei zufolge funktioneller Unzuständigkeit des Einzelrichters nichtig. Der Einzelrichter stützte seine Zuständigkeit auf Art. 32 Abs. 1 des Justizgesetzes des Kantons Appenzell Ausserrhoden vom 13. September 2010 (bGS 145.31), wonach der Einzelrichter über die Abschreibung des Verfahrens entscheidet (lit. a), sowie wenn die Voraussetzungen für das Eintreten offensichtlich nicht erfüllt sind (lit. b). Wie vorstehend bestätigt (vgl. E. 2 und 3 hiervor), musste die Vorinstanz nicht auf die Begehren des Beschwerdeführers eintreten. Es ist mithin nicht ersichtlich und vom Beschwerdeführer auch nicht den qualifizierten Begründungsanforderungen entsprechend (vgl. hiervor E. 1.2) dargetan, inwiefern diese Vorschrift des kantonalen Rechts hier willkürlich angewandt worden wäre.
5.
Schliesslich rügt der Beschwerdeführer, die Vorinstanz hätte ihm eine Parteientschädigung zusprechen müssen. Nach Art. 53 VRPG hat die obsiegende Partei in der Regel Anspruch auf eine Entschädigung für ihre notwendigen Kosten und Auslagen. Folglich stand der Vorinstanz bei der Zusprechung einer Parteientschädigung ein Ermessen zu. Im Lichte der zulässigen Beschwerdegründe (<ref-law>) ist dieses Ermessen einer letztinstanzlichen Korrektur nur zugänglich, wo es das kantonale Gericht rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 S. 399). Ermessensmissbrauch im Besonderen ist gegeben, wenn die Behörde zwar im Rahmen des ihr eingeräumten Ermessens bleibt, sich aber von unsachlichen, dem Zweck der massgebenden Vorschriften fremden Erwägungen leiten lässt oder allgemeine Rechtsprinzipien, wie das Verbot von Willkür und von rechtsungleicher Behandlung, das Gebot von Treu und Glauben sowie den Grundsatz der Verhältnismässigkeit verletzt (<ref-ruling> E. 1.2 S. 615 und 123 V 150 E. 2 S. 152, je mit Hinweisen). Da die Vorinstanz zu Recht auf eine materielle Behandlung der Anträge des Beschwerdeführers verzichtet hat (vgl. E. 2 und 3 hiervor), erscheint ausgeschlossen, den Beschwerdeführer als obsiegende Partei im Sinne von Art. 53 VRPG zu betrachten. Die Entscheidung der Vorinstanz, dem Beschwerdeführer keine Parteientschädigung zuzusprechen, ist vor diesem Hintergrund nicht zu beanstanden.
6.
Nach dem Gesagten erweist sich die Beschwerde als unbegründet und ist abzuweisen, soweit darauf einzutreten ist. Da die Vorinstanz zu Recht keine Rechtsverweigerung durch das Departement festgestellt hat (vgl. hiervor E. 2), erübrigen sich Ausführungen zur eventuell beantragten Rückweisung der Sache an das Departement.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>). Es sind keine Parteientschädigungen zuzusprechen (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Gemeinderat Walzenhausen, dem Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden und dem Obergericht Appenzell Ausserrhoden, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 21. Dezember 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Härri