Sachverhalt: A. A._ ist Eigentümer der Parzelle Nr. 570 in Walzenhausen. B._ gehören die benachbarten Parzellen Nrn. 1698 und 1699. Der Rechtsvorgänger von B._ erhielt am 26. Januar 2012 die Bewilligung für den Bau eines Einfamilienhauses auf der Parzelle Nr. 1698. Die Baubewilligungskommission Walzenhausen verlängerte deren Geltungsdauer mit Entscheid vom 20. Juni 2016 bis zum 11. Juli 2017. Ende Juni 2017 begann B._ mit der Ausführung seines Bauvorhabens. Ein Gesuch von A._ um Erlass eines Baustopps wies die Baubewilligungskommission am 3. Juli 2017 ab. Am 14. September 2017 erhob A._ Rekurs an den Gemeinderat Walzenhausen gegen den Entscheid der Baubewilligungskommission vom 20. Juni 2016 betreffend die Verlängerung der Geltungsdauer der Baubewilligung. B. Am 15. November 2017 beantragte A._ im Sinne einer superprovisorischen Massnahme den Erlass eines Baustopps beim Gemeindepräsidenten von Walzenhausen. Mit Entscheid vom 20. November 2017 trat die Baubewilligungskommission nicht auf dieses ihr überwiesene Gesuch ein. Am 21. November 2017 erneuerte A._ sein Gesuch an den Gemeindepräsidenten. Am 24. November 2017 erhob er Rechtsverweigerungsbeschwerde beim Departement Bau und Volkswirtschaft des Kantons Appenzell Ausserrhoden (im Folgenden: Departement). Darin beantragte er, der Gemeindepräsident sei anzuweisen, sein Gesuch um Anordnung eines Baustopps unverzüglich zu behandeln. Im Weiteren sei die Nichtigkeit der Entscheide der Baubewilligungskommission vom 3. Juli 2017 und vom 20. November 2017 festzustellen. Überdies beantragte er die Anordnung eines Baustopps durch das Departement. Mit Schreiben vom 30. November 2017 überwies das Departement dem Gemeinderat das Gesuch um Anordnung eines Baustopps und ordnete an, darüber sei anlässlich der Behandlung des Rekurses vom 14. September 2017 an der Gemeinderatssitzung vom 5. Dezember 2017 zu entscheiden, sofern an dieser Sitzung nicht bereits ein Entscheid über die Gültigkeit der Baubewilligung gefällt werden könne. Mit Entscheid vom 5. Dezember 2017 trat der Gemeinderat nicht auf den Rekurs betreffend die Verlängerung der Baubewilligung ein und wies das Begehren auf Erlass eines Baustopps ab. Dagegen erhob A._ am 28. Dezember 2017 Rekurs beim Departement. C. Am 6. Dezember 2017 erhob A._ Rechtsverweigerungsbeschwerde beim Obergericht des Kantons Appenzell Ausserrhoden. Er beantragte, das Departement Bau und Volkswirtschaft sei anzuweisen, das Gesuch um Erlass eines Baustopps vom 24. November 2017 und die gleichzeitig eingereichte Rechtsverweigerungsbeschwerde unverzüglich zu behandeln. Zudem sei die Nichtigkeit der Entscheide der Baubewilligungskommission vom 3. Juli 2017 und vom 20. November 2017 festzustellen. Am 8. Februar 2018 wies der Einzelrichter das gleichzeitig gestellte Gesuch um Erlass eines Baustopps ab. Mit Entscheid vom 23. Juli 2018 schrieb er die Rechtsverweigerungsbeschwerde zufolge Gegenstandslosigkeit ab und trat auf die Beschwerde im Übrigen nicht ein. Zudem auferlegte er A._ reduzierte Gerichtskosten und verpflichtete ihn zur Leistung einer Parteientschädigung an B._. D. Gegen den einzelrichterlichen Entscheid des Obergerichts vom 23. Juli 2018 führt A._ mit Eingabe vom 14. September 2018 Beschwerde an das Bundesgericht. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Sache zu neuem Entscheid an das Gesamtgericht zurückzuweisen. Eventuell sei das Departement anzuweisen, die am 24. November 2017 eingereichte Rechtsverweigerungsbeschwerde zu behandeln. Das Obergericht und B._ haben auf eine Vernehmlassung verzichtet.