Sachverhalt:
A.
Am 12. Dezember 2018 erhob A._ beim Obergericht des Kantons Appenzell Ausserrhoden Beschwerde gegen einen Rekursentscheid des kantonalen Departements Bau und Volkswirtschaft vom 14. November 2018. Nach Abschluss des Schriftenwechsels informierte der Obergerichtspräsident die Parteien mit Schreiben vom 17. April 2019 über die voraussichtliche Besetzung für die Beratung. Er wies darauf hin, dass der vorgesehene Gerichtsschreiber Daniel Hofmann bis zum 30. September 2017 Leiter des Rechtsdienstes des erwähnten Departements gewesen sei und den Schriftenwechsel im fraglichen Rekursverfahren eröffnet habe. Er habe jedoch weder am Augenschein des Departements teilgenommen noch am Rekursentscheid mitgewirkt, weshalb nach Auffassung der Gerichtsleitung kein Ausstandsgrund vorliege und ohne Gegenbericht davon ausgegangen werde, gegen seine Mitwirkung bestünden keine Einwände.
Mit Schreiben vom 29. April 2019 teilte A._ dem Obergericht mit, er sei mit der Mitwirkung von Daniel Hofmann nicht einverstanden, da dieser mit der Eröffnung des Rekursverfahrens befasst gewesen sei, und ersuche um Einsetzung eines anderen Gerichtsschreibers. Mit Eingabe vom 10. Mai 2019 hielt er an seinem Ausstandsbegehren fest, nachdem Daniel Hofmann am 2. Mai 2019 abgelehnt hatte, in den Ausstand zu treten. In der Folge wurde das vor Obergericht hängige Beschwerdeverfahren (Verfahrens-Nr. O4V 18 35) sistiert und ein separates Ausstandsverfahren durchgeführt. Mit Beschluss vom 4. Juli 2019 (begründet versandt am 5. September 2019) wies das Obergericht das Ausstandsbegehren ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 7. Oktober 2019 an das Bundesgericht beantragt A._, den Entscheid des Obergerichts aufzuheben und festzustellen, dass Daniel Hofmann im Beschwerdeverfahren Nr. O4V 18 35 in den Ausstand zu treten habe und ein anderer Gerichtsschreiber einzusetzen sei. Der Beschwerde sei im Weiteren die aufschiebende Wirkung zu erteilen.
Daniel Hofmann hat keine Stellungnahme eingereicht. Das Obergericht hat auf eine Vernehmlassung verzichtet. A._ hat sich nicht mehr geäussert.
Mit Verfügung vom 30. Oktober 2019 hat der Präsident der I. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1.
Angefochten ist ein selbstständig eröffneter Zwischenentscheid einer letzten kantonalen Instanz über ein Ausstandsbegehren in einer baurechtlichen Angelegenheit. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 92 Abs. 1 BGG). Der Beschwerdeführer ist gemäss <ref-law> zur Beschwerde befugt. Auch sonst steht einem Eintreten auf die Beschwerde nichts entgegen.
2.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht, Völkerrecht und kantonalen verfassungsmässigen Rechten gerügt werden (Art. 95 lit. a-c BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, welche die beschwerdeführende Person vorbringt und begründet (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gerügt wird (<ref-law>). Das Bundesgericht legt seinem Urteil weiter den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig, das heisst willkürlich (vgl. dazu <ref-ruling> E. 4.1.2 S. 62), oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-law> i.V.m. <ref-law>).
3.
3.1. Strittig ist, ob der Beschwerdegegner im vorinstanzlichen Beschwerdeverfahren Nr. O4V 18 35 als Gerichtsschreiber in den Ausstand treten muss, weil er in gewissem Umfang am Vorverfahren vor dem kantonalen Departement Bau und Volkswirtschaft beteiligt war. Die Vorinstanz hat diese Frage verneint. Der Ausstandsgrund der Mitwirkung am Vorentscheid gemäss Art. 8 Abs. 1 lit. b des Gesetzes vom 9. September 2002 über die Verwaltungsrechtspflege des Kantons Appenzell Ausserrhoden (VRPG/AR; bGS 143.1) liege nicht vor. Dass der Beschwerdegegner im Sinne von Art. 8 Abs. 1 lit. e VRPG/AR aus anderen Gründen in der Sache befangen sein könnte, sei nicht erkennbar. Die weiteren Ausstandsgründe von Abs. 1 des Art. 8 VRPG/AR - der die allgemeinen Verfahrensvoraussetzungen von <ref-law> konkretisiere und Ausstandsregeln im kantonalen Verwaltungsverfahren vorsehe - stünden von vornherein nicht zur Diskussion. Zusammengefasst seien keine objektiven Umstände auszumachen, die geeignet wären, den Anschein der Befangenheit des Beschwerdegegners zu begründen.
3.2. Der Beschwerdeführer rügt, die vorinstanzliche Abweisung seines Ausstandsbegehrens verletze insbesondere Art. 29 Abs. 1 und <ref-law>, Art. 6 Ziff. 1 EMRK sowie Art. 20 Abs. 1 der Verfassung des Kantons Appenzell Ausserrhoden vom 30. April 1995 (KV/AR; bGS 111.1). Der Beschwerdegegner habe bereits deshalb in den Ausstand zu treten, weil er das Rekursverfahren vor dem Departement zeitweise als zuständiger Sachbearbeiter geführt habe. In diesem Rahmen habe er sich zwingend bereits materiell mit der Streitsache auseinandergesetzt, womit sein Ausstand auch deshalb angezeigt sei. Im Weiteren sei davon auszugehen, dass er auch wesentlichen Einfluss auf den späteren Rekursentscheid gehabt bzw. zumindest an diesem mitgewirkt habe. Auch aus diesem Grund habe er in den Ausstand zu treten. Die vorliegenden Gegebenheiten und Umstände seien geeignet, Misstrauen in die Unparteilichkeit des Beschwerdegegners entstehen zu lassen. Bei objektiver Betrachtung liege der Anschein der Befangenheit und Voreingenommenheit auf der Hand.
Dass Art. 20 Abs. 1 KV/AR - soweit hier von Interesse - neben den weiteren angerufenen Garantien eine eigenständige Bedeutung zukäme, macht der Beschwerdeführer nicht geltend. Er rügt im Weiteren auch keine willkürliche Anwendung von Art. 8 Abs. 1 VRPG/AR, obschon die Vorinstanz sein Ausstandsbegehren im Wesentlichen anhand dieser Bestimmung geprüft hat und bezüglich der Anwendung von kantonalem Recht eine qualifizierte Rüge- und Begründungspflicht gilt (vgl. vorne E. 2). Insbesondere bringt er nicht vor, die Vorinstanz habe Art. 8 Abs. 1 lit. b VRPG/AR krass falsch angewandt (vgl. <ref-ruling> E. 3.6.2 S. 287), indem sie die Beteiligung des Beschwerdegegners am Verfahren vor dem Departement nicht als Mitwirkung am Vorentscheid im Sinne dieser Bestimmung beurteilt bzw. für das Vorliegen einer solchen Mitwirkung eine weiter gehende Beteiligung vorausgesetzt habe.
Da das Ausstandsbegehren ein gerichtliches Verfahren betrifft, hat ferner <ref-law> neben <ref-law> für die hier strittige Frage des Ausstands keine Bedeutung. Nachfolgend ist demnach zu prüfen, ob der angefochtene Entscheid mit <ref-law> und Art. 6 Ziff. 1 EMRK vereinbar ist.
3.3. Gemäss <ref-law> und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Dieser Anspruch gilt auch gegenüber Gerichtschreiberinnen und Gerichtsschreibern einer richterlichen Behörde, sofern sie an der Willensbildung des Spruchkörpers mitwirken (<ref-ruling> E. 8.4.1 S. 273 f.; <ref-ruling> E. 4c S. 262 mit Hinweisen), was im Kanton Appenzell Ausserrhoden der Fall ist (vgl. Art. 33 des Justizgesetzes vom 13. September 2010 des Kantons Appenzell Ausserrhoden [JG/AR; bGS 145.31]; Urteil 1C_517/2018 vom 4. April 2019 E. 2.1). Die Garantie ist verletzt, wenn bei einer Gerichtsperson bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen. Solche Umstände können entweder in einem bestimmten Verhalten der betreffenden Person oder in äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Es muss gewährleistet sein, dass der Prozess aus Sicht aller Beteiligten als offen erscheint. Für den Ausstand nicht erforderlich ist, dass die Gerichtsperson tatsächlich befangen ist (zum Ganzen: <ref-ruling> E. 5.2 S. 236 f.; <ref-ruling> E. 5.1 S. 328; je mit Hinweisen).
Eine gewisse Besorgnis der Voreingenommenheit und damit Misstrauen in das Gericht kann bei den Parteien immer dann entstehen, wenn einzelne Gerichtspersonen in einem früheren Verfahren mit der konkreten Streitsache schon einmal befasst waren. In einem solchen Fall sogenannter Vorbefassung stellt sich die Frage, ob sich eine Gerichtsperson durch ihre Mitwirkung an früheren Entscheidungen in einzelnen Punkten bereits in einem Mass festgelegt hat, die sie nicht mehr als unvoreingenommen und dementsprechend das Verfahren als nicht mehr offen erscheinen lassen. Ob eine unzulässige, den Verfahrensausgang vorwegnehmende Vorbefassung einer Gerichtsperson vorliegt, kann nicht generell gesagt werden. Es ist vielmehr im Einzelfall - anhand der tatsächlichen und verfahrensrechtlichen Umstände - zu untersuchen, ob die konkret zu entscheidende Rechtsfrage trotz Vorbefassung als noch offen erscheint (zum Ganzen: BGE <ref-ruling> E. 5.1 S. 328 f.; <ref-ruling> E. 3.4 S. 116 f. mit Hinweisen).
3.4.
3.4.1. Der Beschwerdeführer reichte am 20. Juni 2017 beim Departement Bau und Volkswirtschaft Rekurs in der nunmehr vor der Vorinstanz hängigen Sache ein. Der Beschwerdegegner, der zu diesem Zeitpunkt Leiter des Rechtsdienstes des Departements war, bestätigte den Eingang des Rechtsmittels und forderte einen Kostenvorschuss ein. Nach dessen Eingang gab er den Vorinstanzen des Departements Kenntnis von der Rekurseingabe und forderte sie auf, die Vorakten einzureichen; zudem gab er ihnen Gelegenheit zur Stellungnahme. Nach Eingang der Akten und der Stellungnahmen wurde das Rekursverfahren von anderen juristischen Mitarbeitern des Departements weiterbearbeitet. Per 31. September 2017 trat der Beschwerdegegner aus dem Rechtsdienst aus, seit dem 1. Oktober 2017 ist er als Gerichtsschreiber bei der Vorinstanz tätig. Am 7. Februar 2018, mithin rund vier Monate nach seinem Stellenwechsel, wurde im Rekursverfahren ein Augenschein durchgeführt. Am 14. November 2018 und damit über ein Jahr nach dem Stellenwechsel erging der Rekursentscheid des Departements.
3.4.2. Die Vorinstanz hat im angefochtenen Entscheid ausgeführt, die Teilnahme des Beschwerdegegners am Rekursverfahren vor dem Departement habe sich auf die ersten, rein verfahrenseinleitenden Schritte beschränkt. Dass er sich in diesem Rahmen materiell näher mit der Streitsache befasst hätte, sei nicht ersichtlich. Eine Mitwirkung am Rekursentscheid liege nicht vor. Anhaltspunkte, dass er bei der Dossierübergabe oder bei anderer Gelegenheit bilaterale verwaltungsinterne Gespräche über die Streitsache in einer Art geführt hätte, die den Ausstand begründen könnte, bestünden keine.
Der Beschwerdeführer macht nicht geltend, die vorinstanzliche Sachverhaltsfeststellung sei willkürlich (vgl. dazu <ref-ruling> E. 3.6.2 S. 287 mit Hinweisen; vorne E. 2). Solches ergibt sich auch sonst nicht aus seinen Ausführungen. Zwar bringt er vor, der Beschwerdegegner habe sich nur schon aus Gründen einer sorgfältigen Verfahrensführung bereits im Stadium der Einholung der Vernehmlassung materiell mit der Streitsache beschäftigen müssen. Es sei anzunehmen, dass er sich bei dieser ersten materiellen Prüfung zumindest in allgemeiner Weise eine Meinung zum Rekursverfahren und zu dessen Chancen gebildet habe. Auch sei davon auszugehen, dass er die Stellungnahmen der Vorinstanzen des Departements noch gelesen und sich auch insofern mit der Angelegenheit materiell auseinandergesetzt habe. Dass die materielle Befassung des Beschwerdegegners mit der Streitsache über eine erste Prüfung hinausgegangen wäre oder er mehr als nur eine erste materielle Einschätzung vorgenommen hätte, ergibt sich aus den Vorbringen des Beschwerdeführers jedoch nicht.
Soweit er geltend macht, der Beschwerdegegner habe einen wesentlichen Einfluss auf den Rekursentscheid gehabt bzw. zumindest an diesem mitgewirkt, begründet er dies im Weiteren zwar insbesondere damit, bei der Übergabe des Dossiers innerhalb des departementalen Rechtsdiensts sei der Fall diskutiert worden. Konkrete Anhaltspunkte dafür, dass bei der Dossierübergabe - wenn überhaupt - näher auf den erst später zu fällenden Entscheid eingegangen worden wäre, nennt er jedoch keine. Auch der von ihm angeführte damalige Verfahrensstand deutet nicht auf solches hin, war das Verfahren bei der Dossierübergabe doch noch nicht weit fortgeschritten. Der Entscheid des Departements ist denn auch erst mehr als ein Jahr nach dem Ausscheiden des Beschwerdegegners ergangen. Da keine entsprechenden Anhaltspunkte bestehen, kann der Beschwerdeführer auch aus dem Umstand, dass - wie er in diesem Zusammenhang weiter vorbringt - der Meinung des Beschwerdegegners als Leiter des Rechtsdienstes sehr grosses Gewicht zugekommen sei und dieser Dienst lediglich eine kleine Anzahl Mitarbeiter habe, nichts zu seinen Gunsten ableiten.
3.4.3. Nach dem Gesagten ist mit der Vorinstanz von einer im dargelegten Sinn äusserst beschränkten Teilnahme des Beschwerdegegners am Rekursverfahren vor dem Departement auszugehen (<ref-law>; vorne E. 2). Diese Teilnahme - begrenzt auf den Beginn des Rekursverfahrens und die ersten verfahrens (ein) leitenden Handlungen ohne nähere materielle Auseinandersetzung mit der Streitsache und ohne Beteiligung am erst über ein Jahr später gefällten Rekursentscheid - stellt keine unzulässige Vorbefassung im Sinne der erwähnten bundesgerichtlichen Rechtsprechung dar. Ebenso wenig legt sie bei objektiver Betrachtung nahe, der Beschwerdegegner habe sich über die im Rekursverfahren beurteilte und nunmehr Gegenstand des vorinstanzlichen Verfahrens bildende Streitsache bereits eine abschliessende Meinung gebildet und das Verfahren sei aus diesem Grund nicht mehr offen. Auch sonst vermögen die beim Beschwerdegegner vorliegenden Gegebenheiten bei objektiver Betrachtung den Anschein der Befangenheit und die Gefahr der Voreingenommenheit nicht zu begründen. Die gegenteiligen Vorbringen des Beschwerdeführers und seine Beschwerde erweisen sich demzufolge als unbegründet.
4.
Demnach ist die Beschwerde abzuweisen.
Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist für das bundesgerichtliche Verfahren nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Appenzell Ausserrhoden, 4. Abteilung, schriftlich mitgeteilt.
Lausanne, 10. Juli 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Kneubühler
Der Gerichtsschreiber: Baur