Sachverhalt:
Sachverhalt:
A. X._ reichte am 7. September 2006 in einer Bausache eine Beschwerde beim Verwaltungsgericht des Kantons Appenzell Ausserrhoden ein.
Am 11. September 2006 stellte er ein Ausstandsbegehren gegen den Verwaltungsgerichtsschreiber Toni Bienz. Zur Begründung führte er an, dieser habe in einem anderen Verfahren (Proz. Nr. 03-07-II) vor Verwaltungsgericht im Wissen um seinen bevorstehenden Auslandaufenthalt ein Urteilsdispositiv mutwillig zurückgehalten und verspätet verschickt, sodass er es vor seiner Abreise nicht mehr erhalten habe. Anschliessend habe der Verwaltungsgerichtsschreiber das Urteil mit einem verleumderischen Begleitbrief seiner betagten Mutter zugestellt, welche seither schockiert und nur noch schwer ansprechbar sei.
Das Verwaltungsgericht wies das Ausstandsbegehren am 26. September 2006 ab.
Das Verwaltungsgericht wies das Ausstandsbegehren am 26. September 2006 ab.
B. Mit staatsrechtlicher Beschwerde vom 3. November 2006 wegen Willkür beantragt X._, diesen Entscheid aufzuheben und seinem Ausstandsbegehren stattzugeben. Ausserdem ersucht er um unentgeltliche Rechtspflege.
Das Departement Bau und Umwelt des Kantons Appenzell Ausserrhoden verzichtet auf Vernehmlassung. Der Verwaltungsgerichtsschreiber weist die gegen ihn erhobenen Vorwürfe zurück und verweist auf den angefochtenen Entscheid. Das Verwaltungsgericht verzichtet auf Vernehmlassung.
Der Beschwerdeführer teilt mit, er habe inzwischen gegen den Verwaltungsgerichtsschreiber Strafanzeige wegen Amtsgeheimnisverletzung eingereicht und repliziert auf dessen Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. 1.1 Das angefochtene Urteil erging vor dem Inkrafttreten des Bundesgerichtsgesetzes (BGG; SR 173.110). Deshalb richtet sich dieses Verfahren noch nach den Bestimmungen des OG (vgl. Art. 132 BGG).
1.2 Der angefochtene Entscheid des Verwaltungsgerichts über die Abweisung des Ausstandsbegehrens schliesst das verwaltungsgerichtliche Verfahren nicht ab, sondern lässt im Gegenteil dessen Fortführung zu. Es handelt sich um einen Zwischenentscheid im Sinne von Art. 87 Abs. 1 OG, gegen den die staatsrechtliche Beschwerde zulässig ist. Der Beschwerdeführer ist nach Art. 88 OG befugt, sich gegen die Abweisung seiner Befangenheitsrüge zur Wehr zu setzen. Die übrigen Sachurteilsvoraussetzungen sind erfüllt, sodass auf die Beschwerde, unter dem Vorbehalt gehörig begründeter Rügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 3c; <ref-ruling> E. 1b; <ref-ruling> E. 1c), einzutreten ist. Soweit im Folgenden auf Rügen nicht eingegangen wird, genügen sie diesen Begründungsanforderungen nicht oder setzen sich nicht mit dem angefochtenen Entscheid auseinander, sondern legen allgemein dar, weshalb Verwaltungsgerichtsschreiber Toni Bienz befangen sein soll.
1.2 Der angefochtene Entscheid des Verwaltungsgerichts über die Abweisung des Ausstandsbegehrens schliesst das verwaltungsgerichtliche Verfahren nicht ab, sondern lässt im Gegenteil dessen Fortführung zu. Es handelt sich um einen Zwischenentscheid im Sinne von Art. 87 Abs. 1 OG, gegen den die staatsrechtliche Beschwerde zulässig ist. Der Beschwerdeführer ist nach Art. 88 OG befugt, sich gegen die Abweisung seiner Befangenheitsrüge zur Wehr zu setzen. Die übrigen Sachurteilsvoraussetzungen sind erfüllt, sodass auf die Beschwerde, unter dem Vorbehalt gehörig begründeter Rügen (Art. 90 Abs. 1 lit. b OG; <ref-ruling> E. 3c; <ref-ruling> E. 1b; <ref-ruling> E. 1c), einzutreten ist. Soweit im Folgenden auf Rügen nicht eingegangen wird, genügen sie diesen Begründungsanforderungen nicht oder setzen sich nicht mit dem angefochtenen Entscheid auseinander, sondern legen allgemein dar, weshalb Verwaltungsgerichtsschreiber Toni Bienz befangen sein soll.
2. Nach der in Art. 30 Abs. 1 BV und in Art. 6 Ziff. 1 EMRK enthaltenen Garantie des verfassungsmässigen Richters hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Liegen bei objektiver Betrachtungsweise Gegebenheiten vor, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen, so ist die Garantie verletzt (<ref-ruling> E. 3a mit Hinweisen). Verfahrens- oder andere Rechtsfehler, die einem Richter oder Gerichtsschreiber unterlaufen, können nach der Rechtsprechung den Anschein der Befangenheit allerdings nur begründen, wenn sie wiederholt begangen wurden oder so schwer wiegen, dass sie Amtspflichtverletzungen darstellen (<ref-ruling> E. 5; 135 E. 3a). Ablehnungsgründe sind nach Treu und Glauben ohne Verzug geltend zu machen (<ref-ruling> E. 2; <ref-ruling> E. 5a; <ref-ruling> E. 3a).
2. Nach der in Art. 30 Abs. 1 BV und in Art. 6 Ziff. 1 EMRK enthaltenen Garantie des verfassungsmässigen Richters hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Liegen bei objektiver Betrachtungsweise Gegebenheiten vor, die den Anschein der Befangenheit und die Gefahr der Voreingenommenheit zu begründen vermögen, so ist die Garantie verletzt (<ref-ruling> E. 3a mit Hinweisen). Verfahrens- oder andere Rechtsfehler, die einem Richter oder Gerichtsschreiber unterlaufen, können nach der Rechtsprechung den Anschein der Befangenheit allerdings nur begründen, wenn sie wiederholt begangen wurden oder so schwer wiegen, dass sie Amtspflichtverletzungen darstellen (<ref-ruling> E. 5; 135 E. 3a). Ablehnungsgründe sind nach Treu und Glauben ohne Verzug geltend zu machen (<ref-ruling> E. 2; <ref-ruling> E. 5a; <ref-ruling> E. 3a).
3. 3.1 Der Beschwerdeführer begründete vor Verwaltungsgericht sein Ausstandsbegehren wie folgt:
Er habe im verwaltungsgerichtlichen Verfahren Proz. Nr. 03-07-II an der Verhandlung vom 30. April 2003 dem Präsidenten mitgeteilt, er sei ab dem 5. Mai bis Anfang September 2003 abwesend. Er habe weiter erklärt, eine Zustellung an seine Mutter falle ausser Betracht, da diese sehr betagt und in Verwaltungssachen unbeholfen sei. Der Verwaltungsgerichtspräsident habe dies ausdrücklich gebilligt, und man sei übereingekommen, ihm das Urteilsdispositiv am 1. Mai und das begründete Urteil anfangs September an seine Adresse zuzustellen. Der Verwaltungsgerichtsschreiber habe sich leider nicht an diese Abmachung gehalten und das Dispositiv mutwillig erst am Freitag, dem 2. Mai 2003 verschickt, im Wissen darum, dass die Post an Samstagen seit Jahren keine Einschreiben mehr zustelle. Aus niedrigen Beweggründen habe der Verwaltungsgerichtsschreiber das von ihm selber zu vertretene Scheitern der Zustellung zum Anlass genommen, seiner betagten Mutter das Dispositiv mit einem verleumderischen Begleitbrief zuzustellen und darin zu behaupten, er hätte es unterlassen, das am 2. Mai und damit zu spät verschickte Einschreiben abzuholen. Ausserdem habe der Verwaltungsgerichtsschreiber darin gedroht, er werde das begründete Urteil durch kostenpflichtige Publikation eröffnen, falls er dem Gericht nicht eine Zustelladresse bekannt gäbe. Diese Drohung sei haltlos, da dem Gericht seine Adresse bestens bekannt sei.
3.2 Das Verwaltungsgericht hat dazu erwogen, es treffe zu, dass dem Beschwerdeführer an der Verhandlung vom 30. April 2003 auf seinen Antrag hin in Aussicht gestellt worden sei, ihm das begründete Urteil nicht vor dem 1. September 2003 zuzustellen. Aus dem Sitzungsprotokoll ergebe sich entgegen der Behauptung des Beschwerdeführers, dass er erklärt habe, dass er bis zur Zustellung des Dispositivs noch in Schwellbrunn sei. Es treffe auch nicht zu, dass ihm an der Verhandlung zugesichert worden sei, das Dispositiv werde am 1. Mai 2003 verschickt, und über eine Ersatzzustellung an seine Mutter sei nicht gesprochen worden.
Das Dispositiv sei, dem üblichen Zeitablauf entsprechend, am 2. Mai 2003 verschickt worden. Dem Beschwerdeführer wäre es ohne weiteres möglich gewesen, sich am Samstag, dem 3. Mai 2003, bei der Post nach dem Einschreiben, von dem er gewusst habe, dass es unterwegs war, zu erkundigen. Nachdem das Dispositiv von der Post retourniert worden sei mit der Mitteilung, der Empfänger sei für ca. 4 Monate ins Ausland verreist, habe der Verwaltungsgerichtsschreiber es gleichentags der Mutter des Beschwerdeführers zugestellt. In einem Begleitbrief habe er ihr mitgeteilt, ihr Sohn hätte es unterlassen, das Einschreiben mit dem Dispositiv auf der Post abzuholen, obwohl er mit der Zustellung habe rechnen müssen, und sie gebeten, diesen über den Inhalt des Dispositivs und das Begleitschreiben in Kenntnis zu setzen. Seine Abreise vermöge nichts daran zu ändern, dass ihm das begründete Urteil am 1. September 2003 zugestellt werde. Sollte eine Zustellung dannzumal wieder scheitern, würde das Urteil durch eine kostenpflichtige Publikation eröffnet. Darauf könnte nur verzichtet werden, falls der Beschwerdeführer dem Gericht bis zum 29. August 2003 ein Zustelldomizil oder eine Vertretung in der Schweiz bekannt gegeben habe.
Dieser Verfahrensablauf zeige, dass der Verwaltungsgerichtsschreiber das Dispositiv keineswegs mutwillig zurückbehalten habe. Die Ersatzzustellung an die Mutter sei erfolgt, weil der Beschwerdeführer, der die hiesigen Gerichte oft beschäftigt habe, mit seinen häufigen An- und Abmeldungen schon früher für Verwirrung gesorgt habe. Aus anderen Verfahren sei bekannt, dass er dabei jeweils die Adresse seiner Mutter als Zustelldomizil angegeben habe. Es könne keine Rede davon sein, dass der Verwaltungsgerichtsschreiber der Mutter des Beschwerdeführers aus niedrigen Beweggründen einen verleumderischen Brief geschrieben habe. Vielmehr sei es korrekt gewesen, dieser in einem Begleitschreiben zu erklären, warum ihr das Dispositiv zugestellt wurde. Diese habe denn auch Verständnis für das Vorgehen gezeigt. Es bestünden für den objektiven Betrachter keine Hinweise auf eine Befangenheit des Verwaltungsgerichtsschreibers. Dieser hege denn auch keine Ressentiments gegen den Beschwerdeführer. Selbst wenn im Übrigen der damalige Verfahrensverlauf zu einer gewissen Irritation zwischen dem Beschwerdeführer und dem Verwaltungsgerichtsschreiber geführt haben sollte, was allerdings keineswegs erstellt sei, so könne nicht davon ausgegangen werden, dass letzterer wegen einer solchen Bagatelle nach über drei Jahren noch gegen den Beschwerdeführer voreingenommen wäre.
Dieser Verfahrensablauf zeige, dass der Verwaltungsgerichtsschreiber das Dispositiv keineswegs mutwillig zurückbehalten habe. Die Ersatzzustellung an die Mutter sei erfolgt, weil der Beschwerdeführer, der die hiesigen Gerichte oft beschäftigt habe, mit seinen häufigen An- und Abmeldungen schon früher für Verwirrung gesorgt habe. Aus anderen Verfahren sei bekannt, dass er dabei jeweils die Adresse seiner Mutter als Zustelldomizil angegeben habe. Es könne keine Rede davon sein, dass der Verwaltungsgerichtsschreiber der Mutter des Beschwerdeführers aus niedrigen Beweggründen einen verleumderischen Brief geschrieben habe. Vielmehr sei es korrekt gewesen, dieser in einem Begleitschreiben zu erklären, warum ihr das Dispositiv zugestellt wurde. Diese habe denn auch Verständnis für das Vorgehen gezeigt. Es bestünden für den objektiven Betrachter keine Hinweise auf eine Befangenheit des Verwaltungsgerichtsschreibers. Dieser hege denn auch keine Ressentiments gegen den Beschwerdeführer. Selbst wenn im Übrigen der damalige Verfahrensverlauf zu einer gewissen Irritation zwischen dem Beschwerdeführer und dem Verwaltungsgerichtsschreiber geführt haben sollte, was allerdings keineswegs erstellt sei, so könne nicht davon ausgegangen werden, dass letzterer wegen einer solchen Bagatelle nach über drei Jahren noch gegen den Beschwerdeführer voreingenommen wäre.
4. 4.1 Nach dem Protokoll der Verhandlung vom 30. April 2003, welches als handschriftliches Original und in maschinenschriftlicher Abschrift vorliegt, stellte der Gerichtspräsident fest, der Beschwerdeführer sei bis zum Versand des Urteilsdispositivs noch "da" und sagte diesem zu, dieses sofort, das begründete Urteil nach Ablauf von vier Monaten zuzustellen. Über ein allfälliges Zustelldomizil wurde nach dem Protokoll nicht ausdrücklich gesprochen, der Beschwerdeführer hat indessen ausgeführt, seine Mutter wohne in der Y._-Strasse, sei über 80 Jahre alt und könne auf Post nicht reagieren.
4.2 Der Beschwerdeführer stellt den Ablauf der Verhandlung vom 30. April 2003 in verschiedenen, im vorliegenden Zusammenhang wesentlichen Punkten anders dar, als dies im Protokoll des Gerichtsschreibers festgehalten ist. In der staatsrechtlichen Beschwerde behauptet er dazu, das Protokoll sei falsch, soweit es seiner Darstellung widerspreche. Er hätte indessen durch Einsichtnahme in die Akten bereits vor der Stellung des Ausstandsbegehrens leicht erkennen können, dass sich seine Erinnerung an den Verlauf dieser über drei Jahre zurückliegenden Verhandlung mit dessen protokollarischer Darstellung in wesentlichen Punkten nicht deckt. Seine erstmals in der staatsrechtlichen Beschwerde erhobenen Einwände gegen das Protokoll, dessen Berichtigung er nie verlangte, scheitern somit am Novenverbot (Art. 86 Abs. 1 OG).
4.3 Nach dem Protokoll der Verhandlung vom 30. April 2003 hat der Beschwerdeführer angegeben, er sei bis zur Zustellung des Dispositivs noch unter seiner Adresse erreichbar, und der Gerichtspräsident sagte ihm zu, dieses sofort zu verschicken; dass der Beschwerdeführer bereits am 5. Mai 2003 abreisen würde, hat er dabei nicht bekannt gegeben. Das Dispositiv wurde dann am 2. Tag nach der Verhandlung verschickt, wie es nach unbestrittener Darstellung des Verwaltungsgerichts seinem üblichen Geschäftsgang entspricht. Damit hat das Gericht seine Zusage erfüllt, der prozesserfahrene Beschwerdeführer musste damit rechnen, dass der Postversand innerhalb von zwei Tagen durchaus noch als "sofortige" Zustellung gelten würde. Es ist jedenfalls nicht ersichtlich, inwiefern der Verwaltungsgerichtsschreiber durch den Versand des Dispositivs am 2. Mai 2003 seine Amtspflichten verletzt haben könnte. Der Beschwerdeführer hätte sich zudem, nachdem das Dispositiv nicht seinen Erwartungen entsprechend am Freitag, dem 1. Mai, bei ihm eingegangen war, gleichentags beim Gericht oder am Samstag bei der Post nach dessen Verbleib erkundigen können.
4.4 Mit dieser erfolglosen Zustellung hätte es das Verwaltungsgericht an sich ohne weiteres bewenden lassen können, da der Beschwerdeführer auslandabwesend war, ohne ausdrücklich ein Zustelldomizil bekannt gegeben zu haben. Ein Nachteil wäre dem Beschwerdeführer daraus nicht erwachsen, da die fristauslösende Zustellung des begründeten Urteils auf den 1. September 2003 vereinbart worden war. Mit seinem Versuch, dem Beschwerdeführer das Dispositiv durch eine Zustellung an seine Mutter doch noch zur Kenntnis zu bringen, ist der Verwaltungsgerichtsschreiber dem Beschwerdeführer entgegengekommen; dieses Vorgehen beweist somit keineswegs, dass er dem Beschwerdeführer feindlich gesinnt war oder gar aus niederen Beweggründen gehandelt haben könnte; dafür bestehen keinerlei Anhaltspunkte. Der Zustellversuch war zudem vertretbar, da der Beschwerdeführer nach der unwiderlegten Darstellung des Verwaltungsgerichts seine Mutter in früheren Verfahren als Zustelldomizil verzeigt hatte und er an der Verhandlung vom 30. April 2003 einzig ausführte, seine Mutter sei nicht mehr in der Lage, auf Post zu reagieren. Dies stand der nicht fristauslösenden Zustellung des Urteilsdispositivs nicht im Wege. Dass der Verwaltungsgerichtsschreiber in einem Begleitbrief den Grund der Zustellung erläuterte und auf die gesetzlichen Folgen hinwies, die ein Scheitern der für den 1. September 2003 vorgesehenen Zustellung des begründeten Urteils haben würde, ist ebenfalls vertretbar und stellt auf jeden Fall keine grobe Pflichtwidrigkeit dar, welche ihn befangen erscheinen lassen könnte. Das Verwaltungsgericht konnte somit das Ausstandsbegehren gegen den Verwaltungsgerichtsschreiber ohne Verfassungsverletzung abweisen.
4.5 Dass der Beschwerdeführer in der Zwischenzeit gegen den Verwaltungsgerichtsschreiber Strafanzeige wegen Amtsgeheimnisverletzung eingereicht hat, ist von vornherein nicht geeignet, die Verfassungswidrigkeit des vorher ergangenen angefochtenen Entscheids nachzuweisen; darauf ist nicht einzutreten.
4.5 Dass der Beschwerdeführer in der Zwischenzeit gegen den Verwaltungsgerichtsschreiber Strafanzeige wegen Amtsgeheimnisverletzung eingereicht hat, ist von vornherein nicht geeignet, die Verfassungswidrigkeit des vorher ergangenen angefochtenen Entscheids nachzuweisen; darauf ist nicht einzutreten.
5. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang trägt der Beschwerdeführer die Kosten (Art. 156 OG). Er hat zwar ein Gesuch um unentgeltliche Rechtspflege gestellt, welches indessen abzuweisen ist, da die Beschwerde aussichtslos war.

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. 2.1 Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
2.2 Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
2.2 Die Gerichtsgebühr von Fr. 1'000.-- wird dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und der Baukommission Schwellbrunn sowie dem Departement Bau und Umwelt des Kantons Appenzell A. Rh. und dem Verwaltungsgericht von Appenzell Ausserrhoden, II. Abteilung, schriftlich mitgeteilt.
Lausanne, 28. Februar 2007
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: