Sachverhalt:
A.
Im Rahmen eines Baubeschwerdeverfahrens vor der Bau- und Verkehrsdirektion des Kantons Bern stellten A.C._ und B.C._ ein Ablehnungsbegehren gegen den Verfahrensleiter D._. Die Bau- und Verkehrsdirektion wies das Begehren mit Verfügung vom 25. August 2020 ab. Dagegen erhoben A.C._ und B.C._ mit vom 7. Oktober 2020 datierendem und am 8. Oktober 2020 der Schweizerischen Post aufgegebenem Schreiben Verwaltungsgerichtsbeschwerde. Am 9. Oktober 2020 gab ihnen das Verwaltungsgericht Gelegenheit, zur Frage der Rechtzeitigkeit der Beschwerde Stellung zu nehmen oder die Beschwerde zurückzuziehen. Mit Eingabe vom 26. Oktober 2020 hielten sie an ihrem Rechtsmittel fest.
Mit Urteil des Einzelrichters vom 6. November 2020 trat das Verwaltungsgericht auf die Beschwerde nicht ein.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht vom 11. Dezember 2020 beantragen A.C._ und B.C._, das Urteil des Verwaltungsgerichts sei aufzuheben.
Die Bau- und Verkehrsdirektion beantragt die Abweisung der Beschwerde und teilt zudem mit, dass D._ auf eine Stellungnahme verzichte. Das Verwaltungsgericht beantragt ebenfalls die Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Replik an ihren Rechtsauffassungen fest.

Erwägungen:
1.
Dem Ausstandsverfahren liegt ein Baubewilligungsverfahren zu Grunde, weshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten das zutreffende Rechtsmittel ist (<ref-law>). Der angefochtene Entscheid schliesst das Verfahren nicht ab. Es handelt sich um einen selbstständig eröffneten Zwischenentscheid über ein Ausstandsbegehren, gegen den die Beschwerde nach <ref-law> zulässig ist. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
Der Verfahrensgegenstand ist auf die Frage beschränkt, ob die Vorinstanz zu Recht nicht auf die Verwaltungsgerichtsbeschwerde eingetreten ist.
2.
2.1. Die Verfügung der Bau- und Verkehrsdirektion vom 25. August 2020 traf gemäss den Sendungsinformationen der Post ("Track & Trace") am 26. August 2020 auf der Poststelle in Sigriswil ein. Die Sendungsinformationen halten dazu fest: "Avisiert ins Postfach zur Abholung am Schalter Frist bis 02.09.2020". Ebenfalls mit Datum vom 26. August 2020 ist vermerkt: "Aufbewahrungsfrist wurde durch Empfänger verlängert Frist bis 14.09.2020". Die Zustellung am Schalter erfolgte am 12. September 2020.
2.2. Das Verwaltungsgericht erwog in seinem Urteil, gemäss Art. 44 Abs. 3 des Gesetzes des Kantons Bern vom 23. Mai 1989 über die Verwaltungsrechtspflege (VRPG; BSG 155.21) gelte eine Mitteilung, die nur gegen Unterschrift der Adressatin oder des Adressaten oder einer anderen berechtigten Person überbracht wird, spätestens am siebenten Tag nach dem ersten erfolglosen Zustellungsversuch als erfolgt. Diese sogenannte Zustellfiktion finde ihre Rechtfertigung im Grundsatz von Treu und Glauben, weshalb sie in aller Regel ein hängiges Prozessrechtsverhältnis voraussetze. Ein solches habe bestanden, sei doch ein Baubeschwerdeverfahren hängig gewesen und hätten die Beschwerdeführer darüber hinaus ein Ablehnungsgesuch eingereicht (Art. 16 Abs. 1 VRPG). Die Frist für den Eintritt der Zustellfiktion von sieben Tagen werde durch gesonderte Abmachungen mit der Post nicht berührt. Bei einem Rückbehalteauftrag sei nicht erforderlich, dass eine Abholungseinladung in den Briefkasten oder ins Postfach gelegt werde, denn der Auftraggeber verzichte bewusst darauf, während der betreffenden Zeit Sendungen zu empfangen. Beim handschriftlich auf dem Umschlag vermerkten Datum vom 14. September 2020 handle es sich entgegen dem Vorbringen der Beschwerdeführer nicht um eine Abholfrist, sondern um den Tag, an dem die zurückbehaltene Post am Domizil zugestellt werde. Dies habe den Beschwerdeführern klar sein müssen, sie selbst hätten ja den Auftrag erteilt. Die Verfügung vom 25. August 2020 sei somit kraft der Zustellfiktion am 2. September 2020 rechtsgültig eröffnet worden. Die Beschwerdefrist habe folglich am 2. Oktober 2020 geendet und die erst am 8. Oktober 2020 der Post übergebene Beschwerde sei demzufolge verspätet.
3.
Die Beschwerdeführer rügen in dreierlei Hinsicht eine falsche Feststellung des Sachverhalts durch das Verwaltungsgericht. Gemäss <ref-law> kann die Feststellung des Sachverhalts nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann.
Zunächst machen die Beschwerdeführer geltend, das Verwaltungsgericht habe die postalische Sendungsnummer falsch angegeben. Die Bau- und Verkehrsdirektion habe ihnen am gleichen Tag in zwei verschiedenen Kuverts je eine Verfügung geschickt. Die Sendungsnummer für die hier umstrittene Verfügung ende mit 545, nicht mit 539, wie dies im angefochtenen Urteil stehe. Selbst wenn eine derartige Verwechslung stattgefunden haben sollte, was sich aufgrund der Akten nicht feststellen lässt, ist nicht ersichtlich, weshalb dies für den Ausgang des Verfahrens entscheidend sein könnte. Für beide Schreiben befinden sich in den Akten die Sendungsinformationen, die dieselben Sendungsereignisse wiedergeben: Beide Sendungen wurden danach am gleichen Datum aufgegeben, trafen am gleichen Datum auf der Poststelle in Sigriswil ein und wurden am gleichen Datum am Schalter zugestellt. Eine Verwechslung hätte somit offenbar für die Beurteilung der Einhaltung der Beschwerdefrist keine Rolle gespielt. Da die Beschwerdeführer nicht aufzeigen, weshalb vom Gegenteil auszugehen sein soll, ist auf ihre Sachverhaltsrüge nicht einzutreten.
Weiter weisen die Beschwerdeführer darauf hin, dass sie bereits im vorinstanzlichen Verfahren bestritten hätten, von der Post eine Abholungseinladung erhalten zu haben. Sie übersehen, dass das Verwaltungsgericht dieser Angabe in Erwägung 3.4 seines Urteils folgt, sie aber gleichzeitig als unerheblich erachtet. Dies bestreiten die Beschwerdeführer nicht. Auch in dieser Hinsicht ist die Relevanz ihrer Sachverhaltskritik deshalb nicht dargetan.
Schliesslich wiederholen die Beschwerdeführer ihre bereits im vorinstanzlichen Verfahren vertretene Auffassung, das auf dem Kuvert handschriftlich vermerkte Datum sei nicht das Datum, an dem die zurückbehaltene Post zugestellt werde. Sie führen jedoch nicht näher aus, weshalb dies nicht zutreffen soll und räumen im Übrigen selber ein, die betreffende Feststellung sei für den Verfahrensausgang nicht relevant. Darauf ist somit ebenfalls nicht einzugehen.
4.
4.1. Die Beschwerdeführer sind der Auffassung, sie hätten nicht mit einer Zustellung rechnen müssen. Angesichts der Komplexität und Tragweite der dem Beschwerdegegner vorgeworfenen Dienstpflichtverletzungen hätten sie nicht unmittelbar nach ihrem Schreiben vom 11. August 2020 schon mit einer Verfügung der Bau- und Verkehrsdirektion rechnen müssen, zumal der Eingang ihres persönlich an den Baudirektor gerichteten Schreibens noch nicht bestätigt worden sei.
4.2. Wie bereits ausgeführt, erwog das Verwaltungsgericht, dass ein Prozessrechtsverhältnis unabhängig vom Ablehnungsgesuch bestanden habe und die Beschwerdeführer schon deshalb mit der Zustellung von Verfügungen rechnen mussten. Diese Erwägungen stimmen mit der bundesgerichtlichen Rechtsprechung überein. Danach entsteht mit der Rechtshängigkeit ein Prozessrechtsverhältnis, das die Parteien verpflichtet, sich nach Treu und Glauben (<ref-law>) zu verhalten und unter anderem dafür zu sorgen, dass ihnen behördliche Akte zugestellt werden können, die das Verfahren betreffen. Diese prozessuale Pflicht gilt insoweit, als während des hängigen Verfahrens mit einer gewissen Wahrscheinlichkeit mit der Zustellung eines behördlichen Aktes gerechnet werden muss (<ref-ruling> E. 3.1 S. 431 f.; <ref-ruling> E. 3.1 S. 227; je mit Hinweisen). Anzufügen ist, dass die Beschwerdeführer umso mehr mit der Zustellung einer Verfügung rechnen mussten, nachdem sie ein Ausstandsgesuch eingereicht hatten, über das gemäss Art. 9 Abs. 5 VRPG ohne Anhörung der Gegenpartei und somit unmittelbar nach Einreichung des Gesuchs entschieden werden kann.
5.
5.1. Weiter bringen die Beschwerdeführer vor, sie hätten für ihre privaten Sendungen keinen Rückbehalteauftrag erteilt. Sie weisen darauf hin, dass der in den Akten befindliche Rückbehalteauftrag auf die Consulting E._ laute. Sie legen zudem den Ausdruck einer vom 4. Dezember 2020 datierenden E-Mail eines Kundenberaters der Post mit folgendem Wortlaut vor: "Gerne bestätige ich Ihnen, dass im Jahr 2020 kein Post zurückbehalten Auftrag für Sie, oder B.C._ aktiv war. Die drei Aufträge in diesem Jahr waren ausschliesslich für die Consulting E._." Die Beschwerdeführer werfen dem Verwaltungsgericht in dieser Hinsicht vor, von einem völlig falschen Sachverhalt ausgegangen zu sein und behaupten, zu keinem Zeitpunkt erkannt zu haben, dass die Post bei der Verarbeitung der beiden Sendungen der Bau- und Verkehrsdirektion einen Fehler begangen hatte. Dass diese beiden Sendungen fälschlicherweise zusammen mit den übrigen für die Consulting E._ bestimmten Sendungen zurückbehalten worden seien, müsse sich die Bau- und Verkehrsdirektion zurechnen lassen, denn die Post habe als deren Hilfsperson gehandelt.
5.2. Für die ordnungsgemässe Zustellung einer Verfügung ist die Verwaltungs- bzw. Gerichtsbehörde verantwortlich. Erteilt jedoch der Adressat der Post einen Nachsendeauftrag, einen Rückbehalteauftrag oder eine ähnliche Anweisung, die in den üblichen Zustellvorgang eingreift, so hat er etwaige Fehlleistungen der Post nach Abschluss des ordentlichen Eintreffens des Schreibens bei der Poststelle selber zu vertreten (<ref-law> per analogiam). Die Post wird insofern als Hilfsperson des Adressaten tätig (<ref-ruling> E. 2e S. 74 mit Hinweis; Urteil 1C_272/2020 vom 23. April 2020 E. 3.3).
Es stellt sich vor diesem Hintergrund die Frage, ob gestützt auf diese Rechtslage die beiden Beschwerdeführer für das Verhalten der Post verantwortlich waren, wenn einer von ihnen im Namen seiner Unternehmung einen Rückbehalteauftrag erteilte, der in der Folge nicht korrekt ausgeführt wurde. Sie braucht jedoch nicht beantwortet zu werden. Denn wie aus den nachfolgenden Erwägungen hervorgeht, durfte das Verwaltungsgericht willkürfrei annehmen, dass die Beschwerdeführer auch für ihre private Post einen Rückbehalteauftrag erteilt hatten.
Das Verwaltungsgericht erwog in seiner Verfügung vom 9. Oktober 2020 unter anderem, dass gemäss den Sendungsinformationen der Post die angefochtene Verfügung der Bau- und Verkehrsdirektion am 26. August 2020 zur Abholung gemeldet worden sei, die Beschwerdeführer die Abholfrist aber hätten verlängern lassen. Es forderte die Beschwerdeführer auf, zur Rechtzeitigkeit ihrer Beschwerde Stellung zu nehmen und allfällige Beweismittel beizulegen. Die Beschwerdeführer brachten in ihrer daraufhin eingereichten Stellungnahme im Wesentlichen vor, dass sie gemäss handschriftlichem Vermerk auf dem Kuvert bis am 14. September 2020 Zeit zur Abholung gehabt hätten und im Übrigen ohnehin nicht mit einer Zustellung hätten rechnen müssen (vgl. dazu E. 3 und 4 hiervor). Dass die Post bei der Ausführung eines Rückbehalteauftrags einen Fehler begangen habe, machten sie damals nicht geltend. Sie hielten sogar ausdrücklich fest, dass "sie" (im Plural) der Post einen Rückbehalteauftrag erteilt hätten. Dass sie gleichzeitig einen von A.C._ im Namen der Consulting E._ erteilten Rückbehalteauftrag zu den Akten gaben, ändert daran nichts.
Vor diesem Hintergrund durfte das Verwaltungsgericht davon ausgehen, dass die betreffende Sendung der Bau- und Verkehrsdirektion von einem Rückbehalteauftrag der Beschwerdeführer erfasst worden war. Dafür spricht auch, dass die Beschwerdeführer den Fehler der Post bei der Entgegennahme der Sendung hätten bemerken müssen und sie somit Anlass gehabt hätten, dies in ihrer Stellungnahme ans Verwaltungsgericht vorzubringen. Wenn sie dies stattdessen nun erstmals im bundesgerichtlichen Verfahren tun und dafür eine vom 4. Dezember 2020 datierende Bestätigung der Post vorlegen, handelt es sich dabei um eine neue Tatsache und ein neues Beweismittel. Solche neuen Tatsachen und Beweismittel sind gemäss <ref-law> nur insoweit zulässig, als erst der Entscheid der Vorinstanz dazu Anlass gibt, was nach dem Ausgeführten hier jedoch nicht zutrifft. Die Kritik der Beschwerdeführer ist somit auch in diesem Punkt unbegründet.
6.
Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang tragen die Beschwerdeführer die Gerichtskosten (<ref-law>). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien, der Bau- und Verkehrsdirektion des Kantons Bern und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, Abteilungspräsident, schriftlich mitgeteilt.
Lausanne, 18. Februar 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold