Sachverhalt: A. Am 23. Juli 2007 bewilligte der Gemeinderat der Einwohnergemeinde Wohlen eine Arealüberbauung auf der Parzelle Nr. 607 in Wohlen. Mit Entscheid vom 2. April 2008 hiess der Regierungsrat des Kantons Aargau eine von X._ und Y._ dagegen erhobene Beschwerde gut und hob die Baubewilligung auf. Von der Einwohnergemeinde Wohlen und der Baugesuchstellerin gegen den Entscheid des Regierungsrats erhobene Beschwerden hiess das Verwaltungsgericht des Kantons Aargau mit Urteil vom 16. Juni 2009 gut. Es hob den angefochtenen Entscheid auf und wies die Sache zu neuem Entscheid im Sinne der Erwägungen an den Regierungsrat zurück. B. Auf eine von X._ und Y._ gegen das Urteil des Verwaltungsgerichts erhobene Beschwerde trat das Bundesgericht nicht ein, weil es sich beim Rückweisungsentscheid nicht um einen anfechtbaren Zwischenentscheid handelte (Urteil 1C_390/2009 vom 14. April 2010). C. In der Folge befasste sich der Regierungsrat erneut mit der von X._ und Y._ gegen die Baubewilligung erhobenen Beschwerde. Er wies die Beschwerde am 30. Juni 2010 ab und bestätigte damit die vom Gemeinderat erteilte Baubewilligung. Gegen diesen Entscheid des Regierungsrats gelangten X._ und Y._ am 9. September 2010 ans Verwaltungsgericht. Gleichzeitig stellten sie ein Ablehnungsbegehren gegen alle am Urteil des Verwaltungsgerichts vom 16. Juni 2009 mitbeteiligten Richter, den befassten Gerichtsschreiber sowie sämtliche befassten Sachbearbeiter. Die Verwaltungskommission des Obergerichts des Kantons Aargau wies das Ablehnungsgesuch am 24. November 2010 ab. D. Mit Eingabe vom 31. Januar 2011 führen X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Sie beantragen, der Entscheid der Verwaltungskommission des Obergerichts sei aufzuheben und das Ausstandsbegehren gutzuheissen. Eventualiter sei der Entscheid der Verwaltungskommission des Obergerichts aufzuheben und die Sache zu neuer Entscheidung an diese zurückzuweisen. E. Mit Verfügung vom 1. März 2011 hat das Bundesgericht der Beschwerde aufschiebende Wirkung beigelegt. F. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde. Die Verwaltungskommission des Obergerichts teilt mit, sie halte an den Ausführungen des angefochtenen Entscheids fest. G. Mit Stellungnahme vom 18. März 2011 halten die Beschwerdeführer an den Beschwerdeanträgen fest.