Sachverhalt:
A. A.a Im Rahmen eines Betreibungsverfahrens erhob X._ Rechtsvorschlag wegen fehlenden neuen Vermögens. Anlässlich der Hauptverhandlung vom 11. März 2010 vor dem Bezirksgericht Pfäffikon stellte er sinngemäss ein Ablehnungsgesuch gegen die mit der Sache befasste Einzelrichterin.
A.b Diese leitete das Gesuch zusammen mit einer von ihr verfassten gewissenhaften Erklärung zur Entscheidung an die zuständige Verwaltungskommission des Obergerichts des Kantons Zürich weiter.
B. Mit Beschluss vom 22. April 2010 wies die Verwaltungskommission des Obergerichts das Ablehnungsbegehren ab.
C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner Beschwerde vom 27. April 2010, es sei das Obergericht zu verpflichten, ihm das rechtliche Gehör zu gewähren. Eventualiter sei das Ablehnungsbegehren gutzuheissen.
Das Obergericht hat dem Bundesgericht die kantonalen Akten zugestellt, auf eine Vernehmlassung aber verzichtet.

Erwägungen:
1. 1.1 Die Frage, ob gegen bestimmte Justizbeamte in einem konkreten Verfahren ein Ausschluss- oder Ablehnungsgrund vorliegt, beurteilt sich im Kanton Zürich in einem Nebenverfahren zum hängigen Hauptverfahren, das in den §§ 95 ff. des Gerichtsverfassungsgesetzes des Kantons Zürich vom 13. Juni 1976 (GVG/ZH; LS 211.1) geregelt ist. Die Zuständigkeit zur Beurteilung von Ablehnungsbegehren gegen Einzelrichter des Bezirksgerichts liegt bei der Verwaltungskommission des Obergerichts (§ 101 Abs. 1 GVG/ZH und § 31 Ziff. 4 lit. b der Verordnung des Obergerichts des Kantons Zürich vom 22. Juni 2005 über die Organisation des Obergerichts [LS 212.51]).
1.2 Der angefochtene Beschluss der Verwaltungskommission des Obergerichts stellt einen selbständig eröffneten Zwischenentscheid über ein Ausstandsbegehren im Sinne von Art. 92 BGG dar. Bei Zwischenentscheiden folgt der Rechtsmittelweg demjenigen in der Hauptsache (<ref-ruling> E. 2.2 S. 647 f.). Vorliegend geht es in der Hauptsache um die Bewilligung des Rechtsvorschlags wegen fehlenden neuen Vermögens nach Art. 265a Abs. 1 SchKG. Damit handelt es sich um eine Schuldbetreibungs- und Konkurssache (Art. 72 Abs. 2 lit. a BGG) mit einem Streitwert, der Fr. 30'000.-- übersteigt (Art. 74 Abs. 1 lit. b BGG; <ref-ruling> E. 1.2 S. 526 f.).
2. 2.1 Die Beschwerde in Zivilsachen ist nur gegen Entscheide letzter kantonaler Instanzen zulässig (Art. 75 Abs. 1 BGG). Gegen den angefochtenen Beschluss der obergerichtlichen Verwaltungskommission über ein Ablehnungsbegehren in einem Zivilprozess kann gestützt auf § 282 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (ZPO/ZH; LS 271) die kantonale Nichtigkeitsbeschwerde an das Kassationsgericht erhoben werden. Der angefochtene Entscheid der Aufsichtsbehörde (§ 101 Abs. 1 GVG/ZH) über ein Ablehnungsbegehren fällt nicht unter die Ausnahmebestimmung von § 284 Ziff. 2 ZPO/ZH (zum Ganzen <ref-ruling> E. 1.4 S. 93 f. mit Hinweisen; so auch die Praxis des Kassationsgerichts des Kantons Zürich [«http://entscheide.gerichte-zh.ch»]: Beschlüsse vom 10. September 2009, Verfahren AA090107, E. 2, und vom 4. September 2009, Verfahren AA090085, E. 2, je mit Hinweisen).
2.2 Im Übrigen bestimmt § 285 Abs. 2 ZPO/ZH, im Verhältnis zum Weiterzug an das Bundesgericht, dass die Nichtigkeitsbeschwerde stets zulässig ist, wenn eine Verletzung von Art. 8, 9, 29 und 30 BV oder Art. 6 EMRK geltend gemacht wird (<ref-ruling> E. 2 S. 143 f.; <ref-ruling> E. 1.4 S. 94).
2.3 Der Beschwerdeführer rügt vor Bundesgericht eine Verletzung seines Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) sowie der Garantie des verfassungsmässigen Richters (Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK). Diese Rügen hätte der Beschwerdeführer nach dem Vorstehenden mit Nichtigkeitsbeschwerde beim Kassationsgericht geltend machen können. Damit fehlt es an der Letztinstanzlichkeit des angefochtenen Entscheides (Art. 75 Abs. 1 BGG).
3. 3.1 Unter dem Gesichtspunkt von Treu und Glauben ist zu beachten, dass der angefochtene Entscheid eine (unzutreffende) Rechtsmittelbelehrung enthält, nach der gegen den Entscheid der Verwaltungskommission des Obergerichts beim Bundesgericht eine Beschwerde in Zivilsachen oder eine subsidiäre Verfassungsbeschwerde erhoben werden kann.
3.2 Gemäss Art. 18 Abs. 2 der Verfassung des Kantons Zürich vom 27. Februar 2005 haben die Parteien Anspruch auf einen begründeten Entscheid mit Rechtsmittelbelehrung.
3.3 Aus einer unrichtigen Rechtsmittelbelehrung darf den Parteien indes kein Nachteil erwachsen (Art. 49 BGG; <ref-ruling> E. 1.3.1 S. 202 f.). Den erwähnten Schutz kann eine Prozesspartei nur dann beanspruchen, wenn sie sich nach Treu und Glauben auf die fehlerhafte Rechtsmittelbelehrung verlassen durfte. Wer die Unrichtigkeit erkannte oder bei gebührender Aufmerksamkeit hätte erkennen können, kann sich nicht auf Art. 49 BGG berufen, wobei allerdings nur eine grobe prozessuale Unsorgfalt der betroffenen Partei oder ihres Anwalts eine unrichtige Rechtsmittelbelehrung aufzuwiegen vermag. Der Vertrauensschutz versagt zudem nur dann, wenn der Mangel in der Rechtsmittelbelehrung für den Rechtsuchenden beziehungsweise seinen Rechtsvertreter allein schon durch Konsultierung der massgebenden Verfahrensbestimmung ersichtlich gewesen wäre.
Wann der Prozesspartei, die sich auf eine unrichtige Rechtsmittelbelehrung verlassen hat, eine als grob zu wertende Unsorgfalt vorzuwerfen ist, beurteilt sich nach den konkreten Umständen und nach ihren Rechtskenntnissen. Ist sie rechtsunkundig und auch nicht rechtskundig vertreten, darf sie nicht der anwaltlich vertretenen Partei gleichgestellt werden, es sei denn, sie verfüge namentlich aus früheren Verfahren über einschlägige Erfahrungen. Eine Überprüfung der in der Rechtsmittelbelehrung enthaltenen Angaben kann von einer Prozesspartei im Übrigen nur dann verlangt werden, wenn diese über die Kenntnisse verfügt, die es ihr überhaupt ermöglichen, die massgebende Gesetzesbestimmung ausfindig zu machen und gegebenenfalls auszulegen (zum Ganzen <ref-ruling> E. 1.2.2.1 S. 376 f. mit Hinweisen).
3.4 Der Beschwerdeführer ist nicht anwaltlich vertreten und war es auch im kantonalen Verfahren nicht. Für ihn war nicht ohne weiteres erkennbar, dass gegen den angefochtenen Beschluss die Nichtigkeitsbeschwerde an das Kassationsgericht des Kantons Zürich möglich gewesen wäre. Selbst wenn er die massgebenden Gesetzestexte konsultiert hätte, wäre gestützt auf § 101 Abs. 1 GVG/ZH i.V.m. § 284 Ziff. 2 ZPO/ZH nicht ersichtlich gewesen, dass die Nichtigkeitsbeschwerde zulässig ist. Die Berücksichtigung der kantonalen Praxis des Kassationsgerichts oder der Literatur kann vom Beschwerdeführer nicht verlangt werden (vgl. <ref-ruling> E. 4.4 S. 494). Sein Vertrauen in die Rechtsmittelbelehrung im angefochtenen Entscheid ist deshalb zu schützen.
4. Damit ist auf die Beschwerde nicht einzutreten und die Sache dem Kassationsgericht des Kantons Zürich zu überweisen (Art. 30 Abs. 1 und 2 BGG; vgl. auch den ähnlich gelagerten Fall in <ref-ruling> E. 1.6 S. 96; Botschaft vom 28. Februar 2001 zur Totalrevision der Bundesrechtspflege, BBl 2001, S. 4290 Ziff. 4.1.2.1).
5. Unter diesen Umständen rechtfertigt es sich, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Eingabe des Beschwerdeführers vom 27. April 2010 wird dem Kassationsgericht des Kantons Zürich zur Behandlung überwiesen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, Verwaltungskommission, schriftlich mitgeteilt.
Lausanne, 17. August 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Bettler