Sachverhalt: A. A.a. Gegen X._ läuft im Anschluss an ein Scheidungsverfahren eine Betreibung. Mit Eingabe vom 15. November 2013 erhob er beim Bezirksgericht Y._ als Aufsichtsbehörde über die Betreibungsämter Beschwerde. Er rügte die seiner Ansicht nach fehlerhafte Zustellung von drei Zahlungsbefehlen durch das Betreibungsamt Z._. Im Rahmen dieses Verfahrens hielt X._ in einem Schreiben vom 17. Januar 2014 fest, dass er aufgrund seines gesundheitlichen Zustands nicht in der Lage sei, zu den Vernehmlassungen der Beschwerdegegner Stellung zu nehmen. Gleichzeitig machte er geltend, dass sämtliche Richterinnen und Richter am Bezirksgericht Y._ in den Ausstand zu treten hätten, da sie sich gegen ihn im Wahlkampf um eine Richterstelle am Bezirksgericht Y._ befänden. Weiter beschuldigte er sie des Amtsmissbrauchs, da sie ohne einen entsprechenden Antrag ein Beweisverfahren eröffnet hätten, um ihn auf diese Weise bei Familienmitgliedern in Verruf zu bringen. A.b. Am xx.xx.2014 fanden die Wahlen ans Bezirksgericht Y._ statt. X._, der www Stimmen erhielt, verpasste die Wahl. Gewählt wurden die bisherigen A._ (xxx Stimmen), B._ (yyy Stimmen) und C._ (zzz Stimmen). A.c. Am 11. Februar 2013 qualifizierte das Bezirksgericht Y._ in der Besetzung mit B._, D._ und C._ das Ausstandsbegehren von X._ als völlig unsubstantiiert und trat darauf nicht ein. X._ gelangte in der Folge an das Obergericht des Kantons Zürich. Dieses wies die Beschwerde mit Urteil vom 24. März 2014 ab, soweit es darauf eintrat. B. Mit Beschwerde vom 8. April 2014 wendet sich X._ (Beschwerdeführer) an das Bundesgericht. Er wiederholt sein Begehren, wonach alle Richterinnen und Richter am Bezirksgericht Y._ in den Ausstand zu treten hätten. Gleichzeitig kritisiert er, dass über sein Ausstandsbegehren jene Richterinnen und Richter befunden hätten, gegen die sich das Ausstandsbegehren gerichtet habe. Eventualiter sei der Ausstand auf ein Jahr nach dem Wahlkampf zu beschränken, subeventualiter sei die Sache an das Obergericht zu verweisen. Zudem ersuchte er darum, ihm die Frist für die vollständige Bearbeitung der Beschwerde bis zum 20. Mai 2014 zu verlängern. Das Bundesgericht teilte dem Beschwerdeführer am 9. April 2014 mit, dass es sich bei der Beschwerdefrist um eine gesetzliche Frist handelt, die nicht erstreckt werden kann (Art. 47 Abs. 1 BGG). Dazu aufgefordert, einen Kostenvorschuss zu leisten, reagierte der Beschwerdeführer mit einem nachträglichen Gesuch um unentgeltliche Rechtspflege. Mit Verfügung vom 2. Juni 2014 hat das präsidierende Mitglied der II. zivilrechtlichen Abteilung der Beschwerde aufschiebende Wirkung zuerkannt und die Behandlung des Gesuchs um unentgeltliche Rechtspflege vertagt. Das Bundesgericht hat sich die vorinstanzlichen Akten überweisen lassen, in der Sache aber keine Vernehmlassungen eingeholt.