Sachverhalt: A. In einem von der Staatsanwaltschaft III des Kantons Zürich gegen ihn geführten Strafverfahren wurde X._ von Rechtsanwalt Y._ als amtlicher Verteidiger vertreten. Am 26. November 2012 verurteilte das Bezirksgericht Zürich X._ wegen mehrfachen sich bestechen Lassens, mehrfacher ungetreuer Amtsführung, mehrfacher Geldwäscherei und Verletzung des Amtsgeheimnisses. Gegen dieses Urteil wurde die Berufung erklärt. B. Noch bevor ihm das begründete Urteil des Bezirksgerichts zugestellt wurde, stellte X._ ein Gesuch um Wechsel der amtlichen Verteidigung, welches das Bezirksgericht am 5. März 2013 abwies. Eine von X._ gegen die Abweisung des Gesuchs erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 5. Juni 2013 ab. C. Gegen den Beschluss des Obergerichts hat X._ am 10. Juli 2013 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, Rechtsanwalt Daniel U. Walder sei per 21. Januar 2013 als sein neuer amtlicher Verteidiger einzusetzen unter gleichzeitiger Entlassung des bisherigen amtlichen Verteidigers. Eventualiter sei der angefochtene Entscheid zu kassieren und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Rechtsanwalt Y._ beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Die Staatsanwaltschaft und die Vorinstanz haben auf eine Vernehmlassung verzichtet. Mit Eingabe vom 28. Oktober 2013 hat der Beschwerdeführer an den Beschwerdeanträgen festgehalten.