Sachverhalt: A. Am 23. Dezember 2009 erstattete X._ Strafanzeige gegen drei Beamte der Stadtpolizei Zürich wegen Amtsmissbrauchs, Gefährdung des Lebens sowie Körperverletzung, ev. Tätlichkeiten und stellte gleichzeitig Strafantrag, worauf gegen die Polizeibeamten eine Strafuntersuchung eröffnet wurde. Die III. Strafkammer des Obergerichts Zürich hob eine erste Einstellungsverfügung der Staatsanwaltschaft I des Kantons Zürich auf Beschwerde von X._ hin am 12. April 2011 auf. Sie wies die Sache zur Durchführung von weiteren Einvernahmen an die Untersuchungsbehörden zurück. Mit Verfügung vom 8. Februar 2012 stellte die Staatsanwaltschaft das Strafverfahren erneut ein. In der Einstellungsverfügung hielt sie fest, dass die Beschuldigten anlässlich der durchgeführten weiteren Einvernahmen von ihrem Recht auf Aussageverweigerung Gebrauch gemacht hätten, weshalb das Beweisergebnis dasselbe bleibe und zur Begründung auf die erste Einstellungsverfügung vom 6. Dezember 2010 verwiesen werden könne. B. Am 22. Februar 2012 erhob X._ gegen die Einstellungsverfügung der Staatsanwaltschaft vom 8. Februar 2012 erneut Beschwerde ans Obergericht des Kantons Zürich. Er beantragte, die angefochtene Verfügung sei aufzuheben und die Staatsanwaltschaft anzuweisen, Anklage gegen die drei Funktionäre der Stadtpolizei Zürich zu erheben. Eventuell sei die Staatsanwaltschaft anzuweisen, die Untersuchung zu ergänzen. In prozessualer Hinsicht stellte X._ ein Gesuch um unentgeltliche Rechtspflege, inklusive Bestellung eines unentgeltlichen Rechtsbeistands in der Person seines Rechtsvertreters. Mit Verfügung vom 15. Mai 2012 wies der Präsident der III. Strafkammer des Obergerichts das Gesuch von X._ um Gewährung der unentgeltlichen Rechtspflege sowie um Bestellung eines unentgeltlichen Rechtsbeistands ab (Dispositiv-Ziffer 1). C. Gegen die Verfügung des Obergerichts vom 15. Mai 2012 hat X._ am 12. Juni 2012 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, Dispositiv-Ziffer 1 des angefochtenen Entscheids sei aufzuheben und ihm für die von der Staatsanwaltschaft geführte Strafuntersuchung bzw. das Beschwerdeverfahren vor dem Obergericht die unentgeltliche Rechtspflege zu gewähren. Die Vorinstanz beantragt sinngemäss die Abweisung der Beschwerde. Mit Eingabe vom 10. Juli 2012 hält der Beschwerdeführer sinngemäss an der Beschwerde fest.