Sachverhalt: A. Am 26. Mai 2008 verfügte das Bundesamt für Migration die sofortige Ausreise des aus dem Irak stammenden X._ aus der Schweiz. Nachdem ein Ausschaffungsversuch am 19. Juli 2008 aufgrund des Widerstands von X._ gescheitert war, wurde dieser in Durchsetzungshaft gesetzt. Nach seiner Entlassung aus der Durchsetzungshaft am 9. September 2009 verliess X._ die Schweiz trotz entsprechender Auflage nicht. Er wohnt seither mit seiner Ehefrau Y._ zusammen, welche er während der Dauer der Durchsetzungshaft geheiratet hat. Y._ verfügt über eine Aufenthaltsbewilligung B und kommt für den Lebensunterhalt von X._ auf. B. Am 27. September 2010 verhaftete die Kantonspolizei Zürich X._. In der Folge ermittelte die Staatsanwaltschaft I des Kantons Zürich gegen ihn wegen Widerhandlung gegen das Ausländergesetz (AuG; SR 142.20). Mit Eingabe vom 22. März 2011 beantragte Rechtsanwältin Magda Zihlmann bei der Staatsanwaltschaft I die Einsetzung ihrer Person als amtliche Verteidigerin von X._. Die Staatsanwaltschaft I gelangte mit Eingabe vom 23. März 2011 an die Oberstaatsanwaltschaft des Kantons Zürich, Büro für amtliche Mandate, und ersuchte um Abweisung des Gesuchs. Mit Verfügung vom 25. März 2011 wies die Oberstaatsanwaltschaft das Gesuch von X._ ab. Gegen diese Verfügung erhob X._ am 2. April 2011 Beschwerde ans Obergericht des Kantons Zürich und stellte zugleich ein Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung. Mit Verfügung und Beschluss vom 7. Juni 2011 wies das Obergericht das Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung wie auch die Beschwerde gegen die Verfügung der Oberstaatsanwaltschaft vom 25. März 2011 ab. C. Mit Beschwerde in Strafsachen vom 17. August 2011 beantragt X._, die Verfügung und der Beschluss des Obergerichts seien aufzuheben, und ihm sei in Person von Rechtsanwältin Magda Zihlmann eine amtliche Verteidigung zu bestellen. Ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren. Die Oberstaatsanwaltschaft und das Obergericht verzichten auf Vernehmlassungen.