Sachverhalt:
A. Am 26. Mai 2008 verfügte das Bundesamt für Migration die sofortige Ausreise des aus dem Irak stammenden X._ aus der Schweiz. Nachdem ein Ausschaffungsversuch am 19. Juli 2008 aufgrund des Widerstands von X._ gescheitert war, wurde dieser in Durchsetzungshaft gesetzt. Nach seiner Entlassung aus der Durchsetzungshaft am 9. September 2009 verliess X._ die Schweiz trotz entsprechender Auflage nicht. Er wohnt seither mit seiner Ehefrau Y._ zusammen, welche er während der Dauer der Durchsetzungshaft geheiratet hat. Y._ verfügt über eine Aufenthaltsbewilligung B und kommt für den Lebensunterhalt von X._ auf.
B. Am 27. September 2010 verhaftete die Kantonspolizei Zürich X._. In der Folge ermittelte die Staatsanwaltschaft I des Kantons Zürich gegen ihn wegen Widerhandlung gegen das Ausländergesetz (AuG; SR 142.20). Mit Eingabe vom 22. März 2011 beantragte Rechtsanwältin Magda Zihlmann bei der Staatsanwaltschaft I die Einsetzung ihrer Person als amtliche Verteidigerin von X._. Die Staatsanwaltschaft I gelangte mit Eingabe vom 23. März 2011 an die Oberstaatsanwaltschaft des Kantons Zürich, Büro für amtliche Mandate, und ersuchte um Abweisung des Gesuchs. Mit Verfügung vom 25. März 2011 wies die Oberstaatsanwaltschaft das Gesuch von X._ ab.
Gegen diese Verfügung erhob X._ am 2. April 2011 Beschwerde ans Obergericht des Kantons Zürich und stellte zugleich ein Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung. Mit Verfügung und Beschluss vom 7. Juni 2011 wies das Obergericht das Gesuch um Gewährung der unentgeltlichen Prozessführung und Verbeiständung wie auch die Beschwerde gegen die Verfügung der Oberstaatsanwaltschaft vom 25. März 2011 ab.
C. Mit Beschwerde in Strafsachen vom 17. August 2011 beantragt X._, die Verfügung und der Beschluss des Obergerichts seien aufzuheben, und ihm sei in Person von Rechtsanwältin Magda Zihlmann eine amtliche Verteidigung zu bestellen. Ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.
Die Oberstaatsanwaltschaft und das Obergericht verzichten auf Vernehmlassungen.

Erwägungen:
1. Beim Entscheid der Vorinstanz vom 7. Juni 2011, mit welchem das Begehren des Beschwerdeführers um Einsetzung einer amtlichen Verteidigung abgewiesen wurde, handelt es sich um einen selbstständig eröffneten, kantonal letztinstanzlichen Zwischenentscheid, welcher einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> bewirken kann (<ref-ruling> E. 1.1 S. 131; Urteil des Bundesgerichts 1B_306/2008 vom 15. Januar 2009 E. 1, in: Pra 2009 Nr. 72 S. 483). Der Zwischenentscheid kann mit Beschwerde in Strafsachen angefochten werden, soweit dieses Rechtsmittel, wie vorliegend der Fall, auch gegen den Endentscheid erhoben werden kann. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2. 2.1 Der Beschwerdeführer bringt vor, ihm eine amtliche Verteidigung zu verweigern, verstosse gegen <ref-law>. Er habe kaum Schulbildung genossen; er könne sich zwar in deutscher Sprache verständigen, hingegen weder deutsch lesen, noch schreiben. Bereits auf einen vergleichsweise nicht komplexen Tatvorwurf angemessen zu reagieren, stelle ihn vor Schwierigkeiten, denen er alleine nicht gewachsen sei. Hinzu komme, dass der Fall in rechtlicher Hinsicht durchaus komplex sei. So könne er zurzeit bei der heimatlichen Botschaft keinen Reisepass beschaffen, weshalb fraglich sei, ob er die Schweiz legal verlassen könne und damit überhaupt über die notwendige Tatherrschaft verfüge. Zu bedenken sei weiter, dass seine Ehefrau, welche im Alter von neun Jahren in die Schweiz gekommen sei und nunmehr seit 21 Jahren hier lebe, über ein gefestigtes Aufenthaltsrecht verfüge. Die Klärung der Rechtslage bedinge eine vertiefte Auseinandersetzung mit der bundesgerichtlichen Rechtsprechung zu Art. 8 EMRK (Recht auf Achtung des Privat- und Familienlebens), wozu er als juristischer Laie nicht in der Lage sei.
2.2 Die Vorinstanz hat erwogen, strittig sei, ob tatsächliche oder rechtliche Schwierigkeiten bestünden, welche die Bestellung einer amtlichen Verteidigung erforderten. Dies sei nicht der Fall. Weder seien unübersichtliche oder komplizierte Lebensvorgänge zu beurteilen, noch sei die Angelegenheit in rechtlicher Hinsicht komplex. Das Bundesamt für Migration habe am 26. Mai 2008 verfügt, dass der Beschwerdeführer die Schweiz unverzüglich zu verlassen habe. Dieser Entscheid sei in Rechtskraft erwachsen. Die vom Beschwerdeführer aufgeworfenen Fragen, ob ihm aufgrund des Aufenthaltsrechts seiner Ehefrau in der Schweiz ein eigenes Bleiberecht zustehe und ob er aus der Tatsache, dass er keine Reisepapiere beschaffen könne, etwas zu seinen Gunsten ableiten könne, seien zwar in der Tat gerechtfertigt. Es handle sich hierbei aber um Rechtsfragen, welche sich im Rahmen von Strafverfahren wegen einer allfälligen Verletzung von Strafbestimmungen des Ausländergesetzes nicht selten stellten und welche damit für sich alleine keine besonderen rechtlichen Schwierigkeiten im Sinne von <ref-law> zu begründen vermöchten. An dieser Beurteilung ändere auch der Umstand nichts, dass der Beschwerdeführer das schweizerische Rechtssystem nicht kenne.
2.3 Gemäss <ref-law> ordnet die Verfahrensleitung eine amtliche Verteidigung an, wenn die beschuldigte Person nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung ihrer Interessen geboten ist. Letzteres ist nach <ref-law> namentlich der Fall, wenn es sich nicht um einen Bagatellfall handelt und der Straffall in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, denen die beschuldigte Person allein nicht gewachsen wäre.
Mit dieser Regelung wird die bisherige bundesgerichtliche Rechtsprechung zu <ref-law> kodifiziert. Demnach ist die Bestellung eines unentgeltlichen Rechtsbeistands insbesondere geboten, wenn sich die aufgeworfenen Rechtsfragen nicht leicht beantworten lassen und die betreffende Person nicht rechtskundig ist (<ref-ruling> E. 3b S. 266). Dabei sind die konkreten Umstände des Einzelfalls zu berücksichtigen; zu würdigen sind auch die Fähigkeiten der betroffenen Person, sich im Verfahren zurecht zu finden (<ref-ruling> E. 2.5.2 S. 232 f.; <ref-ruling> E. 2c/bb S. 51 f. mit Hinweisen; vgl. auch Urteil 1B_372/2011 vom 29. August 2011 E. 2.1).
2.4 Der Beschwerdeführer ist bedürftig, und es handelt sich vorliegend nicht um einen Bagatellfall. Entscheidend ist deshalb, ob besondere tatsächliche oder rechtliche Schwierigkeiten bestehen, denen der Beschwerdeführer aufgrund seiner persönlichen Fähigkeiten nicht gewachsen ist.
Die Vorinstanz anerkennt ausdrücklich, dass die vom Beschwerdeführer aufgeworfenen Rechtsfragen gerechtfertigt seien, stuft deren Klärung aber nicht als besonders komplex ein. Bei ihrer Würdigung blendet die Vorinstanz jedoch die persönlichen Fähigkeiten des Beschwerdeführers aus. Aus der polizeilichen Befragung vom 24. November 2010, auf welche die Vorinstanz in ihrer Entscheidbegründung verweist, ergibt sich, dass die Lesefähigkeiten des Beschwerdeführers nicht ausreichen, um die Schreiben des Migrationsamts zu verstehen, sondern dass er insoweit auf die Hilfe seiner Ehefrau angewiesen ist. Damit ist es dem Beschwerdeführer aber auch nicht möglich, die Akten des Strafverfahrens zu studieren und allfällige Beweisanträge zu stellen. Da er nicht schreiben kann, ist er ebenso wenig in der Lage, schriftlich zu den gegen ihn erhobenen Vorwürfen Stellung zu nehmen und Eingaben zu verfassen. Hinzu kommt, dass der Beschwerdeführer kaum Schulbildung genossen hat, juristischer Laie ist und mit dem schweizerischen Rechtssystem nicht vertraut ist, sodass er ohne fachkundige Unterstützung nicht im Stande ist, bei den sich stellenden Rechtsfragen allfällige, seine Position stärkende Argumente einzubringen.
Dem Beschwerdeführer als juristischen Laien mit mangelnder Lese- und Schreibkompetenz in deutscher Sprache ist es damit ohne anwaltlichen Beistand nicht möglich, sich im gegen ihn geführten Strafverfahren wirksam zu verteidigen. Im Lichte der dargelegten Rechtsprechung, die wesentlich auf die Fähigkeiten der betroffenen Person abstellt, sich im Verfahren zurecht zu finden, ist der Anspruch des Beschwerdeführers auf amtliche Verteidigung zu bejahen. Die Rüge der Verletzung von <ref-law> ist folglich begründet.
3. Die Beschwerde ist gutzuheissen und der angefochtene Entscheid aufzuheben. Das Bundesgericht entscheidet reformatorisch (vgl. <ref-law>) und setzt Rechtsanwältin Magda Zihlmann für das Verfahren vor der Staatsanwaltschaft I als amtliche Verteidigerin ein.
Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind keine Gerichtskosten zu erheben (<ref-law>). Die Kosten des kantonalen Verfahrens von Fr. 300.-- sind dem Kanton Zürich aufzuerlegen (<ref-law>). Dieser hat dem Beschwerdeführer für das kantonale Verfahren und für das Verfahren vor dem Bundesgericht eine Parteientschädigung in der Höhe der von seiner Rechtsvertreterin eingereichten Honorarnote zu bezahlen (Art. 68 Abs. 2 und 5 BGG). Damit wird das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Obergerichts des Kantons Zürich vom 7. Juni 2011 aufgehoben. Rechtsanwältin Magda Zihlmann wird für das Verfahren vor der Staatsanwaltschaft I des Kantons Zürich als amtliche Verteidigerin des Beschwerdeführers bestellt.
2. Für das bundesgerichtliche Verfahren werden keine Gerichtskosten erhoben.
3. Die Gerichtskosten des kantonalen Verfahrens von Fr. 300.-- werden dem Kanton Zürich auferlegt.
4. Der Kanton Zürich hat den Beschwerdeführer für das kantonale Verfahren und das Verfahren vor dem Bundesgericht mit insgesamt Fr. 1'950.-- zu entschädigen.
5. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft I und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 13. September 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Stohner