Sachverhalt:
Mit Strafbefehl vom 13. Februar 2012 verurteilte die Staatsanwaltschaft Zürich-Limmat X._ wegen Vergehens gegen das Ausländergesetz im Sinne von Art. 115 Abs. 1 lit. b AuG (SR 142.20) zu einer bedingten Geldstrafe in der Höhe von 150 Tagessätzen und einer Busse von Fr. 800.--. Gleichzeitig wurde eine mit Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. Mai 2009 bedingt ausgesprochene Geldstrafe in der Höhe von 10 Tagessätzen widerrufen und für vollziehbar erklärt. X._ erhob gegen den Strafbefehl Einsprache und ersuchte um Bewilligung der amtlichen Verteidigung. Die Oberstaatsanwaltschaft des Kantons Zürich wies das Gesuch um Bewilligung der amtlichen Verteidigung am 15. März 2012 ab. Eine von X._ gegen die Verweigerung der amtlichen Verteidigung erhobene Beschwerde wies das Obergericht des Kantons Zürich am 26. Juli 2012 ab.
Gegen den Entscheid des Obergerichts hat X._ am 21. September 2012 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und ihm für das Strafverfahren ein amtlicher Verteidiger zu bestellen. Die Gerichtskosten des kantonalen Verfahrens seien dem Kanton Zürich aufzuerlegen und der Kanton Zürich sei zu verpflichten, ihm für das kantonale Verfahren eine angemessene Parteientschädigung zuzusprechen. Für die Festlegung der Höhe der Entschädigung sei die Sache an die Vorinstanz zurückzuweisen. Die Staatsanwaltschaft, die Oberstaatsanwaltschaft und die Vorinstanz haben auf Vernehmlassung verzichtet.

Erwägungen:
1. Der angefochtene Entscheid betrifft eine Strafsache im Sinne von <ref-law> und wurde von einer letzten kantonalen Instanz gefällt (Art. 80 Abs. 1 und 2 BGG). Es handelt sich um einen das Strafverfahren nicht abschliessenden Zwischenentscheid, der grundsätzlich geeignet ist, einen nicht wieder gutzumachenden Nachteil im Sinne von <ref-law> zu bewirken. Mit Schreiben vom 29. November 2012 hat die Staatsanwaltschaft mitgeteilt, dass das Strafverfahren gegen den Beschwerdeführer mit Datum vom 15. November 2012 als erledigt abgeschrieben worden sei, nachdem die Einsprache gegen den Strafbefehl vom 13. Februar 2012 zurückgezogen worden sei. Unter diesen Umständen erscheint fraglich, ob der angefochtene Entscheid (noch) geeignet ist, einen nicht wieder gutzumachenden Nachteil zu bewirken. Wie es sich damit verhält und ob sämtliche Eintretensvoraussetzungen erfüllt sind, kann indessen offen bleiben, da die Beschwerde - wie nachfolgend aufzuzeigen ist - ohnehin abzuweisen ist.
2. Der Beschwerdeführer macht geltend, der angefochtene Entscheid verletze <ref-law> (SR 312.0).
2.1 Liegt kein Fall notwendiger Verteidigung gemäss <ref-law> vor, ordnet die Verfahrensleitung eine amtliche Verteidigung an, wenn die beschuldigte Person nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung ihrer Interessen geboten ist (<ref-law>). Zur Wahrung der Interessen der beschuldigten Person ist die Verteidigung namentlich geboten, wenn es sich nicht um einen Bagatellfall handelt und (kumulativ) der Straffall in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, denen die beschuldigte Person allein nicht gewachsen wäre (<ref-law>). Ein Bagatellfall liegt jedenfalls dann nicht mehr vor, wenn eine Freiheitsstrafe von mehr als 4 Monaten, eine Geldstrafe von mehr als 120 Tagessätzen oder gemeinnützige Arbeit von mehr als 480 Stunden zu erwarten ist (<ref-law>). Nach dem Wortlaut von <ref-law>, wonach die amtliche Verteidigung zur Wahrung der Interessen der beschuldigten Person "namentlich" unter den Voraussetzungen von Art. 132 Abs. 2 und 3 StPO geboten ist, ist nicht ausgeschlossen, dass die Gewährung der amtlichen Verteidigung zur Wahrung der Interessen der beschuldigten Person aus anderen als den in dieser Bestimmung genannten Gründen geboten sein kann (Urteil 1B_477/2011 vom 4. Januar 2012 E. 2.2 mit Hinweisen).
2.2 Art. 132 Abs. 2 und 3 StPO entsprechen weitgehend der bundesgerichtlichen Rechtsprechung zur unentgeltlichen Verteidigung gemäss <ref-law> und Art. 6 Ziff. 3 lit. c EMRK (Urteile 1B_477/2011 vom 4. Januar 2012 E. 2.2 sowie 1B_195/2011 vom 28. Juni 2011 E. 3.2, nicht publ. in: <ref-ruling>). Demnach hat die bedürftige Partei Anspruch auf unentgeltliche Verbeiständung, wenn ihre Interessen in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bietet, die den Beizug eines Rechtsvertreters erforderlich machen. Falls das in Frage stehende Verfahren besonders stark in die Rechtsposition des Betroffenen eingreift, ist die Bestellung eines unentgeltlichen Rechtsvertreters grundsätzlich geboten. Dies trifft insbesondere im Strafprozess zu, wenn dem Beschuldigten eine schwerwiegende freiheitsentziehende Massnahme oder eine Strafe droht, deren Dauer die Gewährung des bedingten Strafvollzuges ausschliesst. Droht zwar eine erhebliche, nicht aber eine besonders schwere Freiheitsbeschränkung, müssen zur relativen Schwere des Eingriffs besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Betroffene - auf sich allein gestellt - nicht gewachsen wäre. Als besondere Schwierigkeiten, die eine Verbeiständung rechtfertigen können, fallen auch Gründe in der Person des Gesuchstellers in Betracht, insbesondere dessen Fähigkeit, sich im Verfahren zurechtzufinden. Bei offensichtlichen Bagatelldelikten, bei denen nur eine Busse oder eine geringfügige Freiheitsstrafe in Frage kommt, verneint das Bundesgericht einen unmittelbaren verfassungsmässigen Anspruch auf unentgeltliche Rechtsverbeiständung (<ref-ruling> E. 2.5.2 S. 232 mit Hinweisen).
3. 3.1 Unbestritten ist, dass der Beschwerdeführer im Sinne von <ref-law> bedürftig ist und dass es sich angesichts der zu erwartenden Strafe nicht um einen Bagatellfall im Sinne von <ref-law> handelt. Die Vorinstanz ist im angefochtenen Entscheid indessen zum Schluss gekommen, die amtliche Verteidigung sei zur Wahrung der Interessen des Beschwerdeführers nicht geboten, weil der Straffall in tatsächlicher und rechtlicher Hinsicht keine Schwierigkeiten biete, denen der Beschwerdeführer allein nicht gewachsen wäre. Der Beschwerdeführer wendet dagegen ein, er sei kamerunischer Staatsangehöriger und der deutschen Sprache zu wenig mächtig, um einer Einvernahme in dieser Sprache zu folgen. Entsprechend sei er nicht in der Lage, die Akten ohne Übersetzung zu verstehen und eine Eingabe in deutscher Sprache an das Gericht zu verfassen. Er sei juristischer Laie und mit dem schweizerischen Rechtssystem nicht vertraut.
3.2 Dem Beschwerdeführer wurde von der Staatsanwaltschaft Folgendes zur Last gelegt: Nachdem sein Asylgesuch mit Urteil des Bundesverwaltungsgerichts vom 9. November 2010 definitiv abgewiesen worden und er mit Schreiben des Bundesamts für Migration vom 15. November 2010 aufgefordert worden sei, die Schweiz bis spätestens zum 10. Dezember 2010 zu verlassen, habe er sich ab dem 11. Dezember 2010 in Kenntnis der abgelaufenen Ausreisefrist sowie des fehlenden Aufenthaltsrechts willentlich und wissentlich unrechtmässig in der Schweiz aufgehalten.
Es ist nicht ersichtlich, inwiefern der Straffall in tatsächlicher und rechtlicher Hinsicht besondere Schwierigkeiten bieten soll. Der Sachverhallt ist klar und grundsätzlich nicht umstritten. Wenn der Beschwerdeführer - wie er sinngemäss vorbringt - im Strafverfahren hätte dartun wollen, er sei nicht in der Lage gewesen, die für eine legale Ausreise notwendigen Papiere zu beschaffen, wäre dies nicht mit besonderen Schwierigkeiten verbunden gewesen. Bei der Anwendung von Art. 115 Abs. 1 lit. b AuG auf den vorliegenden Sachverhalt stellen sich keine komplizierten rechtlichen Fragen. Besondere Schwierigkeiten bietet der Straffall auch nicht hinsichtlich der möglichen Art oder Höhe der strafrechtlichen Sanktion. Keine besonderen rechtlichen Schwierigkeiten ergeben sich schliesslich daraus, dass die Staatsanwaltschaft eine bedingt ausgesprochene frühere Geldstrafe in der Höhe von 10 Tagessätzen widerrufen und für vollziehbar erklärt hat.
Zwar sind die Schwierigkeiten eines Straffalls an den Fähigkeiten der beschuldigten Person zu messen. Allein die Umstände, dass der Beschwerdeführer der Verhandlungssprache offenbar nicht genügend mächtig und juristischer Laie bzw. mit dem schweizerischen Rechtssystem wenig vertraut ist, führen aber vorliegend nicht zum Schluss, er sei auf sich allein gestellt den Schwierigkeiten des Falls nicht gewachsen, sodass er sich ohne Verteidigung im Strafverfahren nicht zurechtfinde. Dies zumal der Beschwerdeführer bereits im November 2007 in die Schweiz eingereist ist und die Sprachprobleme mit dem Beizug eines Dolmetschers überwunden werden können.
3.3 Dass die Gewährung der amtlichen Verteidigung zur Wahrung seiner Interessen aus anderen als den in Art. 132 Abs. 2 und 3 StPO genannten Gründen geboten wäre, bringt der Beschwerdeführer nicht vor und ist auch nicht ersichtlich. Unter Berücksichtigung sämtlicher Umstände erweist sich die Gewährung der amtlichen Verteidigung des Beschwerdeführers für das Strafverfahren zur Wahrung seiner Interessen nicht als im Sinne von <ref-law> geboten. Ein Anspruch auf amtliche Verteidigung ergibt sich auch nicht aus <ref-law> oder Art. 6 Ziff. 3 lit. c EMRK.
4. Der Beschwerdeführer wendet ein, die Vorinstanz habe eine Beschwerde gegen die Abweisung eines Gesuchs um Bestellung einer amtlichen Verteidigung in einem ähnlich gelagerten Fall gutgeheissen. Soweit er damit sinngemäss rügen wollte, der vorinstanzliche Entscheid stelle eine im Hinblick auf Art. 8 Abs. 1 bzw. <ref-law> unzulässige Praxisänderung dar, vermag er nicht durchzudringen, zumal die Voraussetzungen für eine amtliche Verteidigung jeweils anhand der konkreten Umstände im Einzelfall zu prüfen sind und nicht dargetan ist, dass die Vorinstanz mit dem angefochtenen Entscheid von einer eingelebten ständigen Praxis abgewichen wäre.
5. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz mit dem angefochtenen Entscheid die Verweigerung der amtlichen Verteidigung bestätigt hat. Der Beschwerdeführer beantragt, die Kosten des vorinstanzlichen Verfahrens seien dem Kanton Zürich aufzuerlegen und ihm sei für das vorinstanzliche Verfahren eine angemessene Parteientschädigung zuzusprechen. Er begründet aber nicht, weshalb ihm für das vorinstanzliche Verfahren trotz Unterliegens keine Kosten hätten auferlegt werden dürfen und eine Parteientschädigung hätte zugesprochen werden müssen. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer grundsätzlich kostenpflichtig (<ref-law>). Er ersucht indes um unentgeltliche Rechtspflege. Da die Voraussetzungen von Art. 64 Abs. 1 und 2 BGG erfüllt sind, kann dem Gesuch entsprochen werden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
2.1 Es werden keine Kosten erhoben.
2.2 Rechtsanwalt Peter Nideröst wird aus der Gerichtskasse eine Entschädigung von Fr. 1'000.-- ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft Zürich-Limmat, der Oberstaatsanwaltschaft des Kantons Zürich und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 6. Dezember 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Mattle