Sachverhalt: Mit Strafbefehl vom 13. Februar 2012 verurteilte die Staatsanwaltschaft Zürich-Limmat X._ wegen Vergehens gegen das Ausländergesetz im Sinne von Art. 115 Abs. 1 lit. b AuG (SR 142.20) zu einer bedingten Geldstrafe in der Höhe von 150 Tagessätzen und einer Busse von Fr. 800.--. Gleichzeitig wurde eine mit Strafbefehl der Staatsanwaltschaft Winterthur/Unterland vom 15. Mai 2009 bedingt ausgesprochene Geldstrafe in der Höhe von 10 Tagessätzen widerrufen und für vollziehbar erklärt. X._ erhob gegen den Strafbefehl Einsprache und ersuchte um Bewilligung der amtlichen Verteidigung. Die Oberstaatsanwaltschaft des Kantons Zürich wies das Gesuch um Bewilligung der amtlichen Verteidigung am 15. März 2012 ab. Eine von X._ gegen die Verweigerung der amtlichen Verteidigung erhobene Beschwerde wies das Obergericht des Kantons Zürich am 26. Juli 2012 ab. Gegen den Entscheid des Obergerichts hat X._ am 21. September 2012 Beschwerde in Strafsachen ans Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und ihm für das Strafverfahren ein amtlicher Verteidiger zu bestellen. Die Gerichtskosten des kantonalen Verfahrens seien dem Kanton Zürich aufzuerlegen und der Kanton Zürich sei zu verpflichten, ihm für das kantonale Verfahren eine angemessene Parteientschädigung zuzusprechen. Für die Festlegung der Höhe der Entschädigung sei die Sache an die Vorinstanz zurückzuweisen. Die Staatsanwaltschaft, die Oberstaatsanwaltschaft und die Vorinstanz haben auf Vernehmlassung verzichtet.