Sachverhalt:
A. Die Staatsanwaltschaft Zürich-Limmat bzw. nunmehr die Staatsanwaltschaft II des Kantons Zürich führt gegen X._ ein Strafverfahren wegen Urkundenfälschung und Betrug. Sie wirft ihr vor, mit gefälschten Unterlagen (insbesondere Lohnabrechnungen) einen Barkredit bei der Y._ Bank erwirkt zu haben. Am 8. November 2011 ersuchte X._ um Bestellung eines amtlichen Verteidigers. Mit Verfügung vom 15. November 2011 wies die Oberstaatsanwaltschaft des Kantons Zürich das Gesuch ab. Eine dagegen von X._ erhobene Beschwerde wurde vom Obergericht des Kantons Zürich mit Beschluss vom 27. Februar 2012 abgewiesen.
B. Mit Beschwerde in Strafsachen vom 30. März 2012 beantragt X._, der Beschluss des Obergerichts sei aufzuheben und es sei Rechtsanwalt Kenad Melunovic als ihr amtlicher Verteidiger einzusetzen.
Die Staatsanwaltschaft, die Oberstaatsanwaltschaft und das Obergericht haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Der angefochtene Entscheid betrifft die Verweigerung der Bestellung einer amtlichen Verteidigung in einem gegen die Beschwerdeführerin geführten Strafverfahren und ist kantonal letztinstanzlich. Dagegen ist die Beschwerde in Strafsachen gegeben (Art. 78 Abs. 1 und Art. 80 Abs. 1 BGG). Die Beschwerdeführerin hat am Verfahren vor der Vorinstanz teilgenommen und hat ein rechtlich geschütztes Interesse an dessen Aufhebung oder Änderung. Sie ist zur Beschwerde legitimiert (<ref-law>). Der angefochtene Entscheid ist ein selbständig eröffneter Zwischenentscheid, der einen nicht wieder gutzumachenden Nachteil bewirken kann (<ref-law>; Urteil 1B_436/2011 vom 21. September 2011 E. 1, in: Pra 2012 Nr. 16 S. 100). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2. 2.1 Die Beschwerdeführerin macht geltend, das Obergericht habe <ref-law> verletzt, indem es keine amtliche Verteidigung angeordnet habe. Sie spreche zwar Deutsch und könne sich durchaus im Alltag verständigen, doch habe sie lediglich die Realschule besucht und keine Lehre begonnen. Bereits etwas anspruchsvollere deutsche Texte verstehe sie nicht und könne daher auch auf einen Tatvorwurf, der nicht komplex sei, nicht angemessen reagieren. Es sei zudem zu berücksichtigen, dass es um die Erhebung des gesamten für den Vorwurf der Urkundenfälschung und des Betrugs relevanten Sachverhalts gehe. Der Sachverhalt sei zudem keineswegs klar. Sie sei Opfer einer betrügerischen Gruppierung geworden, deren Mitglieder sich als Kreditvermittler ausgegeben hätten. Es kämen somit komplexe Fragen zur strafrechtlichen Teilnahme hinzu. Die Straftatbestände der Urkundenfälschung und des Betrugs seien selbst für Juristen anspruchsvoll; sie selbst sei mit dem schweizerischen Rechtssystem nicht vertraut. Ohne Vertretung sei ihr deshalb eine wirksame Verteidigung unmöglich.
2.2 Das Obergericht führt aus, der Beschwerdeführerin werde einzig vorgeworfen, im Januar 2010 einen Kreditantrag mit falschen Lohnunterlagen eingereicht zu haben, wobei der Kredit über Vermittler zustande gekommen sei, die Beschwerdeführerin mithin mit der Bank nicht direkt in Verbindung getreten sei. Dieser Tatvorwurf sei leicht erfass- und überschaubar. Anhaltspunkte für besondere tatsächliche oder rechtliche Schwierigkeiten, denen die Beschwerdeführerin nicht gewachsen wäre, seien nicht ersichtlich. Sie lebe seit ca. ihrem siebten Altersjahr in der Schweiz und habe hier die Primar- und Realschule besucht. Für die polizeilichen Einvernahmen habe sie denn auch keine Übersetzung benötigt. Zudem seien Urkundenfälschung und Betrug nicht generell komplexe Tatbestände. Der Schwierigkeitsgrad sei abhängig vom Sachverhalt, der vorliegend einfach sei.
2.3 Gemäss <ref-law> ordnet die Verfahrensleitung eine amtliche Verteidigung an, wenn die beschuldigte Person nicht über die erforderlichen Mittel verfügt und die Verteidigung zur Wahrung ihrer Interessen geboten ist. Letzteres ist nach <ref-law> namentlich der Fall, wenn es sich nicht um einen Bagatellfall handelt und der Straffall in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, denen die beschuldigte Person allein nicht gewachsen wäre.
Mit dieser Regelung wird die bisherige bundesgerichtliche Rechtsprechung zu <ref-law> kodifiziert. Danach ist die Bestellung eines unentgeltlichen Rechtsbeistands insbesondere geboten, wenn sich die aufgeworfenen Rechtsfragen nicht leicht beantworten lassen und die betreffende Person nicht rechtskundig ist (<ref-ruling> E. 3b S. 266 mit Hinweisen). Massgebend sind die konkreten Umstände des Einzelfalls, insbesondere die Fähigkeiten der betroffenen Person, sich im Verfahren zurecht zu finden (<ref-ruling> E. 2.5.2 S. 232 f.; <ref-ruling> E. 2c/bb S. 51 f.; Urteile 1B_412/2011 vom 13. September 2011 E. 2.3; 1B_372/2011 vom 29. August 2011 E. 2.2; 1P.675/2005 vom 14. Februar 2006 E. 5.3, in: Pra 2007 Nr. 3 S. 9; je mit Hinweisen). In dieser Hinsicht ist zudem nicht nur der gegenwärtige Verfahrensstand zu berücksichtigen, sondern auch dessen möglicher künftiger Entwicklung Rechnung zu tragen (vgl. Urteil 1B_477/2011 vom 4. Januar 2012 E. 2.3). Für eine wirksame Verteidigung ist es in der Regel wesentlich, möglichst früh im Verfahren damit beginnen zu können.
2.4 Es ist unbestritten, dass die Beschwerdeführerin nicht über die erforderlichen Mittel verfügt und dass es sich um keinen Bagatellfall handelt. Strittig ist dagegen, ob das Strafverfahren in tatsächlicher oder rechtlicher Hinsicht Schwierigkeiten bietet, denen die Beschwerdeführerin allein nicht gewachsen ist. In dieser Hinsicht trifft zu, dass nicht davon ausgegangen werden kann, beim Vorwurf des Betrugs und der Urkundenfälschung liege generell ein komplexer Fall vor, der eine amtliche Verteidigung erforderlich macht. Dies ist vielmehr abhängig vom zugrunde liegenden Sachverhalt. Wenn das Obergericht diesen mit dem Argument als einfach und überschaubar bezeichnet, dass der Beschwerdeführerin einzig vorgeworfen werde, von einer Bank mit gefälschten Unterlagen einen Barkredit erwirkt zu haben, so blendet sie einen Teil des mutmasslichen Sachverhalts aus. An anderer Stelle des angefochtenen Entscheids wird ausgeführt, der Kredit solle über einen "Zwischenvermittler" zu Stande gekommen sein. Die Staatsanwaltschaft wies in diesem Zusammenhang in einem Schreiben vom 4. Januar 2012 an das Obergericht darauf hin, dass im Rahmen eines gegen drei andere Personen hängigen Strafverfahrens der Name der Beschwerdeführerin aufgetaucht sei. Diesen drei Personen werde gewerbsmässiger Betrug und Urkundenfälschung vorgeworfen. Konkret bestehe der Verdacht, dass sie für die Beschwerdeführerin und weitere Personen gefälschte Dokumente hergestellt und damit Kredite bei Banken beantragt hätten. Somit stehen zum einen Fragen der Teilnahme im Raum, die den Fall rechtlich und tatsächlich komplizierter machen. Zum anderen ist aber auch plausibel, dass die drei erwähnten Personen versuchen könnten, der Beschwerdeführerin die Schuld in die Schuhe zu schieben. Die Beschwerdeführerin selbst ist 23 Jahre alt und hat eine minimale Schulbildung genossen. Sie hat lediglich die Realschule besucht und keine Lehre angefangen. Nach ihren eigenen Angaben bekundet sie Mühe, anspruchsvollere Texte in deutscher Sprache zu verstehen. Insgesamt erscheint deshalb fraglich, inwieweit sie in der Lage ist, die Akten zu studieren, Beweisanträge zu stellen und bei den sich stellenden Rechtsfragen ihre Argumente gezielt vorzutragen. Insgesamt ist nicht davon auszugehen, dass sie sich im vorliegenden Strafverfahren allein effektiv verteidigen kann.
Im Lichte der dargelegten Rechtsprechung, die wesentlich auf die Fähigkeiten der betroffenen Person abstellt, sich im Verfahren zurecht zu finden, ist der Anspruch der Beschwerdeführerin auf amtliche Verteidigung zu bejahen. Die Rüge der Verletzung von <ref-law> ist begründet.
3. Die Beschwerde ist gutzuheissen und der angefochtene Entscheid aufzuheben. Das Bundesgericht entscheidet reformatorisch (vgl. <ref-law>) und setzt Rechtsanwalt Kenad Melunovic als amtlichen Verteidiger ein.
Dem Ausgang des bundesgerichtlichen Verfahrens entsprechend sind keine Gerichtskosten zu erheben (<ref-law>). Der Kanton Zürich hat der Beschwerdeführerin für das kantonale Verfahren und für das Verfahren vor dem Bundesgericht eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 und 5 BGG). Damit wird das Gesuch der Beschwerdeführerin um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der angefochtene Entscheid aufgehoben. Rechtsanwalt Kenad Melunovic wird für das Strafverfahren B-5/2011/7150 als amtlicher Verteidiger der Beschwerdeführerin bestellt.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat die Beschwerdeführerin für das kantonale Verfahren und das Verfahren vor Bundesgericht mit insgesamt Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird der Beschwerdeführerin, der Staatsanwaltschaft Zürich-Limmat, der Oberstaatsanwaltschaft und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 7. Mai 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold