Sachverhalt:
A. A.a X._, geboren am 1. Januar 1964, ist kosovarischer Staatsangehöriger. Nach mehreren Kurzaufenthalten und erfolglosen Asylverfahren in der Schweiz heiratete er am 14. Oktober 2005 eine Schweizer Bürgerin. Sein Gesuch um Erteilung einer Aufenthaltsbewilligung wies das Migrationsamt des Kantons Aargau wegen Eingehens einer Scheinehe am 24. April 2006 ab; die dagegen erhobenen Rechtsmittel blieben erfolglos (vgl. Urteil 2A.772/2006 vom 29. Januar 2007).
A.b Am 17. Oktober 2008 heiratete X._ die aus Brasilien stammende Schweizer Bürgerin Y._, geboren am 14. Juli 1945. Das Migrationsamt des Kantons Zürich (nachfolgend: Migrationsamt) wies sein Gesuch um Erteilung einer Aufenthaltsbewilligung am 7. April 2009 mit der Begründung ab, er sei erneut eine Scheinehe eingegangen. Die dagegen erhobenen Rechtsmittel wurden vom Regierungsrat des Kantons Zürich (nachfolgend: Regierungsrat) mit Beschluss vom 1. September 2009 und vom Verwaltungsgericht des Kantons Zürich (nachfolgend: Verwaltungsgericht) mit Entscheid vom 4. Februar 2010 abgewiesen.
A.c Am 23. März 2010 stellten X._ und Y._ beim Migrationsamt sinngemäss den Antrag, die Verfügung vom 7. April 2009 in Wiedererwägung zu ziehen und X._ die Aufenthaltsbewilligung zu erteilen, da sie nun zusammen in einer Wohnung leben würden. Das Migrationsamt trat auf das Begehren mit Entscheid vom 7. April 2010 sinngemäss nicht ein, weil das geltend gemachte Zusammenleben keinen neuen Sachverhalt darstelle. Den dagegen erhobenen Rekurs wies der Regierungsrat am 2. März 2011 ab. Das Verwaltungsgericht bestätigte diesen Entscheid mit Urteil vom 6. Juli 2011.
A.d Am 25. Oktober 2011 stellten X._ und Y._ beim Migrationsamt erneut ein Wiedererwägungsgesuch und beantragten die Erteilung einer Aufenthaltsbewilligung für X._. Mit Verfügung vom 16. November 2011 trat das Migrationsamt auf das Gesuch nicht ein und forderte X._ auf, die Schweiz unverzüglich zu verlassen.
B. Die Sicherheitsdirektion wies den Rekurs gegen den Nichteintretensentscheid des Migrationsamts am 20. Januar 2012 ab, soweit sie darauf eintrat. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht mit Urteil vom 8. Mai 2012 ab, soweit es darauf eintrat.
C. X._ und Y._ erheben am 11. Juni 2012 Beschwerde beim Bundesgericht mit den Anträgen, der angefochtene Entscheid sei aufzuheben und zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen; eventuell sei der angefochtene Entscheid aufzuheben und X._ eine Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau zu erteilen. Zudem beantragen sie die unentgeltliche Rechtspflege und die Beiordnung ihres Rechtsvertreters als unentgeltlichen Rechtsbeistand.
Das Migrationsamt und die Sicherheitsdirektion haben sich nicht vernehmen lassen. Das Verwaltungsgericht verzichtet ausdrücklich auf Vernehmlassung, während das Bundesamt für Migration auf Abweisung der Beschwerde schliesst.
Mit Eingabe vom 21. November 2012 reicht X._ Fotos und Zahlungsbelege ein, welche belegen sollen, dass er und Y._ ein Paar seien.
D. Mit Präsidialverfügung vom 18. Juni 2012 ist der Beschwerde antragsgemäss aufschiebende Wirkung erteilt worden.
Erwägungen:
1. 1.1 Der verfahrensabschliessende Entscheid des Verwaltungsgerichts als letzter kantonaler Gerichtsinstanz in einer Angelegenheit des öffentlichen Rechts unterliegt grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 lit. a BGG, Art. 86 Abs. 1 lit. d BGG, Art. 90 BGG). Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde unzulässig gegen Entscheide auf dem Gebiet des Ausländerrechts betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend beruft sich der Beschwerdeführer auf Art. 42 Abs. 1 AuG (SR 142.20) und Art. 8 Ziff. 1 EMRK. Diese Normen schützen das Interesse des Beschwerdeführers an der Erteilung einer Aufenthaltsbewilligung und verschaffen ihm den entsprechenden Anspruch. Das Erfordernis, wonach der potenzielle Rechtsanspruch ernsthaft in Betracht fallen muss (vgl. Urteil 2C_769/2012 vom 22. Oktober 2012 E. 1.1 mit Hinweisen), ist vorliegend erfüllt. In materieller Hinsicht wird dieser Anspruch nicht zu prüfen sein, da das angefochtene Urteil einen Nichteintretensentscheid bestätigt (vgl. E. 2.1). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig.
1.2 Der Beschwerdeführer ist durch den angefochtenen Entscheid besonders berührt und hat an dessen Aufhebung ein schutzwürdiges Interesse; seine Beschwerdebefugnis ist unbestritten.
Die Beschwerdeführerin beantragt vor Bundesgericht ebenfalls Parteistellung. Sie war im Verfahren vor dem Migrationsamt als Gesuchstellerin aufgetreten, hatte aber dessen Verfügung vom 16. November 2011 im Rekurs vom 23. November 2011 an die Sicherheitsdirektion nicht mitangefochten. Im Verfahren vor der Vorinstanz trat die Ehefrau wiederum als Beschwerdeführerin auf, worauf die Vorinstanz ihre Parteistellung verneinte und auf ihre Beschwerde nicht eintrat. Die Beschwerdeführerin ficht diesen Nichteintretensentscheid nicht explizit an. Zu prüfen ist daher nur, ob sie in Bezug auf den abweisenden Entscheid der Vorinstanz zur Beschwerdeführung legitimiert ist. Gemäss Art. 89 Abs. 1 lit. a BGG ist zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt, wer am Verfahren vor der Vorinstanz teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat. Praxisgemäss verzichtet das Bundesgericht nur auf die Voraussetzung zur Teilnahme am vorinstanzlichen Verfahren, wenn eine Partei - ohne Verschulden - nicht in der Lage, war, sich an jenem Verfahren zu beteiligen bzw. wenn die konkrete Verfahrensordnung eine Teilnahme nicht gebietet (Urteil 2C_1029/2011 vom 10. April 2012 E. 1.1.2; BGE 135 II 172 E. 2.2.1 S. 175; 133 II 181 E. 3.2 S. 187 mit Hinweisen). Die Beschwerdeführerin legt nicht dar, inwiefern sie keine Möglichkeit zur Teilnahme an den vorinstanzlichen Verfahren, namentlich vor der Sicherheitsdirektion, gehabt haben soll. Ihre Legitimation im Verfahren vor dem Bundesgericht ist daher zu verneinen mit der Folge, dass auf ihre Beschwerde nicht einzutreten ist (vgl. auch Urteil 2C_841/2010 vom 4. Februar 2011 E. 1).
1.3 Die übrigen Sachurteilsvoraussetzungen sind erfüllt. Auf die Beschwerde ist in Bezug auf den Beschwerdeführer einzutreten.
2. 2.1 Streitgegenstand bildet die Frage, ob die Vorinstanz den Nichteintretensentscheid des Migrationsamts betreffend das Wiedererwägungsgesuch des Beschwerdeführers, in dem dieser um Anpassung der Verfügung vom 7. April 2009 ersucht hatte, zu Recht bestätigt hat. Ein analoger Entscheid der Vorinstanz war bereits am 6. Juli 2011 ergangen.
2.2 Die Wiedererwägung einer rechtskräftigen Verfügung kann von Amtes wegen oder auf Gesuch hin erfolgen, wenn nachträglich eingetretene Tatsachen die Anpassung der ursprünglichen Verfügung an den neuen Sachverhalt notwendig erscheinen lassen, weil andernfalls die rechtskräftige Verfügung fehlerhaft würde. Nur Dauerverfügungen können nachträglich fehlerhaft werden (TSCHANNEN/ZIMMERLI/MÜLLER, Allgemeines Verwaltungsrecht, 3. Aufl. 2009, S. 284 Rz. 12, S. 293 Rz. 41); um eine solche handelt es sich bei der Abweisung eines Gesuchs um Erteilung einer Aufenthaltsbewilligung. Ob neue, rechtserhebliche Tatsachen vorliegen, ist im Rahmen der Eintretensvoraussetzungen zu behandeln, während die Frage, ob die ursprüngliche Verfügung anzupassen sei, Gegenstand der materiellen Beurteilung bildet (vgl. auch TSCHANNEN/ZIMMERLI/MÜLLER, a.a.O., S. 290 Rz. 31). Das Rechtsinstitut der Wiedererwägung darf nicht dazu dienen, rechtskräftige Verfügungen immer wieder in Frage zu stellen oder die Fristen für die Ergreifung von Rechtsmitteln zu umgehen (vgl. BGE 136 II 177 E. 2.1 S. 181).
2.3 Das Migrationsamt hat das Vorliegen wesentlicher veränderter Umstände hinsichtlich des Führens einer Scheinehe verneint und ist am 16. November 2011 auf das Gesuch der Beschwerdeführenden um Anpassung der Verfügung vom 7. April 2009 nicht eingetreten. Da im vorangegangenen, am 23. März 2010 angehobenen Wiedererwägungsverfahren (vgl. Sachverhalt lit. A.c) Sachumstände bis zum Entscheid der Vorinstanz berücksichtigt werden konnten, sind für die Beurteilung nur Tatsachen relevant, welche nach dem 6. Juli 2011 eingetreten sind. Es ist daher zu prüfen, ob zwischen dem 6. Juli 2011 und dem 8. Mai 2012 Ereignisse stattgefunden haben, welche eine Überprüfung der Einschätzung nahelegen, wonach die Beschwerdeführenden ihre Ehe nur zum Schein führten. Der Hotelaufenthalt in Locarno vom 10. bis 11. Dezember 2010 fällt nicht in die massgebliche Periode, weshalb der Beschwerdeführer für das vorliegende Verfahren daraus nichts ableiten kann.
3. Der Beschwerdeführer macht eine Verletzung des rechtlichen Gehörs geltend. Diese formelle Rüge ist vorab zu behandeln (vgl. BGE 138 I 232 E. 5.1 S. 237).
3.1 Der Beschwerdeführer moniert, die Vorinstanz hätte die Glaubwürdigkeit der eingereichten Belege und Vorbringen nicht auf Grund seiner Vorgeschichte verneinen dürfen, ohne ihn noch einmal persönlich anzuhören. Damit habe die Vorinstanz die gebotene ernsthafte Auseinandersetzung mit neuen Vorbringen unterlassen. Zudem sei die Vorinstanz in keiner Weise auf die beigelegten Alltagsfotos und das geltend gemachte äusserst gute Verhältnis der Beschwerdeführerin zu seinen in der Schweiz lebenden Schwestern eingegangen.
3.1.1 Entgegen der Auffassung des Beschwerdeführers fliesst aus Art. 29 Abs. 2 BV kein Recht auf mündliche Anhörung (BGE 134 I 140 E. 5.3 S. 148; 130 II 425 E. 2.1 S. 428). Der Beschwerdeführer hatte im vorinstanzlichen Verfahren ausreichend Gelegenheit, seinen Standpunkt darzulegen; eine Verletzung des rechtlichen Gehörs ist nicht ersichtlich. Soweit der Beschwerdeführer geltend macht, die Wandlung der Scheinehe in eine tatsächlich gelebte Ehe könne im Zweifelsfall nicht rechtsgenüglich verneint werden ohne Anhörung der Eheleute, betrifft dies die Beweiswürdigung. Nach der Rechtsprechung liegt keine Verletzung des rechtlichen Gehörs vor, wenn ein Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es auf Grund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (BGE 136 I 229 E. 5.3 S. 236; 134 I 140 E. 5.3 S. 148).
3.1.2 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen der betroffenen Person auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich die betroffene Person über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinn müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (vgl. BGE 136 I 229 E. 5.2 S. 236 mit Hinweisen).
Die Vorinstanz hat einlässlich begründet, warum sie die vom Beschwerdeführer geltend gemachten Umstände nicht für geeignet hielt, den rechtserheblichen Sachverhalt anders zu würdigen als im vorangegangenen, rechtskräftigen Urteil vom 6. Juli 2011. Aus dem angefochtenen Urteil geht hervor, dass die Vorinstanz den Aussagen der Beschwerdeführerin betreffend die Intaktheit der Ehe sowie den beigelegten Fotos nur geringe Beweiskraft zumass; auch dies betrifft die Beweiswürdigung und damit die Feststellung des Sachverhalts. Die Vorinstanz hat ihre Begründungspflicht nicht verletzt, indem sie sich zu den eingereichten Fotos und zum Verhältnis der Beschwerdeführerin zu den Schwestern des Beschwerdeführers nicht weiter äusserte.
4. 4.1 Die Vorinstanz hat die Voraussetzungen für das Eintreten auf ein Wiedererwägungsgesuch wegen nachträglicher Fehlerhaftigkeit der ursprünglichen Verfügung korrekt dargelegt. Demgemäss ist eine wesentliche Veränderung der Sachlage anzunehmen, wenn sie geeignet ist, ein anderes Ergebnis herbeizuführen; geringfügige Änderungen einzelner Elemente gebieten die materielle Prüfung des Gesuchs noch nicht. Der Beschwerdeführer macht geltend, nunmehr eine echte Ehe zu führen; er und seine Frau würden zusammen Ferien verbringen und einander im Alltag beistehen. Insbesondere die Beschwerdeführerin betont, sie könne und wolle ohne den Beschwerdeführer nicht leben.
4.2 Nach der Rechtsprechung ist die Wandlung einer Scheinehe in eine tatsächlich geführte Ehe (sogenannter amor superveniens) nicht grundsätzlich ausgeschlossen, kann aber nicht leichthin angenommen werden (BGE 121 II 1 E. 2d S. 4). Da eine solche Wandlung auf seelische Vorgänge zurückzuführen ist, kann darauf nur mit Hilfe von Indizien geschlossen werden (vgl. BGE 130 II 482 E. 3.2 S. 485). Die Behauptungslast liegt dabei - wie bei jedem Wiedererwägungsgesuch infolge nachträglicher Änderung des Sachverhalts - bei der rechtsuchenden Partei. Ihr obliegt es, in überzeugender Weise darzutun, dass die Qualität der Beziehung eine entscheidende Wendung genommen hat und nunmehr eine echte Ehegemeinschaft vorliegt. Die Vorinstanz hat zu Recht darauf hingewiesen, dass in der Konstellation des amor superveniens erhöhte Anforderungen an den Nachweis des wirklichen Ehewillens zu stellen sind.
4.3 Der Beschwerdeführer sieht seine tatsächlich gelebte Ehegemeinschaft dadurch belegt, dass er und seine Frau einen gemeinsamen Alltag leben würden sowie einander gegenseitig beistehen und zusammen Ferien verbringen würden. Überdies pflege die Beschwerdeführerin einen äusserst engen Kontakt zu seiner Familie.
Mit den eingereichten Fotos und dem Beleg einer Reise der Beschwerdeführerin in den Kosovo im September 2011 zeigt der Beschwerdeführer nicht auf, inwiefern sich seine Beziehung zur Beschwerdeführerin geändert haben soll; auch zu den Motiven der neuen Qualität ihrer Beziehung äussert er sich nicht. Die äusseren Umstände vermitteln das Bild eines Arrangements, welches im Wunsch des Beschwerdeführers nach einer Aufenthaltsbewilligung und in der (nicht bestrittenen) psychischen Erkrankung der Beschwerdeführerin wurzelt. Sie ist es denn auch, welche ihre emotionale Abhängigkeit vom Beschwerdeführer hervorhebt. Er seinerseits ist 19 Jahre jünger als sie, was eher gegen die Annahme eines amor superveniens spricht.
Die gemeinsamen Ferien im Kosovo sind ein Element, welches zugunsten des Ehewillens gewertet werden könnte; ein solches Ereignis ist aber dennoch ein zu schwaches Indiz, um auf einen amor superveniens zu schliessen. Ein gemeinsamer Hotelaufenthalt in Locarno im Dezember 2010 vermochte jedenfalls den Entscheid der Vorinstanz vom 6. Juli 2011, den Nichteintretensentscheid des Migrationsamts zu bestätigen, nicht zu beeinflussen. Mit Blick auf den Aufenthalt in Locarno stellt auch der Ferienaufenthalt im Kosovo keine rechtserhebliche, im Vergleich zum ursprünglichen Sachverhalt neue Tatsache dar. Gemeinsame Ferienaufenthalte sind nicht nur unter Ehegatten, sondern auch unter Freunden möglich und üblich, insbesondere dann, wenn sie einander verpflichtet sind.
Schliesslich spricht die Tatsache, dass der Beschwerdeführer nach den verbindlichen Feststellungen der Vorinstanz (vgl. Art. 105 Abs. 1 BGG) nur zeitweise bei der Beschwerdeführerin wohnt, eindeutig gegen eine tatsächliche Ehegemeinschaft. Der Hinweis des Beschwerdeführers, er halte sich illegal in der Schweiz auf und müsse sich vor den Behörden verstecken, vermag daran nichts zu ändern; zudem hat der Beschwerdeführer diese Situation selbst herbeigeführt.
4.4 Insgesamt liegen keine hinreichenden Sachverhaltselemente vor, welche ein Rückkommen auf die Verfügung vom 7. April 2009, in der das Vorliegen einer Scheinehe rechtskräftig festgestellt wurde, gebieten würden. Die Vorinstanz hat somit den Nichteintretensentscheid des Migrationsamts vom 16. November 2011 zu Recht bestätigt.
5. Zusammenfassend ist festzuhalten, dass die Beschwerde offensichtlich unbegründet ist. Sie ist im Verfahren nach Art. 109 Abs. 2 lit. a BGG abzuweisen.
6. Im Rahmen der Kostenregelung ist vorab über das Gesuch um unentgeltliche Prozessführung zu befinden.
6.1 Gemäss Art. 64 Abs. 1 BGG befreit das Bundesgericht eine Partei, die nicht über die erforderlichen Mittel verfügt, auf Antrag von der Bezahlung der Gerichtskosten und von der Sicherstellung der Parteientschädigung, sofern ihr Rechtsbegehren nicht aussichtslos erscheint. Praxisgemäss sind Prozessbegehren als aussichtslos anzusehen, bei denen die Gewinnaussichten beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (BGE 129 I 129 E. 2.3.1 S. 135 mit Hinweisen).
Die vorstehenden Erwägungen haben gezeigt, dass der Beschwerde nur geringe Erfolgsaussichten beschieden waren. Die formellen Rügen erwiesen sich als unbehelflich, was mit Blick auf die Rechtsprechung zu Art. 29 Abs. 2 BV im vorliegenden Kontext (Anhörungsrecht der Partei und Begründungspflicht der Behörde) vorauszusehen war. In materieller Hinsicht waren die Erfolgschancen dadurch limitiert, dass in der gegebenen Konstellation (in der gleichen Angelegenheit rechtskräftig festgestelltes Eingehen einer Scheinehe sowie rechtskräftig abgewiesenes Wiedererwägungsgesuch, wobei beide Entscheide von zwei Rechtsmittelinstanzen überprüft worden waren) nicht leichthin ein amor superveniens anzunehmen war bzw. starke Indizien hätten darauf hindeuten müssen. Die vom Beschwerdeführer angeführten Argumente und Beweismittel waren nicht geeignet darzutun, dass sich der Sachverhalt seit dem 6. Juli 2011 massgeblich geändert hätte. Der Beschwerdeführer musste daher mit der Abweisung der Beschwerde rechnen. Aufgrund der Aussichtslosigkeit des Rechtsmittels ist das Gesuch um unentgeltliche Prozessführung abzuweisen.
6.2 Die Gerichtskosten sind den unterliegenden Beschwerdeführenden unter solidarischer Haftung aufzuerlegen (vgl. Art. 66 Abs. 1 und 5 BGG). Es ist keine Parteientschädigung zuzusprechen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführenden unter solidarischer Haftung auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 19. Februar 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Genner