Sachverhalt:
A. Der 1962 geborene türkische Staatsangehörige X._ reiste gemäss eigenen Angaben am 4. Oktober 2000 in die Schweiz ein und ersuchte hier erfolglos um Asyl. Der Aufforderung zur Ausreise kam er nicht nach, sondern heiratete am 12. September 2001 eine 1959 geborene Schweizer Bürgerin, welche am 31. Juli 1999 einen Schlaganfall erlitten hatte, seither teilweise gelähmt und auf einen Rollstuhl angewiesen ist, eine IV-Rente und Ergänzungsleistungen bezieht und bis im April 2010 verbeiständet war. Gestützt auf diese Beziehung erteilte ihm das Migrationsamt des Kantons Zürich zuerst eine Aufenthaltsbewilligung und am 23. November 2006 schliesslich die Niederlassungsbewilligung.
Nachdem X._ ein Gesuch um erleichterte Einbürgerung gestellt hatte, beauftragte das Gemeindeamt des Kantons Zürich die Stadtpolizei Zürich mit der Überprüfung der ehelichen Gemeinschaft.
Aufgrund der Erkenntnisse dieser Überprüfung widerrief das Migrationsamt mit Verfügung vom 24. August 2010 die Niederlassungsbewilligung von X._. Es begründete dies im Wesentlichen damit, die Verbindung zwischen X._ und seiner schweizerischen Gattin sei von Anfang an nur eine Scheinehe gewesen.
B. Die von X._ eingereichten Rechtsmittel gegen die Widerrufsverfügung des Migrationsamtes wurden von der Rekursabteilung der Sicherheitsdirektion des Kantons Zürich (Rekursentscheid vom 11. Mai 2011) sowie vom Verwaltungsgericht des Kantons Zürich (Urteil vom 30. November 2011) abgewiesen.
C. Mit Eingabe vom 6. Januar 2012 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht und stellt im Wesentlichen den Antrag, es sei das Urteil des Verwaltungsgerichts aufzuheben und vom Widerruf seiner Niederlassungsbewilligung abzusehen.
Die Sicherheitsdirektion und das Verwaltungsgericht des Kantons Zürich sowie das Bundesamt für Migration schliessen auf Abweisung der Beschwerde.
Mit Verfügung vom 12. Januar 2012 erkannte der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde antragsgemäss aufschiebende Wirkung zu.
Mit Verfügung vom 29. Februar 2012 lehnte das Bundesgericht das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung mangels prozessualer Bedürftigkeit ab.

Erwägungen:
1. Gemäss <ref-law> ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ausgeschlossen betreffend ausländerrechtliche Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt. Vorliegend geht es nicht um die erstmalige Erteilung oder die Verlängerung, sondern um den Widerruf einer bereits gewährten Bewilligung. Die Beschwerde bleibt in diesem Zusammenhang zulässig, soweit die Bewilligung - wäre sie nicht widerrufen worden - nach wie vor Rechtswirkungen entfalten würde. Dies ist bei der unbefristeten Niederlassungsbewilligung der Fall (vgl. <ref-ruling> E. 1.2.1 S. 4). Die Zulässigkeit des Rechtsmittels beruht auf dem schutzwürdigen Vertrauen, dass eine erteilte Bewilligung für die Dauer ihrer Gültigkeit fortbesteht und grundsätzlich nicht in die entsprechende Rechtsposition eingegriffen wird (vgl. Urteile 2C_515/2009 vom 27. Januar 2010 E. 1.1; 2C_21/2007 vom 16. April 2007 E. 1.2). Auf die fristgerecht eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den angefochtenen, kantonal letztinstanzlichen Endentscheid eines oberen Gerichts in einer Angelegenheit des öffentlichen Rechts (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 90 und Art. 100 Abs. 1 BGG) ist deshalb grundsätzlich einzutreten, zumal der Beschwerdeführer als Adressat des angefochtenen Entscheids ohne Weiteres zur Beschwerdeführung legitimiert ist (<ref-law>).
2. Nach Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. a AuG kann die Niederlassungsbewilligung widerrufen werden, wenn der Ausländer oder sein Vertreter im Bewilligungsverfahren falsche Angaben macht oder wesentliche Tatsachen verschwiegen hat. Dies gilt unter anderem für den Fall, dass sich nachträglich Indizien ergeben, welche die Ehe, auf die sich der Ausländer für den Erhalt der Bewilligung berufen hat, als Scheinehe oder als bloss aus fremdenpolizeilichen Gründen aufrechterhaltene Ehe erscheinen lassen (vgl. <ref-ruling> E. 2.1 f. S. 151; Urteile 2C_505/2012 vom 18. Juli 2012 E. 2.1; 2C_656/2011 vom 8. Mai 2012 E. 2.1 und E. 2.2; 2C_205/2010 vom 16. Juli 2010 E. 3.1). Ob eine Scheinehe geschlossen wurde bzw. ob die Ehe bloss noch formell besteht, entzieht sich in der Regel dem direkten Beweis und ist bloss durch Indizien zu erstellen (<ref-ruling> E. 10.2 und 10.3 S. 135 f. mit Hinweis).
3. Das Verwaltungsgericht führt im angefochtenen Entscheid aus, im Rahmen der Überprüfung der ehelichen Gemeinschaft sei insbesondere die schweizerische Ehefrau des Beschwerdeführers einvernommen worden. Diese habe ausgesagt, es habe sich bei der Heirat um einen "Deal" gehandelt. Die Ehefrau habe zudem angegeben, es sei ihr zur Zeit der Eheschliessung nicht gut gegangen und sie habe auch Mitleid mit dem Beschwerdeführer empfunden: Dieser habe als Asylsuchender Probleme mit dem Aufenthaltsrecht gehabt und sei doch dringend auf eine spezialärztliche Behandlung angewiesen gewesen. Auch der Beschwerdeführer erwähne in seiner Eingabe, dass mit der Heirat beiden geholfen gewesen sei: Er habe in der Schweiz bleiben können und der Ehefrau sei das Pflegeheim erspart geblieben. Aufgrund dieser Angaben der Ehegatten sowie aufgrund des Umstands, dass der Beschwerdeführer ohne die Eheschliessung als abgewiesener Asylbewerber die Schweiz hätte verlassen müssen, qualifizierte das Verwaltungsgericht die Beziehung als Scheinehe und es sah den Widerrufsgrund von Art. 63 Abs. 1 lit. a i.V.m. Art. 62 lit. a AuG als erfüllt an, zumal der Beschwerdeführer dies bei seinen Gesuchen um Erteilung und Verlängerung der Aufenthaltsbewilligung sowie bei seinem Gesuch um Erteilung der Niederlassungsbewilligung verschwiegen habe.
4. Der Beschwerdeführer bestreitet demgegenüber, dass die Eheschliessung einzig ehefremden Zwecken gedient habe. Zwar sei mit der Heirat tatsächlich beiden Gatten geholfen gewesen, doch würden diese Interessen weitergehende Gefühle nicht ausschliessen. Es sei nicht nachvollziehbar, weshalb eine derartige Symbiose ausländerrechtlich als missbräuchlich erscheine: Verbindungen, die mit einem sozialen Aufstieg einhergingen, seien schliesslich seit Jahrtausenden akzeptiert. Im Übrigen werde die eheliche Verbindung schon durch die Tatsache legitimiert, dass er der Ehefrau bei allen Handreichungen, Besorgungen, etc. zuverlässig helfe. Zwar sei es richtig, dass er seine Ehefrau vor einer zwischenzeitlichen Trennung nicht mehr gleich aufmerksam behandelt habe wie anfänglich; heute sei dies jedoch wieder anders. Schliesslich sei darauf hinzuweisen, dass er mit seiner Ehefrau auch eine langjährige intime Beziehung gepflegt habe.
5. Dass sich der Beschwerdeführer vor der Eheschliessung aufgrund seines rechtskräftig abgewiesenen Asylgesuchs mit der Wegweisung konfrontiert sah, hat das Verwaltungsgericht zu Recht als Indiz für das Bestehen einer Scheinehe gewertet (<ref-ruling> E. 2b S. 295). Ebenso durfte es aufgrund der Aussagen beider Ehegatten davon ausgehen, dass die aufenthaltsrechtliche Situation des Beschwerdeführers massgeblich zum Entschluss zur Eheschliessung beigetragen hat, was dieser denn auch nicht bestreitet.
Jedoch liegt eine Scheinehe nicht bereits dann vor, wenn ausländerrechtliche Motive für den Eheschluss mitentscheidend waren. Erforderlich ist zusätzlich, dass der Wille zur Führung einer Lebensgemeinschaft - zumindest bei einem Ehepartner - von Anfang an nicht gegeben ist (vgl. <ref-ruling> E. 3b S. 101 f.; Urteile 2C_914/2010 vom 29. August 2011 E. 2.4; 2C_244/2010 vom 15. November 2010 E. 2.3). Die im vorliegenden Fall durchaus naheliegenden ausländerrechtlichen Motive für den Eheschluss schliessen mit anderen Worten nicht aus, dass trotzdem eine Lebensgemeinschaft gewollt ist und tatsächlich gelebt wird. Die Vorinstanz hätte deshalb nicht einzig aus den mutmasslichen Gründen des Beschwerdeführers für das Eingehen der Ehe auf eine Scheinehe schliessen dürfen. Die Beschwerde erweist sich daher als begründet.
Immerhin kann festgestellt werden, dass das Migrationsamt und auch die Rekursabteilung der Sicherheitsdirektion des Kantons Zürich eine umfassendere Betrachtung der Gesamtumstände vorgenommen und namentlich den Abläufen beim Kennenlernen der Ehegatten, der Ausgestaltung des Alltags sowie generell der Intensität der Beziehung der Eheleute Beachtung geschenkt hatten. Die ergänzende Berücksichtigung der diesbezüglichen Sachverhaltsfeststellungen des Amtes und der Direktion ist dem Bundesgericht aber grundsätzlich verwehrt, legt es doch in der Regel seinem Urteil ausschliesslich den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>); diesen kann das Bundesgericht nur dann von Amtes wegen berichtigen oder ergänzen, wenn die vorinstanzlichen Sachverhaltsfeststellungen offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>), was hier nicht der Fall ist. Aus diesem Grund rechtfertigt es sich, die Angelegenheit zur neuerlichen Beurteilung und Begründung an die Vorinstanz zurückzuweisen.
6. Dem Ausgang des Verfahrens entsprechend, sind keine Gerichtskosten zu erheben (<ref-law>). Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der angefochtene Entscheid wird aufgehoben. Die Sache wird im Sinne der Erwägungen zu neuer Entscheidung an das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Verfahrensbeteiligten sowie dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 22. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Zähndler