Erwägungen:
1. 1.1 X._ (geb. 1970), Staatsangehöriger von Bangladesch reiste am 13. Oktober 2004 von Italien in die Schweiz ein und heiratete gleichentags in Zürich die 15 Jahre ältere, ursprünglich aus Thailand stammende und als Prostituierte tätige Schweizer Bürgerin Y._, die er am 4. März 2004 in einer Cafeteria in Basel kennen gelernt hatte. Gestützt auf die Heirat wurde ihm am 2. Juni 2005 im Kanton Zürich eine Aufenthaltsbewilligung (letztmals verlängert bis zum 12. Oktober 2008) zum Verbleib bei der Ehefrau erteilt.
Nach Eingang eines Hinweises betreffend Scheinehe veranlasste das Migrationsamt eine Überprüfung der ehelichen Verhältnisse von X._. Die vorgenommenen Ermittlungen ergaben unter anderem, dass die Ehegatten getrennt lebten (in Zürich bzw. in Basel), und erhärteten den Verdacht, dass X._ und Y._ eine Scheinehe eingegangen waren.
1.2 Mit Verfügung vom 29. Juli 2009 wies das Migrationsamt das Gesuch von X._ um Verlängerung der Aufenthaltsbewilligung ab und wies ihn aus der Schweiz weg. Die von X._ dagegen ergriffenen kantonalen Rechtsmittel blieben ohne Erfolg.
1.3 Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 13. September 2011 beantragen X._ (Beschwerdeführer 1) und Y._ (Beschwerdeführerin 2), das Urteil des Verwaltungsgerichts des Kantons Zürich vom 14. Juli 2011 aufzuheben, die Beschwerdegegnerin einzuladen, X._ die Aufenthaltsbewilligung zu verlängern, eventualiter die Sache zur Neubeurteilung an die Vorinstanz, an die erste Instanz bzw. an die Beschwerdegegnerin zurückzuweisen und dem Beschwerdeführer für die bisherigen Verfahren eine angemessene Entschädigung zu gewähren.
Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Die Sicherheitsdirektion und der Regierungsrat des Kantons Zürich liessen sich nicht vernehmen. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Mit Verfügung vom 21. September 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts der Beschwerde hinsichtlich der Ausreiseverpflichtung antragsgemäss aufschiebende Wirkung zuerkannt.
2. 2.1 Die Beschwerdeführerin 2 hat am vorinstanzlichen Verfahren nicht teilgenommen. Von Amtes wegen musste sie nicht als Partei einbezogen werden und sie behauptet zu Recht nicht, sie habe verlangt, als Partei am kantonalen Verfahren teilzunehmen, und habe dazu keine Möglichkeit erhalten. Sie ist somit nach Art. 89 Abs. 1 lit. a BGG nicht zur Beschwerde in öffentlich-rechtlichen Angelegenheiten berechtigt (vgl. BERNHARD WALDMANN, in: Basler Kommentar zum BGG, Hrsg. Niggli/Uebersax/Wiprächtiger, 2. Auflage 2011, N. 9 zu Art. 89). Auf die Beschwerde der Ehegattin kann daher nicht eingetreten werden.
2.2 Der Beschwerdeführer 1, der mit einer Schweizerin verheiratet ist, macht einen Anspruch auf Verlängerung der Aufenthaltsbewilligung gestützt auf Art. 42 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (Ausländergesetz, AuG; SR 142.20) geltend. Insoweit ist seine Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (Art. 83 lit. c Ziff. 2 BGG e contrario) und es ist darauf einzutreten.
2.3 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 bzw. Art. 97 Abs. 1 BGG).
Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Die im bundesgerichtlichen Beschwerdeverfahren neu eingereichten Beweismittel sind unbeachtlich, weil sie diese Voraussetzung nicht erfüllen bzw. weil es sich um so genannte "echte" Noven handelt, die im bundesgerichtlichen Verfahren in jedem Fall unzulässig sind (BGE 133 IV 342 E. 2.1 S. 344).
3. 3.1 Nach Art. 42 Abs. 1 AuG haben ausländische Ehegatten von Schweizerinnen Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, wobei vorausgesetzt wird, dass sie mit diesen zusammenwohnen. Die in Art. 49 AuG vorgesehene Ausnahme vom Erfordernis des Zusammenwohnens gelangt zur Anwendung, wenn wichtige Gründe für das Getrenntleben der Ehegatten bei gleichzeitigem Fortbestand der Familiengemeinschaft vorliegen, wozu insbesondere berufliche Verpflichtungen oder eine vorübergehende Trennung wegen erheblicher familiärer Probleme gehören (Art. 76 der Verordnung vom 24. Oktober 2007 über Zulassung, Aufenthalt und Erwerbstätigkeit [VZAE; SR 142.201]). Die Ansprüche nach Art. 42 AuG erlöschen namentlich, wenn die Ehe bloss zur Umgehung der Vorschriften betreffend die Zulassung und den Aufenthalt eingegangen wurde (Art. 51 Abs. 1 lit. a AuG).
3.2 Das Verwaltungsgericht hat festgestellt, dass vorliegend zahlreiche Indizien bestehen, die auf eine Ausländerrechtsehe hindeuten (kurze Bekanntschaft, keine Bewilligungserteilung ohne Heirat, Altersunterschied, getrennte Wohnorte unter der Woche, wenig Anzeichen für gemeinsames Wohnen am Wochenende, mangelnde Kenntnisse betreffend den anderen Ehepartner, Erwerbstätigkeit der Ehefrau, etc.). Was der Beschwerdeführer 1 gegen die vorinstanzlichen Sachverhaltsfeststellungen vorbringt, vermag diese keineswegs als offensichtlich unrichtig, d.h. willkürlich erscheinen zu lassen (vgl. E. 2.3).
Die Vorinstanz hat die bundesgerichtliche Rechtsprechung betreffend Scheinehe und den diesbezüglichen Indizienbeweis korrekt angewandt. Es trifft zu, dass ein einzelnes Indiz für sich allein die Annahme einer Ausländerrechtsehe nicht zu rechtfertigen vermöchte und somit auch die Tatsache allein, dass die Ehefrau als Prostituierte arbeitet, eine echte eheliche Gemeinschaft nicht von vornherein ausschliesst. Allerdings darf auch dieser Umstand ohne Verletzung des Diskriminierungsverbots in die Gesamtbetrachtung aller Indizien einbezogen werden, selbst wenn er für das Ergebnis der Würdigung nicht ins Gewicht fällt. Die Ausübung einer anderen Erwerbstätigkeit durch die Ehefrau vermöchte entgegen der Behauptung des Beschwerdeführers 1 an der Beurteilung der vorliegenden ehelichen Verhältnisse nichts zu ändern. Dass die Vorinstanz aufgrund der Gesamtwürdigung der verschiedenen Indizien schloss, der Beschwerdeführer 1 sei eine Scheinehe eingegangen, ist somit nicht zu beanstanden. Was der Beschwerdeführer 1 dagegen vorbringt, vermag diese Würdigung nicht zu erschüttern.
Abgesehen davon, dass es vorliegend bereits an der erforderlichen ehelichen Gemeinschaft fehlt, wären auch keine wichtigen Gründe im Sinne von Art. 49 AuG für das Getrenntleben ersichtlich. Namentlich ist nicht nachvollziehbar, weshalb der Beschwerdeführer 1, der über keine beruflichen Qualifikationen verfügt, nicht in Basel, wo seine Ehefrau ihre Erwerbstätigkeit ausübt, hätte eine Anstellung finden und Wohnsitz nehmen können. Dass er sich darum (vergeblich) bemüht hätte, macht er im Übrigen nicht geltend. Art. 49 AuG hat aber nicht zum Ziel, den Ehegatten einfach die Möglichkeit einzuräumen, aus irgendwelchen persönlichen Gründen auf ein Zusammenleben zu verzichten.
3.3 Die Nichtverlängerung der Aufenthaltsbewilligung des Beschwerdeführers erweist sich somit als bundesrechtskonform.
4. 4.1 Die offensichtlich unbegründete Beschwerde ist damit im vereinfachten Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann. Für die Begründung kann auf die Ausführungen im angefochtenen Entscheid verwiesen werden (Art. 109 Abs. 3 BGG).
4.2 Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 und Abs. 5 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, der Sicherheitsdirektion des Kantons Zürich, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 3. Juni 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs