Sachverhalt:
A. Das Strafgericht Basel-Stadt erklärte X._ am 1. Juli 2010 der mehrfachen Vergewaltigung, der mehrfachen, teilweise versuchten Nötigung, der mehrfachen Drohung, der einfachen Körperverletzung und des mehrfachen Ungehorsams gegen amtliche Verfügungen schuldig. Es widerrief die X._ von der Strafvollzugskommission Basel-Stadt am 26. Mai 2009 für die Reststrafe von 116 Tagen aus dem Urteil des Strafgerichts Basel-Stadt vom 19. November 2008 gewährte bedingte Entlassung und verurteilte ihn zu einer Gesamtfreiheitsstrafe von 6 Jahren, zu einer Busse von Fr. 2'000.-- und zur Zahlung von Fr. 30'000.-- Genugtuung an Y._.
Auf Appellation von X._ hin bestätigte das Appellationsgericht des Kantons Basel-Stadt am 30. November 2011 das erstinstanzliche Urteil.
Das Appellationsgericht hält u.a. für erwiesen, dass X._ an seiner Ex-Ehefrau, Y._, in der Zeit nach der Scheidung im Oktober 2003 bis im September 2009 während etwa fünf Jahren ein- bis zweimal pro Woche gegen deren Willen den Geschlechtsverkehr vollzog. Die Vergewaltigungen gingen mit Demütigungen, Todesdrohungen und Gewalttätigkeiten einher. Indem er nach seiner Haftentlassung am 18. Dezember 2008 ständig die Wohnung seiner Ex-Ehefrau aufsuchte, verstiess er zudem gegen die Fernhalteverfügung vom 16. Dezember 2008. Den Zutritt zur Wohnung verschaffte er sich regelmässig mittels massiver (Todes-)Drohungen.
B. X._ führt Beschwerde in Strafsachen mit den Anträgen, das Urteil vom 30. November 2011 aufzuheben und ihn vom Vorwurf der mehrfachen Vergewaltigung, der mehrfachen, teilweise versuchten Nötigung sowie der mehrfachen Drohung freizusprechen. Eventualiter sei das angefochtene Urteil aufzuheben und die Streitsache zur erneuten Beurteilung und zur Durchführung eines verfassungs- und EMRK-konformen Verfahrens an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung.
Erwägungen:
1. Die Beschwerde ist zu begründen (Art. 42 Abs. 1 und 2, Art. 106 Abs. 2 BGG). Die Begründung hat in der Beschwerdeschrift selbst zu erfolgen. Soweit der Beschwerdeführer auf seine Appellationsbegründung und seine Ausführungen an der vorinstanzlichen Hauptverhandlung verweist, ist auf die Beschwerde nicht einzutreten (BGE 133 II 396 E. 3.2; 131 III 384 E. 2.3 mit Hinweis).
2. Am 1. Januar 2011 trat die Schweizerische Strafprozessordnung (StPO; SR 312.0) in Kraft. Der erstinstanzliche Entscheid des Strafgerichts Basel-Stadt erging am 1. Juli 2010. Das kantonale Verfahren richtet sich gemäss Art. 453 Abs. 1 StPO weiterhin nach dem kantonalen Strafprozessrecht (BGE 137 IV 219 E. 1.1 mit Hinweisen).
3. 3.1 Der Beschwerdeführer rügt eine Verletzung des Konfrontationsrechts. Er habe während des gesamten Verfahrens nie Gelegenheit gehabt, den Einvernahmen der Beschwerdegegnerin 2 wenigstens einmal direkt oder indirekt zu folgen. Deren Befragung durch das Strafgericht habe er im Nebenraum akustisch mitverfolgen können. Er habe jedoch keine Gelegenheit erhalten, selber Fragen an die Zeugin zu richten. Hinzu komme, dass diese damals nicht mehr detailliert befragt worden sei, sondern nach Vorlesen der entsprechenden Protokolle hauptsächlich ihre früheren Aussagen bestätigt habe. Die Vorinstanz habe seinen Antrag auf indirekte Konfrontation mittels Videoübertragung mit wenig überzeugender Begründung abgewiesen. Die Beschwerdegegnerin 2 habe im bisherigen Verfahren kein Arztzeugnis eingereicht, wonach ein Zusammentreffen mit ihm eine grosse psychische Belastung darstellen würde. Sie mache dies auch nicht geltend. Sie habe ihn in den vergangenen Wochen regelmässig zusammen mit dem gemeinsamen Sohn im Untersuchungsgefängnis besucht. Die Verweigerung der indirekten Konfrontation sei angesichts der grossen Bedeutung der Aussagen der Beschwerdegegnerin 2 unverhältnismässig. Kein Grund für die unterbliebene Videoübertragung bilde die mangelnde technische Infrastruktur.
3.2 Nach Auffassung der Vorinstanz war die indirekte Konfrontation des Beschwerdeführers mit der Beschwerdegegnerin 2 anlässlich der erstinstanzlichen Hauptverhandlung bundesrechtskonform. Der Beschwerdeführer habe die Befragung im Nebenraum akustisch mitverfolgen können. Sein Verteidiger sei im Verhandlungssaal anwesend gewesen und habe der Zeugin Fragen stellen können. Der Beschwerdeführer habe nach der Befragung und Verabschiedung der Zeugin den Saal wieder betreten. Er habe Gelegenheit zur Stellungnahme erhalten, worauf er verzichtet habe. Dieses Vorgehen sei im Plädoyer des Verteidigers nicht beanstandet worden (Urteil E. 2.2 S. 3 f.).
3.2 Nach Auffassung der Vorinstanz war die indirekte Konfrontation des Beschwerdeführers mit der Beschwerdegegnerin 2 anlässlich der erstinstanzlichen Hauptverhandlung bundesrechtskonform. Der Beschwerdeführer habe die Befragung im Nebenraum akustisch mitverfolgen können. Sein Verteidiger sei im Verhandlungssaal anwesend gewesen und habe der Zeugin Fragen stellen können. Der Beschwerdeführer habe nach der Befragung und Verabschiedung der Zeugin den Saal wieder betreten. Er habe Gelegenheit zur Stellungnahme erhalten, worauf er verzichtet habe. Dieses Vorgehen sei im Plädoyer des Verteidigers nicht beanstandet worden (Urteil E. 2.2 S. 3 f.).
3.3 3.3.1 Der in Art. 6 Ziff. 3 lit. d EMRK garantierte Anspruch des Angeschuldigten, den Belastungszeugen Fragen zu stellen, ist ein besonderer Aspekt des Rechts auf ein faires Verfahren gemäss Art. 6 Ziff. 1 EMRK. Eine belastende Zeugenaussage ist grundsätzlich nur verwertbar, wenn der Beschuldigte wenigstens einmal während des Verfahrens angemessene und hinreichende Gelegenheit hatte, das Zeugnis in Zweifel zu ziehen und Fragen an den Belastungszeugen zu stellen. Damit die Verteidigungsrechte gewahrt sind, muss der Beschuldigte namentlich in der Lage sein, die Glaubhaftigkeit einer Aussage prüfen und den Beweiswert in kontradiktorischer Weise auf die Probe und infrage stellen zu können (BGE 133 I 33 E. 2.2; 131 I 476 E. 2.2; 129 I 151 E. 3.1 und 4.2; je mit Hinweisen). Dieser Anspruch wird als Konkretisierung des rechtlichen Gehörs (Art. 29 Abs. 2 BV) auch durch Art. 32 Abs. 2 BV gewährleistet (BGE 131 I 476 E. 2.2; 129 I 151 E. 3.1 mit Hinweisen).
Das Fragerecht ist im Regelfall dem Beschuldigten und seinem Verteidiger gemeinsam einzuräumen. Die Mitwirkung des Beschuldigten kann für die Beurteilung der Glaubhaftigkeit der Aussagen des Zeugen entscheidend sein, insbesondere wenn dieser über Vorgänge berichtet, an welchen beide beteiligt waren (Urteile 6B_324/2011 vom 26. Oktober 2011 E. 1.2; 6B_45/2008 vom 2. Juni 2008 E. 2.4).
3.3.2 Das Konfrontationsrecht des Beschuldigten wird in gewissen Konstellationen durch die Opferrechte eingeschränkt. Gemäss Art. 35 lit. d des Bundesgesetzes über die Hilfe an Opfer von Straftaten (Opferhilfegesetz, OHG; SR 312.5; Fassung in Kraft bis am 31. Dezember 2010) kann das Opfer von Straftaten gegen die sexuelle Integrität verlangen, dass eine Gegenüberstellung gegen seinen Willen nur angeordnet wird, wenn der Anspruch der beschuldigten Person auf rechtliches Gehör nicht auf andere Weise gewährleistet werden kann.
3.3.3 Bei der Handhabung des Konfrontationsrechts sind die Interessen der Verteidigung und diejenigen des Opfers gegeneinander abzuwägen. Es ist in jedem Einzelfall zu prüfen, welche Vorgehensweisen und Ersatzmassnahmen infrage kommen, um die Verteidigungsrechte des Angeschuldigten so weit als möglich zu gewährleisten und gleichzeitig den Interessen des Opfers gerecht zu werden (BGE 129 I 151 E. 3.2 und 5 mit Hinweis). Massnahmen zum Schutz von Opfern können beispielsweise darin bestehen, dass das Opfer nur durch den Verteidiger, allenfalls durch Zwischenschaltung einer besonders ausgebildeten Person, befragt wird oder indem die Einvernahme des Opfers audiovisuell in einen anderen Raum übertragen wird, von wo aus der Beschuldigte sie verfolgen und in unmittelbarem zeitlichem Konnex Fragen stellen kann (Urteil 1P.650/2000 vom 26. Januar 2001 E. 3d mit Hinweisen). Muss der Beschuldigte den Saal während der Zeugeneinvernahme verlassen, können dessen Verteidigungsrechte auch gewahrt sein, wenn sein Verteidiger während der Befragung anwesend ist, Fragen stellen kann und diesem die Möglichkeit gegeben wird, Unterbrechungen der Einvernahme zu verlangen, um seinen Mandanten zu informieren und nach Wiederaufnahme des Verfahrens Ergänzungsfragen zu stellen (Urteil 6P.46/2000 vom 10. April 2001 E. 1c/bb). Eine Videoübertragung ist in solchen Fällen nicht unter allen Umständen zwingend (BGE 129 I 151 E. 5; Urteil 6P.172/2004 vom 3. Oktober 2005 E. 2.2). Vielmehr ist zu beachten, dass bei Opfern von Sexualdelikten nicht nur die persönliche Begegnung mit dem Täter, sondern auch die Befragung zum Tatgeschehen während einer audiovisuellen Direktübertragung an diesen mittels technischer Hilfsmittel zu einer psychischen Belastung führen kann. Gegenteiliges ergibt sich auch nicht aus dem vom Beschwerdeführer zitierten Entscheid 6B_324/2011.
3.4 Das Gericht verfügt bei der Wahl der konkreten Vorkehren zum Schutz des Opfers über ein gewisses Ermessen. Die dem Beschwerdeführer vorgeworfenen sexuellen Übergriffe zum Nachteil der Beschwerdegegnerin 2 wiegen schwer. Sie sollen zudem mit Demütigungen, Gewalt und Drohungen einhergegangen sein. Die Beschwerdegegnerin 2 war in psychotherapeutischer Behandlung. Ihre Therapeutin wurde im Strafverfahren einvernommen, wobei sie namentlich angab, ihre Patientin habe sich für das Erlebte geschämt und Mühe gehabt, über die sexuellen Übergriffe zu berichten (erstinstanzliches Urteil S. 31). Dies ergibt sich auch aus den Befragungen der Beschwerdegegnerin 2. Die Massnahmen zum Schutz des Opfers waren angezeigt. Der Beschwerdeführer hatte Kenntnis der früheren Einvernahmen der Beschwerdegegnerin 2, darunter auch die sehr ausführliche Videobefragung durch die Staatsanwaltschaft, an welcher sein Verteidiger im Technikraum anwesend war und Fragen stellen konnte (vgl. Urteil S. 11; kant. Akten, Urk. 596 ff.). Er erhielt die Möglichkeit, der Beschwerdegegnerin 2 an der erstinstanzlichen Hauptverhandlung über seinen Vertreter Ergänzungsfragen zu stellen und anschliessend an die Einvernahme zu deren Befragung Stellung zu nehmen. Er hatte ausreichend Gelegenheit, deren Glaubhaftigkeit infrage zu stellen. Sein Recht auf Konfrontation mit der Belastungszeugin wurde nicht verletzt.
Soweit der Beschwerdeführer geltend macht, die Beschwerdegegnerin 2 habe ihn in den vergangenen Wochen regelmässig zusammen mit dem gemeinsamen Sohn im Untersuchungsgefängnis besucht, handelt es sich um eine neue Tatsachenbehauptung. Darauf ist nicht einzutreten (Art. 99 Abs. 1 BGG; BGE 133 IV 342 E. 2.1 mit Hinweisen).
4. 4.1 Der Beschwerdeführer beanstandet, die Vorinstanz habe seinen Antrag auf Anordnung einer aussagepsychologischen Glaubhaftigkeitsbegutachtung der Aussagen der Beschwerdegegnerin 2 zu Unrecht abgewiesen. Die Beurteilung der Glaubhaftigkeit sei ohne spezialisiertes Fachwissen nicht möglich. Die Glaubhaftigkeitsprüfung der Vorinstanz sei mangelhaft.
4.2 Der Anspruch auf rechtliches Gehör wird nicht verletzt, wenn das Gericht auf die Abnahme beantragter Beweismittel verzichtet, weil es sich aufgrund der bereits abgenommenen Beweise seine Überzeugung gebildet hat und ohne Willkür in antizipierter Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (BGE 136 I 229 E. 5.3 mit Hinweisen).
Die Prüfung der Glaubhaftigkeit von Aussagen ist Teil der Beweiswürdigung und gehört damit zum Aufgabenbereich des Gerichts. Eine Glaubwürdigkeitsbegutachtung durch eine sachverständige Person drängt sich nach der Rechtsprechung nur bei besonderen Umständen auf. Dies ist etwa der Fall, wenn schwer interpretierbare Äusserungen eines Kleinkinds zu beurteilen sind, bei Anzeichen ernsthafter geistiger Störungen, welche die Aussageehrlichkeit des Zeugen beeinträchtigen könnten, oder wenn Anhaltspunkte dafür bestehen, dass der Zeuge einer Beeinflussung durch Drittpersonen ausgesetzt ist (BGE 129 IV 179 E. 2.4; 128 I 81 E. 2; 118 Ia 28 E. 1c). An dieser Rechtsprechung ist festzuhalten.
4.3 Die Vorinstanz führt zusammengefasst aus, nichts deute darauf hin, dass die Beschwerdegegnerin 2 (relevante) psychische Defizite oder Besonderheiten aufweise, welche eine psychiatrische Begutachtung notwendig machten (Urteil S. 5). Ihre Aussagen seien glaubhaft, nicht übermässig belastend, detailreich und differenziert (Urteil E. 2.4 in fine S. 8). Sie seien zudem in eine ganze Reihe von Beweisen oder Indizien eingebettet, anhand welcher ihre Glaubhaftigkeit überprüft werden könne. Die Vorinstanz weist namentlich auf den Polizeirapport vom 30. September 2009, die Aussagen des gemeinsamen Sohns und der gemeinsamen Tochter des Beschwerdeführers und der Beschwerdegegnerin 2, ein Arztzeugnis sowie die Angaben der Therapeutin (Urteil S. 6 f. und E. 2.5 S. 8 ff.). Demgegenüber würden die Aussagen des Beschwerdeführers nicht überzeugen. Er stelle sich in fast penetranter Weise durch das gesamte Strafverfahren hindurch selbst als Opfer dar (Urteil E. 2.4 S. 7). Er bestreite den Geschlechtsverkehr grundsätzlich nicht und gebe selber an, es sei häufig zu Auseinandersetzungen gekommen, wolle jedoch jeweils nicht der Auslöser gewesen sein (Urteil E. 2.6 S. 11). Der Beschwerdeführer setzt sich mit der vorinstanzlichen Argumentation nicht auseinander bzw. erhebt dagegen keine Einwände. Bei dieser Sachlage durfte die Vorinstanz seinen Antrag auf Einholung eines Glaubhaftigkeitsgutachtens willkürfrei und ohne Verletzung des Anspruchs auf rechtliches Gehör abweisen.
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist infolge Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG). Der finanziellen Lage des Beschwerdeführers ist bei der Festsetzung der Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Die Beschwerdegegnerin 2 wurde nicht zur Stellungnahme aufgefordert. Es sind ihr im bundesgerichtlichen Verfahren daher keine Kosten erwachsen und keine Parteientschädigungen zuzusprechen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 17. Juli 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld