Sachverhalt:
A. Das Kantonsgericht Basel-Landschaft sprach X._ im Appellationsverfahren am 18. Oktober 2011 unter anderem wegen versuchter Vergewaltigung und Nötigung zum Nachteil seiner damaligen Ehefrau A._ (Anklagepunkt 10) schuldig. Von zahlreichen Vorwürfen weiterer Straftaten zu ihrem Nachteil sprach es ihn frei. Es verurteilte ihn zu einer teilbedingt vollziehbaren Freiheitsstrafe von 3 Jahren unter Anrechnung der Untersuchungs- und Sicherheitshaft von insgesamt 525 Tagen und zu einer Busse von Fr. 400.--. Den bedingt zu vollziehenden Teil der Freiheitsstrafe legte es auf 18 Monate fest bei einer Probezeit von drei Jahren. Das Kantonsgericht ordnete eine vollzugsbegleitende ambulante Behandlung sowie Bewährungshilfe für die Dauer der Probezeit nach der Entlassung an. Darüber hinaus erteilte es X._ für die Dauer der Probezeit die Weisung, sich in eine alkoholspezifische und psychotherapeutische Behandlung zu begeben. Das Kantonsgericht verpflichtete X._ zur Bezahlung einer Genugtuung von Fr. 8'000.-- an A._. Ihre Schadenersatzforderung hiess es dem Grundsatz nach gut. Im Übrigen verwies es sie auf den Zivilweg. Die ordentlichen Kosten des kantonsgerichtlichen Verfahrens in der Höhe von Fr. 37'800.-- auferlegte es im Umfang von zwei Dritteln dem Verurteilten.
Das Kantonsgericht hält folgenden Sachverhalt in Bezug auf den Vorwurf der versuchten Vergewaltigung und der Nötigung für erwiesen:
Am Abend des 10. Juli 2007 reinigten X._ und seine von ihm getrennt lebende Ehefrau A._ als Angestellte der B._ GmbH die Räumlichkeiten der C._. Nach den Reinigungsarbeiten brachten sie die Putzutensilien in den Putz- und Abstellraum in der Tiefgarage der C._ zurück. In der Folge schloss X._ den Raum von innen ab. Er trank Alkohol. Unter Zuhilfenahme eines Messers und einer Schere bedrohte er A._ verbal und wollte sie mit Körpereinsatz zum Geschlechtsverkehr zwingen. Aufgrund ihrer Gegenwehr gelang es ihm nicht, in sie einzudringen. Er ejakulierte auf ihren Körper. Um aus dem Putzraum gelassen zu werden, musste sie ihm ihre Mobiltelefone abgeben.
B. X._ gelangt mit Beschwerde in Strafsachen an das Bundesgericht. Er beantragt, Ziffer I des kantonsgerichtlichen Urteils vom 18. Oktober 2011 sei insofern abzuändern, als er von den Vorwürfen der versuchten Vergewaltigung und der Nötigung freizusprechen, die Strafe auf eine bedingte Freiheitsstrafe von sechs Monaten zu reduzieren, die Anordnung der ambulanten Behandlung, der Bewährungshilfe und der Weisung zur Weiterführung der Behandlung aufzuheben und die Zivilforderungen von A._ abzuweisen seien. Ziffer II des kantonsgerichtlichen Urteils sei insofern abzuändern, als ihm höchstens die Hälfte der Verfahrenskosten aufzuerlegen sei. Eventualiter sei die Sache zur Neubeurteilung der in Ziff. 1 und Ziff. 2 genannten Punkte an die Vorinstanz zurückzuweisen. X._ verlangt überdies die unentgeltliche Rechtspflege und Verbeiständung.
Erwägungen:
1. Der Beschwerdeführer wehrt sich gegen die Schuldsprüche der versuchten Vergewaltigung und der Nötigung. Er rügt eine willkürliche Beweiswürdigung, einen Verstoss gegen den Grundsatz "in dubio pro reo" und eine Verletzung des rechtlichen Gehörs. Die Vorinstanz erachte die Aussagen der Beschwerdegegnerin 2 als glaubhaft, seine Version der Ereignisse halte sie hingegen für widersprüchlich. Mit den Widersprüchen in den Aussagen der Beschwerdegegnerin 2 setze sie sich kaum auseinander. Es lägen indessen zahlreiche Umstände vor, welche bei objektiver Betrachtung Zweifel an den Schilderungen der Beschwerdegegnerin 2 weckten. Darauf bzw. auf seine diesbezüglichen Argumente gehe die Vorinstanz, wenn überhaupt, nur punktuell ein. Die Glaubhaftigkeit der Aussagen der Beschwerdegegnerin 2 sei ungeachtet seines im Untersuchungsverfahren und vor erster Instanz gestellten Antrags auf Einholung eines entsprechenden Gutachtens nie überprüft worden. Seine Darstellung der Ereignisse sei mindestens ebenso plausibel wie die Schilderungen der Beschwerdegegnerin 2. Dennoch gehe die Vorinstanz von der für ihn ungünstigeren Version der Geschehnisse aus (Beschwerde, S. 3-11).
1.1 Die Vorinstanz erachtet es als erstellt, dass der Beschwerdeführer die Beschwerdegegnerin 2 im Putz- und Abstellraum der C._ vergewaltigen wollte und sie ihm ihre Mobiltelefone abgeben musste, um den Raum verlassen zu können. Die Vorinstanz stützt sich im Wesentlichen auf die Aussagen der Beschwerdegegnerin 2, welche den Kernsachverhalt wiederholt und inhaltlich deckungsgleich sowie authentisch geschildert habe. Ihre Aussagen würden durch objektiv nachvollziehbare Tatsachen untermauert, beispielsweise die Erkenntnisse im Gutachten des Institutes für Rechtsmedizin der Universität Basel vom 14. und 22. Juli 2009 und die Videoaufzeichnungen der Überwachungskamera in der C._-Tiefgarage. Überdies hätten das Messer und die Schere am Tatort sichergestellt werden können. Das Messer habe am Boden gelegen. Die Aussagen des Beschwerdeführers, die Beschwerdegegnerin 2 habe ihn zum Geschlechtsverkehr provoziert, überzeugten hingegen nicht. Sie seien widersprüchlich und situativ angepasst. Nach seinen Schilderungen habe die Beschwerdegegnerin 2 sein Geschlechtsteil berührt, bis er erregt gewesen und etwas Sperma ausgeflossen sei, welches sie an ihrer Scheide verstrichen habe. An den Händen der Beschwerdegegnerin hätten rechtsmedizinisch indessen keine Spermaspuren festgestellt werden können (Entscheid, S. 34 ff. mit Verweis auf die Beweiswürdigung im erstinstanzlichen Urteil).
1.1 Die Vorinstanz erachtet es als erstellt, dass der Beschwerdeführer die Beschwerdegegnerin 2 im Putz- und Abstellraum der C._ vergewaltigen wollte und sie ihm ihre Mobiltelefone abgeben musste, um den Raum verlassen zu können. Die Vorinstanz stützt sich im Wesentlichen auf die Aussagen der Beschwerdegegnerin 2, welche den Kernsachverhalt wiederholt und inhaltlich deckungsgleich sowie authentisch geschildert habe. Ihre Aussagen würden durch objektiv nachvollziehbare Tatsachen untermauert, beispielsweise die Erkenntnisse im Gutachten des Institutes für Rechtsmedizin der Universität Basel vom 14. und 22. Juli 2009 und die Videoaufzeichnungen der Überwachungskamera in der C._-Tiefgarage. Überdies hätten das Messer und die Schere am Tatort sichergestellt werden können. Das Messer habe am Boden gelegen. Die Aussagen des Beschwerdeführers, die Beschwerdegegnerin 2 habe ihn zum Geschlechtsverkehr provoziert, überzeugten hingegen nicht. Sie seien widersprüchlich und situativ angepasst. Nach seinen Schilderungen habe die Beschwerdegegnerin 2 sein Geschlechtsteil berührt, bis er erregt gewesen und etwas Sperma ausgeflossen sei, welches sie an ihrer Scheide verstrichen habe. An den Händen der Beschwerdegegnerin hätten rechtsmedizinisch indessen keine Spermaspuren festgestellt werden können (Entscheid, S. 34 ff. mit Verweis auf die Beweiswürdigung im erstinstanzlichen Urteil).
1.2 1.2.1 Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1, vgl. auch Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (BGE 136 II 304 E. 2.4 S. 314 mit Hinweis; zum Begriff der Willkür BGE 136 III 552 E. 4.2 mit Hinweisen). Die Rüge der Willkür muss in der Beschwerde anhand des angefochtenen Entscheids präzise vorgebracht und begründet werden, ansonsten darauf nicht eingetreten wird (Art. 106 Abs. 2 BGG; BGE 137 IV 1 E. 4.2.3; 136 II 489 E. 2.8).
1.2.2 Gemäss dem in Art. 32 Abs. 1 BV und in Art. 6 Ziff. 2 EMRK verankerten Grundsatz "in dubio pro reo" ist bis zum gesetzlichen Nachweis der Schuld zu vermuten, dass der wegen einer strafbaren Handlung Angeklagte unschuldig ist. Als Beweiswürdigungsregel besagt die Maxime, dass sich der Strafrichter nicht von der Existenz eines für den Angeklagten ungünstigen Sachverhalts überzeugt erklären darf, wenn bei objektiver Betrachtung erhebliche und nicht zu unterdrückende Zweifel bestehen, ob sich der Sachverhalt so verwirklicht hat (BGE 127 I 38 E. 2a S. 41). Dem Grundsatz "in dubio pro reo" kommt in seiner vom Beschwerdeführer angerufenen Funktion als Beweiswürdigungsregel im Verfahren vor dem Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende selbstständige Bedeutung zu (BGE 127 I 38 E. 2a; 124 IV 86 E. 2a; je mit Hinweisen).
1.2.3 Der in Art. 29 Abs. 2 BV gewährleistete Anspruch auf rechtliches Gehör verlangt, dass die Behörden die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hören, prüfen und in der Entscheidfindung berücksichtigen. Die Behörde darf sich in ihrem Entscheid auf die wesentlichen Gesichtspunkte und Leitlinien beschränken und braucht sich nicht mit jedem sachverhaltlichen oder rechtlichen Einwand auseinanderzusetzen (BGE 137 II 266 E. 3.2 S. 270 mit Hinweisen).
1.3 Der Beschwerdeführer wirft der Vorinstanz vor, kein Glaubhaftigkeitsgutachten über die Aussagen der Beschwerdegegnerin 2 eingeholt zu haben (Beschwerde, S. 4, 10). Er verkennt, dass die Prüfung der Glaubhaftigkeit von Aussagen primär Sache der Gerichte ist, dem Gericht bei der Beantwortung der Frage, ob aufgrund der konkreten Umstände des Einzelfalles der Beizug eines Sachverständigen zur Glaubhaftigkeitsbegutachtung notwendig ist oder nicht, ein Ermessensspielraum zusteht und auf Begutachtungen nur bei besonderen Umständen zurückzugreifen ist (BGE 129 IV 179 E. 2.4). Solche Umstände sind vorliegend weder dargetan noch ersichtlich. Insbesondere ist nicht erkennbar, dass z.B. der Entwicklungsstand, die geistige Verfassung oder die Qualität der Aussagen der Beschwerdegegnerin 2 Besonderheiten aufweisen würden, welche eine Glaubhaftigkeitsbegutachtung aufdrängten. Die Vorinstanz hatte vor diesem Hintergrund weder Veranlassung, ein solches Gutachten einzuholen, noch musste sie sich - mangels eines entsprechenden Antrags - hierzu im angefochtenen Entscheid aussprechen.
1.4 Die Vorinstanz würdigt das Aussage- und Anzeigeverhalten der Beschwerdegegnerin 2 und den Umstand, dass ihre Stieftochter - zum eigenen Nachteil - eine Falschanzeige wegen Vergewaltigung bzw. sexuellen Missbrauchs gegen den Beschwerdeführer erstattet hatte. Die Vorinstanz führt aus, dass und weshalb sie in der Falschanzeige der Stieftochter keine Verbindung zum Opfer sieht. Die Vorinstanz legt ebenfalls dar, dass keine Hinweise auf eine Falschbezichtigung durch die Beschwerdegegnerin 2 bestünden. Ihre Anzeigen gegen den Beschwerdeführer, welche zu Verfahrenseinstellungen oder Freisprüchen geführt hätten, seien nicht haltlos gewesen, sondern hätten sich in aller Regel unter Berücksichtigung der Maxime "in dubio pro reo" nicht beweisen lassen. Sie sprächen daher nicht gegen die Glaubwürdigkeit der Beschwerdegegnerin 2 und die Glaubhaftigkeit ihrer Aussagen (Entscheid, S. 36). Unter diesen Gesichtspunkten würdigt die Vorinstanz auch, dass die Beschwerdegegnerin 2 bei ihrer Einvernahme zur versuchten Vergewaltigung zunächst über eine ihr abhanden gekommene Bankkarte sprach, bevor sie Ausführungen zum inkriminierten Sachverhalt machte. Die Vorinstanz führt nachvollziehbar aus, dass und weshalb sie nicht an den Aussagen der Beschwerdegegnerin zweifelt (Entscheid, S. 36). Ohne auf die diesbezüglichen Urteilserwägungen einzugehen, stellt der Beschwerdeführer der vorinstanzlichen Würdigung im Wesentlichen nur seine eigene abweichende Sicht der Dinge gegenüber und versucht, die Beschwerdegegnerin 2 generell als unglaubwürdige Person hinzustellen. Er behauptet, der Übergriff habe nicht stattgefunden, die Beschwerdegegnerin habe ein Lügengebäude aufgebaut (Beschwerde, 6), sie stelle Ereignisse als Vergewaltigungen dar, die keine seien und übertreibe gerne, um die Aufmerksamkeit der Behörden zu gewinnen (Beschwerde, S. 4). Als Motiv für eine Falschbelastung durch die Beschwerdegegnerin 2 nennt er den damaligen Trennungs- bzw. Scheidungsstreit und die Macht, welche sie mit ihren Anzeigen über ihn habe ausüben können (Beschwerde, S. 5). Mit einer solchen appellatorischen Kritik lässt sich Willkür nicht begründen.
1.5 Die Vorinstanz würdigt die Aussagen der Beschwerdegegnerin 2 sorgfältig. Sie durfte zum Schluss gelangen, diese habe den Kernsachverhalt - das Einschliessen im Raum, den Einsatz von Messer und Schere, die verbalen Drohungen und den Körpereinsatz des Beschwerdeführers - gleichbleibend und in sich stimmig geschildert. Ihre anfänglichen Aussagen, der Beschwerdeführer sei in sie eingedrungen, relativierte die Beschwerdegegnerin 2 und bestätigte in der Folge konstant, er habe lediglich versucht einzudringen, was ihm jedoch aufgrund ihrer Gegenwehr nicht gelungen sei (Entscheid, S. 36; erstinstanzliches Urteil, S. 31; kantonale Akten, act. 3291, 3311, 3751, 4994). Das von der Beschwerdegegnerin geschilderte Geschehen wird durch das rechtsmedizinische Gutachten vom 14. Juli 2009 (kantonale Akten, act. 3751, medizinische Befunde [3757] und Spermaspuren an der Innenseite ihres rechten Oberschenkels [3759]) und durch die Sicherstellung von Messer und Schere am Tatort gestützt. Weiter sprechen für die Glaubhaftigkeit ihrer Aussagen, dass sie sich unmittelbar nach dem Vorfall zum Restaurant "D._" begab, sie die Polizei verlangte und sofort in eine medizinische Untersuchung einwilligte. Gemäss der Wirtin machte die Beschwerdegegnerin 2 einen verstörten Eindruck (Entscheid, S. 35). Aktenwidrig ist der Einwand des Beschwerdeführers, die Beschwerdegegnerin 2 habe den Einsatz von Schere und Messer nicht von Anfang an geschildert (vgl. Beschwerde, S. 8; s. kantonale Akten, act. 3291, er habe das Messer genommen und ihr immer wieder gezeigt, er habe mit Schere und Messer herumgefuchtelt). Im Übrigen hat die Beschwerdegegnerin 2 nie davon gesprochen, dass der Beschwerdeführer die Schere und das Messer bei der Ausführung des Vergewaltigungsversuchs verwendete. Die diesbezüglichen Ausführungen des Beschwerdeführers gehen an der Sache vorbei (Beschwerde, S. 8 f.).
1.6 Die Vorinstanz zieht die Videoaufzeichnungen der Überwachungskamera in der C._-Tiefgarage ergänzend in die Beweiswürdigung mit ein. Dagegen ist nichts einzuwenden. Es bestehen keine Anhaltspunkte dafür, dass die Beschwerdegegnerin 2 um die Präsenz der Kamera in der Garage wusste und diesen Umstand bewusst für eine Inszenierung nutzte. Die Kritik des Beschwerdeführers ist spekulativ (Beschwerde, S. 6, 10). Darauf ist nicht einzugehen. Das gilt auch, soweit er mit Blick darauf, dass rechtsmedizinisch keine Spermaspuren an den Händen der Beschwerdegegnerin 2 festgestellt werden konnten, behauptet, diese habe sich allenfalls die Hände vor der Untersuchung mit einem Tüchlein gereinigt (Beschwerde, S. 10).
1.7 Dass die Beschwerdegegnerin 2 relativ kurze Zeit nach dem Ereignis vom 10. Juli 2007, d.h. nach vier Monaten, im fraglichen Putzraum in der C._-Tiefgarage übernachtete, hält die Vorinstanz zwar für wenig verständlich und aussergewöhnlich. Sie geht aber davon aus, es sei nicht der Raum als solcher, welcher sich für das Opfer als bedrohlich darstelle, sondern der Umstand, dass es dort mit dem Beschwerdeführer eingesperrt war und dieser es mit Gewalt zum Geschlechtsverkehr nötigen wollte. Nach der Auffassung der Vorinstanz spricht dieser Umstand somit nicht gegen die Glaubhaftigkeit der Aussagen der Beschwerdegegnerin (Entscheid, S. 35 f.). Die vorinstanzliche Würdigung dieses Gesichtspunkts ist verfassungsrechtlich nicht zu beanstanden. Dass die Beschwerdegegnerin 2 nach dem fraglichen Geschehen eine Nacht im Putzraum verbrachte, wie sie im Übrigen selbst einräumte, betrifft nicht das Kerngeschehen, sondern einen Nebenumstand, dem die Vorinstanz im Rahmen der Gesamtbetrachtung entgegen der Beschwerde (vgl. S. 9) keine das Beweisergebnis erschütternde Bedeutung beimessen musste.
1.8 Im Zusammenhang mit dem Vorwurf der Nötigung ist unbestritten, dass der Beschwerdeführer der Beschwerdegegnerin 2 die Mobiltelefone abgenommen hat. Der Beschwerdeführer gab an, er habe damit verhindern wollen, dass seine ehemalige Ehefrau am Arbeitsplatz telefoniere. Die Vorinstanz verwirft die Aussagen des Beschwerdeführers als nicht glaubhaft. Bei seiner Version sei kein Grund ersichtlich, weshalb er die (bei ihm nachträglich aufgefundenen) Telefone nach Arbeitsschluss nicht an die Beschwerdegegnerin 2 zurückgegeben habe. Dagegen wendet der Beschwerdeführer unter Hinweis auf seine Einvernahmen und diejenigen der Beschwerdegegnerin 2 nur ein, seine Erklärungen zur Abnahme und zum Besitz der Mobiltelefone seien plausibler als diejenigen der Beschwerdegegnerin 2 oder der Vorinstanz (Beschwerde, S. 9). Damit zeigt der Beschwerdeführer jedoch erneut lediglich seine Sicht der Dinge auf. Er legt dar, wie seine Aussagen und diejenigen der Beschwerdegegnerin 2 richtigerweise zu würdigen wären. Dass die vorinstanzliche Würdigung unhaltbar ist, weist er indessen nicht nach. Damit kann Willkür nicht begründet werden.
1.9 Die Vorinstanz begründet den angefochtenen Entscheid unter Berücksichtigung aller relevanten Umstände. Aus ihren Erwägungen ergibt sich, dass und weshalb sie die Aussagen der Beschwerdegegnerin 2 als glaubhaft erachtet, die Version des Beschwerdeführers hingegen für nicht überzeugend hält. Dass die Vorinstanz sich nicht mit allen seinen Argumenten ausnahmslos und ausdrücklich befasst (vgl. Beschwerde, S. 5 f.), begründet weder Willkür noch eine Verletzung des rechtlichen Gehörs im Sinne von Art. 29 Abs. 2 BV. Aus den diesbezüglichen Vorbringen des Beschwerdeführers in Bezug auf den Vorwurf der versuchten Vergewaltigung und der Nötigung lässt sich nichts ableiten (vgl. beispielsweise Beschwerde, S. 7 zu den Aussagen der Beschwerdegegnerin 2, die Ehegatten hätten seit der Trennung keinen Geschlechtsverkehr gehabt, und den diesbezüglichen Einwendungen des Beschwerdeführers, die Beschwerdegegnerin 2 sei nach der gerichtlichen Trennung des öfteren in seiner Wohnung gewesen und habe auch sonst Zeit mit ihm verbracht, beispielsweise habe er ihr das Fahrradfahren beigebracht).
1.10 Zusammenfassend durfte die Vorinstanz ohne Verfassungsverletzung darauf schliessen, dass sich der Sachverhalt so verwirklicht hat, wie ihn die Beschwerdegegnerin 2 schilderte.
2. Die Anträge, das Strafmass auf sechs Monate zu reduzieren, den Vollzug der Strafe bedingt auszusprechen, die ambulante Massnahme sowie die Anordnung der Bewährungshilfe und die Weisung der Fortführung der Behandlung aufzuheben und die Zivilforderungen der Beschwerdegegnerin 2 abzuweisen, begründet der Beschwerdeführer einzig mit den beantragten Freisprüchen von der Anklage der versuchten Vergewaltigung und der Nötigung. Da es bei den Verurteilungen bleibt, ist darauf nicht weiter einzugehen.
3. Die Vorinstanz auferlegte dem Beschwerdeführer gestützt auf die noch anwendbare kantonale Strafprozessordnung die Kosten des Appellationsverfahrens zu zwei Dritteln. Der Beschwerdeführer beanstandet die Kostenauflage, legt aber nicht dar, dass und inwiefern die Vorinstanz § 30 ff. StPO/BL willkürlich angewendet haben sollte.
4. Die Beschwerde ist unbegründet und damit abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist ebenfalls abzuweisen, da die Beschwerde aussichtslos war (Art. 64 Abs. 1 BGG). Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Seine angespannte finanzielle Situation ist bei der Bemessung der Gerichtskosten angemessen zu berücksichtigen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Kosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht Basel-Landschaft, Abteilung Strafrecht, schriftlich mitgeteilt.
Lausanne, 10. Juli 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill