Sachverhalt:
A. X._ wird vorgeworfen, er habe ab Mitte/Herbst 2006 bis 3. Dezember 2007 seine damalige Ehefrau teilweise mehrmals pro Woche geweckt bzw. nicht schlafen lassen und mit Diskussionen zermürbt, bis sie letztlich den Beischlaf erduldet habe. Ferner habe er an ihr den Geschlechtsverkehr vollzogen, als sie unter Einfluss von Schlaftabletten gestanden und sich nicht dagegen habe wehren können. Sodann habe er ihr mehrfach gedroht, sie umzubringen bzw. umbringen zu lassen oder die ganze Familie auszulöschen. Schliesslich habe er wiederholt Kokain konsumiert.
B. Das Obergericht des Kantons Zug sprach X._ am 16. August 2011 in zweiter Instanz der mehrfachen Drohung, mehrfachen Vergewaltigung, mehrfachen Schändung und der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz schuldig. Weiter stellte es die Rechtskraft der erstinstanzlichen Freisprüche fest und stellte das Verfahren betreffend mehrfache Widerhandlung gegen das Betäubungsmittelgesetz (Vorfälle vor dem 23. September 2007) zufolge Verjährung ein. Es verurteilte X._ unter Anrechnung der erstandenen Untersuchungshaft von 71 Tagen zu einer unbedingt vollziehbaren Freiheitsstrafe von 30 Monaten, teilweise als Zusatzstrafe zum Urteil des Strafgerichts des Kantons Zug vom 17. September 2007, und zu einer Busse von Fr. 100.--, als Zusatzstrafe zum Strafbefehl der Staatsanwaltschaft des Kantons Zug vom 9. März 2010.
C. X._ führt Beschwerde in Strafsachen. Er beantragt, das Urteil des Obergerichts des Kantons Zug sei, abgesehen von den Dispositiv-Ziffern 2 (Feststellung der Rechtskraft der Freisprüche) und 3 (Verfahrenseinstellung), aufzuheben. Er sei vom Vorwurf der mehrfachen Drohung, mehrfachen Vergewaltigung und mehrfachen Schändung freizusprechen. Eventualiter sei die Sache zur neuen Entscheidung an das Obergericht zurückzuweisen. Eventualiter sei die Strafe zu reduzieren und bedingt auszusprechen. Der Beschwerde sei in Bezug auf den Zivilpunkt des obergerichtlichen Entscheids die aufschiebende Wirkung zu erteilen.
D. Das Obergericht des Kantons Zug und Y._ beantragen die Abweisung der Beschwerde unter Verweis auf das angefochtene Urteil. Die Staatsanwaltschaft des Kantons Zug verzichtet auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Anfechtungsobjekt der Beschwerde an das Bundesgericht ist der letztinstanzliche kantonale Entscheid (Art. 80 Abs. 1 BGG). Auf die Einwände des Beschwerdeführers, welche gegen die Ermittlungen der Staatsanwaltschaft bzw. das erstinstanzliche Urteil gerichtet sind (Beschwerde S. 7 letzter Abs., S. 10 f. Ziff. 11 und S. 11 f. Ziff. 12), ist nicht einzutreten.
1.2 Soweit der Beschwerdeführer pauschal geltend macht, eine psychiatrische Begutachtung dürfe nicht zu einer ergänzenden Beweiserhebung führen bzw. die erhobenen Beweise seien teilweise problembehaftet (Beschwerde S. 6 2. Abs.), ist darauf ebenfalls nicht einzutreten. Die Beschwerde ist zu begründen (Art. 42 Abs. 1 BGG), wobei in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 2 Satz 1 BGG). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem Recht. Solche Rügen prüft das Bundesgericht nur, wenn sie in der Beschwerde vorgebracht und substanziiert begründet worden sind. Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1 mit Hinweisen).
2. 2.1 Der Beschwerdeführer wirft der Vorinstanz die Verweigerung seines Anspruchs auf rechtliches Gehör vor (Art. 29 Abs. 2 BV). Sie würdige weder seine Ausführungen zur fehlenden Schuld- und Einsichtsfähigkeit noch seinen Einwand, seit der Strafuntersuchung werde ein negatives Bild von ihm kultiviert. Ebenso wenig gehe sie auf die Vorbringen zur Unverwertbarkeit der Aussagen seiner damaligen Ehefrau an der Befragung vom 6. Dezember 2007 ein. Schliesslich setze sie sich hinsichtlich der Vergewaltigungen nicht mit seinen Argumenten zur fehlenden tatsituativen Zwangssituation auseinander (Beschwerde S. 5-7 Ziff. 4 f., S. 7 f. Ziff. 6, S. 10 f. Ziff. 11 und S. 14 f. Ziff. 14).
2.2 Aus dem Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV ergibt sich unter anderem, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihr Urteil zu begründen. Dabei kann sie sich auf die wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (BGE 136 I 229 E. 5.2 mit Hinweisen).
2.3 Die Vorinstanz äussert sich hinlänglich zu den massgeblichen Ausführungen des Beschwerdeführers, abgesehen von seinem Einwand betreffend "actio libera in causa" (E. 3.4 nachstehend). Es ist nicht erforderlich, dass sie sich mit all seinen Vorbringen einlässlich auseinandersetzt und jedes einzelne ausdrücklich widerlegt. Da sie sich auf die entscheidwesentlichen Punkte beschränken kann, musste sie sich nicht zu seinem Einwand äussern, die Strafverfolgungsbehörden hätten von ihm ein negatives Bild gezeichnet (vorinstanzliche Akten act. 1 S. 12, act. 15 S. 7 und act. 16 S. 4 Ziff. 4 f.). Im Umstand, dass die Vorinstanz die Auffassung des Beschwerdeführers nicht teilt, mithin nicht von der vollumfänglichen Unverwertbarkeit der Aussagen der Beschwerdegegnerin 2 aufgrund der angeblich suggestiven Befragung am 6. Dezember 2007 ausgeht (Urteil S. 6 ff. E. 3.2 f. und S. 11 2. Abs.; vorinstanzliche Akten act. 1 S. 10 ff. Ziff. 17, act. 15 S. 7 und act. 16 S. 2 ff. Ziff. 1-5), liegt ebenfalls keine Verweigerung des rechtlichen Gehörs. Sodann legt die Vorinstanz dar, aus welchen Überlegungen sie zum Schluss gelangt, der Argumentation des Beschwerdeführers zum Fehlen einer tatsituativen Zwangssituation (Urteil S. 8 f. E. 3.4; vorinstanzliche Akten act. 1 S. 6 f. Ziff. 8-10 und S. 9 f. Ziff. 16, act. 15 S. 7 sowie act. 16 S. 5 Ziff. 6 und S. 6 ff. Ziff. 10 und Ziff. 13) bzw. zur fehlenden Einsichts- und Schuldfähigkeit, könne nicht gefolgt werden (Urteil S. 13 2. Abs., S. 15 E. 5.4, S. 18 E. 8.3 und S. 19 2. Abs.; vorinstanzliche Akten act. 1 S. 4 Ziff. 6, S. 6 Ziff. 8, S. 13 Ziff. 20 und S. 14 f. Ziff. 21 f., act. 15 S. 7 und act. 16 S. 6 f. Ziff. 9-11, S. 8 Ziff. 14 und S. 9 Ziff. 15).
3. Der Beschwerdeführer rügt im Zusammenhang mit dem psychiatrischen Gutachten vom 21. Juli 2008, die Vorinstanz verletze das Willkürverbot (Art. 9 BV).
3.1 War der Täter zur Zeit der Tat nicht fähig, das Unrecht seiner Tat einzusehen oder gemäss dieser Einsicht zu handeln, so ist er nicht strafbar. War er nur teilweise fähig, das Unrecht einzusehen oder gemäss dieser Einsicht zu handeln, so mildert das Gericht die Strafe (Art. 19 Abs. 1 und 2 StGB). Die verminderte Schuldfähigkeit ist, wie die Schuldunfähigkeit, ein Zustand des Täters (BGE 134 IV 132 E. 6.1 S. 136). In welchem Zustand sich der Täter zur Tatzeit befand, ist eine Tatfrage. Rechtsfrage ist, ob die Vorinstanz den Begriff der verminderten Schuldfähigkeit richtig ausgelegt und angewendet hat (BGE 107 IV 3 E. 1a S. 4).
Gutachten unterliegen der freien richterlichen Beweiswürdigung. Das Gericht darf in Fachfragen jedoch nur aus triftigen Gründe von einer Expertise abweichen und muss Abweichungen begründen. Die Beweiswürdigung und die Beantwortung der sich stellenden Rechtsfragen ist Aufgabe des Gerichts. Erscheint diesem die Schlüssigkeit eines Gutachtens in wesentlichen Punkten zweifelhaft, hat es nötigenfalls ergänzende Beweise zur Klärung dieser Zweifel zu erheben. Das Abstellen auf eine nicht schlüssige Expertise bzw. der Verzicht auf die gebotenen zusätzlichen Beweiserhebungen kann gegen das Verbot willkürlicher Beweiswürdigung verstossen (BGE 136 II 539 E. 3.2 S. 547 f.; 130 I 337 E. 5.4.2; je mit Hinweisen). Das trifft etwa zu, wenn der Sachverständige die an ihn gestellten Fragen nicht beantwortet, wenn er seine Erkenntnisse und Schlussfolgerungen nicht begründet oder diese in sich widersprüchlich sind oder wenn die Expertise sonst an Mängeln krankt, die derart offensichtlich und auch ohne Fachwissen erkennbar sind, dass sie das Gericht nicht hätte übersehen dürfen (Urteil 6B_487/2011 vom 30. Januar 2012 E. 3.1.2). Ein Zweit- oder Ergänzungsgutachten ist einzuholen, wenn der gutachterliche Befund nicht genügt. Welche Art von Gutachten anzuordnen ist, ist Ermessensfrage. Ein Zweitgutachten steht im Vordergrund, wenn das Gericht ein bestehendes Gutachten für klar unzureichend und kaum verwertbar erachtet (Urteil 6B_283/2007 vom 5. Oktober 2007 E. 2 Absatz 5 mit Hinweis).
3.2 Der Beschwerdeführer wendet ein, der psychiatrische Gutachter qualifiziere seine Einsichtsfähigkeit lediglich als leicht beeinträchtigt, weil es für Kokainabhängige zahlreiche Hilfsangebote gebe. Er lasse dabei jedoch ausser Acht, dass er solche Angebote genutzt habe. Deshalb sei "e contrario" von einer starken Beeinträchtigung der Einsichtsfähigkeit auszugehen (Beschwerde S. 6 f. Ziff. 5). Dieser Einwand geht fehl, denn er beruht auf einem unzutreffendem Verständnis des forensisch-psychiatrischen Gutachtens vom 21. Juli 2008. Der Sachverständige führt aus, sowohl der Kokainmissbrauch als auch der Missbrauch von Schlaf- und Beruhigungsmitteln sei normalpsychologisch nachvollziehbar. Indes sei beim bewussten Konsum solcher Präparate zum Dämpfen der Kokainwirkung nicht von einer Beeinträchtigung der Einsichts- sondern der Steuerungsfähigkeit auszugehen. Diese sei angesichts der zahlreichen Hilfsangebote, die dem Beschwerdeführer zur Verfügung gestanden hätten und die er kaum genutzt habe, jedoch als leicht einzustufen. Aus psychiatrischer Sicht sei hinsichtlich der zum Nachteil der Ehefrau verübten Straftaten von einer leicht beeinträchtigten Schuldfähigkeit auszugehen. Dies betreffe allerdings nur die Fälle, in denen er Schlafmittel eingenommen habe (kantonale Akten act. 4/2/47 S. 35 2. Abs. und S. 36 am Ende).
3.3 Der Beschwerdeführer macht geltend, gemäss Haaranalyse habe bei ihm während der Nachweisperiode, d.h. von Juli bis November 2007, ein ausserordentlich massiver Kokainkonsum vorgelegen. Seine Enthemmung und die Schlafstörungen seien die Folgen seines damaligen Kokainmissbrauchs gewesen. Die dadurch verursachten Bewusstseinsbeeinträchtigungen hätten in Bezug auf die fraglichen Straftaten zur vollständigen Aufhebung seiner Einsichtsfähigkeit geführt. Daher sei er nicht schuldfähig gewesen, was der Gutachter grundsätzlich bestätige. Dieser nehme dann allerdings Ausführungen zur "actio libera in causa" vor, obwohl es sich dabei um eine Rechtsfrage handle, die das Gericht beantworten müsse (Beschwerde S. 5 f. Ziff. 4).
Der Beschwerdeführer bringt weiter vor, gemäss psychiatrischem Gutachten könnten die von ihm verwendeten Schlafmittel schwere Bewusstseinsbeeinträchtigungen verursachen und zur kompletten Aufhebung der Einsichtsfähigkeit führen. Die Vorinstanz verkenne, dass dies insbesondere bei den Schändungen zu beachten sei. Denn es sei naheliegend, dass er - vor dem Hintergrund seines massiven Kokainkonsums und der damit zusammenhängenden Aufgeputschtheit - am Abend oft solche Schlafmittel eingenommen habe. Entgegen den vorinstanzlichen Erwägungen sei nicht auszuschliessen, dass er trotz Einfluss von Schlafmitteln zum Geschlechtsverkehr fähig gewesen sei (Beschwerde S. 16 f. Ziff. 16).
3.4 Der psychiatrische Sachverständige geht aufgrund der Kokainabhängigkeit des Beschwerdeführers nicht von einer vollständigen Aufhebung der Einsichtsfähigkeit aus. Er führt im Gegenteil aus, ein Abhängigkeitssyndrom von psychotropen Substanzen [wie Kokain und Stilnox®] habe grundsätzlich keine Auswirkung auf die Einsichtsfähigkeit (kantonale Akten act. 4/2/47 S. 36 zu 2.2). Hingegen erachtet er die Steuerungsfähigkeit des Beschwerdeführers wegen des Missbrauchs von Kokain, Schlaf- und Beruhigungsmitteln als leicht beeinträchtigt (E. 3.2 hiervor), weshalb er ihm eine leichte Beeinträchtigung der Schuldfähigkeit attestiert (S. 35 2. Abs.). Freilich legt der Gutachter zunächst dar, eine Intoxikation mit Schlafmitteln mit einer den Benzodiazepinen ähnlichen Wirkungsweise könne zu Zuständen einer schweren Bewusstseinsbeeinträchtigung führen, die für eine allfällige Straftat zur kompletten Aufhebung der Einsichts- und damit der Schuldfähigkeit führen könnten (S. 36 zu 2.1). Theoretisch sei dies auch für eine diesen Schlafmitteln vergleichbaren Substanz wie Stilnox® nicht auszuschliessen (S. 34 am Ende). Der Gutachter führt sodann aus, die damalige Ehefrau des Beschwerdeführers habe diesen mehrfach, als er nicht unter dem Einfluss von Stilnox® gestanden habe, auf sein Verhalten aufmerksam gemacht. Wenn der Beschwerdeführer dieses Präparat trotzdem weiterhin eingenommen habe, komme anstelle der theoretisch anzunehmenden vollständigen Aufhebung der Einsichtsfähigkeit aus forensisch-psychiatrischer Sicht Art. 19 Abs. 4 StGB ("actio libera in causa") zur Anwendung, weshalb die Einsichtsfähigkeit nicht beeinträchtigt sei (S. 35 oben und S. 36 zu 2.1). Bei der Frage, ob der Fall einer "actio libera in causa" vorliegt, handelt es sich allerdings um eine Rechtsfrage (vgl. Urteil 6B_401/2007, 6B_426/2007 und 6B_473/2007 vom 8. November 2007 E. 7.1 mit Hinweis, nicht publ. in: BGE 134 IV 132). Dem Beschwerdeführer ist zuzustimmen, dass die Beantwortung dieser Frage nicht die Aufgabe des psychiatrischen Sachverständigen, sondern diejenige des Gerichts gewesen wäre. Die Vorinstanz äussert sich nicht dazu, obschon der Beschwerdeführer das Thema "actio libera in causa" bereits im vorinstanzlichen Verfahren aufgegriffen hatte (vorinstanzliche Akten act. 1 S. 6 Ziff. 8, act. 15 S. 7 und act. 16 S. 6 Ziff. 10). Damit verletzt sie seinen Anspruch auf rechtliches Gehör.
Die Vorinstanz erwägt, gemäss psychiatrischem Gutachter habe beim Beschwerdeführer eine Kokainabhängigkeit vorgelegen, weshalb er ihm eine verminderte Schuldfähigkeit zubillige. Sie kommt hierauf zum Schluss, das forensisch-psychiatrische Gutachten sei bezüglich der Frage des Umfangs der Verminderung der Schuldfähigkeit des Beschwerdeführers unklar bzw. nicht nachvollziehbar (Urteil S. 18 E. 8.3). Da sich der psychiatrische Sachverständige auch über den Grad der Verminderung der Schuldfähigkeit auszusprechen hat (BGE 119 IV 120 E. 2a mit Hinweis; FELIX BOMMER, in: Basler Kommentar, Strafrecht I, 2. Aufl. 2007, Art. 20 StGB N. 33), erachtet die Vorinstanz das Gutachten somit in einem wesentlichen Punkt für ungenügend. Trotzdem holt sie zu dieser wichtigen Frage weder ein Ergänzungs- noch ein Zweitgutachten ein. Sie führt auch nicht aus, weshalb sie keine ergänzenden Beweise zur Klärung erhebt. Vielmehr attestiert sie dem Beschwerdeführer alleine wegen seines massiven Kokainmissbrauchs bezüglich der Straftaten zum Nachteil seiner damaligen Ehefrau (Vergewaltigungen, Schändungen und Drohungen) "zu seinen Gunsten" eine mittelgradig verminderte Schuldfähigkeit (Urteil S. 18 E. 8.3 und S. 19 2. Abs.). Weiter schliesst sie aus, dass der Beschwerdeführer unter dem Einfluss von Stilnox® fähig gewesen wäre, die Beschwerdegegnerin 2 stundenlang wachzuhalten und anschliessend an ihr den Geschlechtsverkehr zu vollziehen (S. 18 E. 8.3). Wie sich Alkohol und Medikamente auf eine bestimmte Person auswirken, ist aber der Beurteilung von Fachpersonen überlassen (vgl. Urteil 6B_515/2011 vom 24. Januar 2012 E. 2.3). Dem vorliegenden Gutachten lässt sich ein solcher Schluss, wie ihn die Vorinstanz zieht, weder ausdrücklich noch implizit entnehmen. Der psychiatrische Sachverständige hält vielmehr fest, unter Fachleuten sei unbestritten, dass Schlafmittel des Benzodiazepinetyps geeignet seien, schwere Bewusstseinsbeeinträchtigungen, trotz durchaus erhaltener Fähigkeit zu komplexen Handlungen, zu verursachen [...], was theoretisch auch für eine diesen Schlafmitteln vergleichbaren Substanz wie Stilnox® nicht auszuschliessen sei. Zwar könne auch Nozinan® eine Bewusstseinsbeeinträchtigung bewirken. Geschlechtsverkehr wäre aber aufgrund der dämpfenden Wirkung dieses Neuroleptikums nicht denkbar (kantonale Akten act. 4/2/47 S. 34 am Ende). Mit diesen Ausführungen setzt sich die Vorinstanz nicht auseinander. Stattdessen nimmt sie ohne Begründung bzw. weitere Abklärungen an, der Beschwerdeführer wäre unter dem Einfluss und der Wirkung von Stilnox® (einem Schlafmittel, keinem Neuroleptikum) nicht zu den angeklagten Sexualdelikten fähig gewesen. Folglich würdigt sie auch keine weiteren Beweise, um so allenfalls festzustellen, ob der Beschwerdeführer bei Begehung der inkriminierten Sexualdelikte tatsächlich unter dem Einfluss von Stilnox® stand oder nicht.
Die Beschwerde ist teilweise begründet, soweit darauf einzutreten ist. Die Vorinstanz hat zur Frage der Schuldfähigkeit ein Zweit- oder Ergänzungsgutachten einzuholen und anschliessend die Frage der "actio libera in causa" zu beantworten. Damit ist auf die weiteren Vorbringen und Rügen des Beschwerdeführers nicht einzugehen.
4. Die Beschwerde ist teilweise gutzuheissen, soweit darauf einzutreten ist. Im Übrigen ist sie abzuweisen. Das Urteil des Obergerichts des Kantons Zug vom 16. August 2011 ist aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung betreffend den Zivilpunkt gegenstandslos.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Hälfte der Gerichtskosten zu übernehmen. Der Beschwerdegegnerin 2, die in ihrer Vernehmlassung die Abweisung der Beschwerde beantragt, ist ein Viertel der Gerichtskosten zu überbinden (Art. 66 Abs. 1 BGG). Dem Kanton Zug sind keine Kosten aufzuerlegen (Art. 66 Abs. 4 BGG). Die Beschwerdegegnerin 2 und der Kanton Zug haben dem Beschwerdeführer eine Entschädigung von je Fr. 750.-- zu zahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, soweit darauf eingetreten wird. Im Übrigen wird sie abgewiesen. Das Urteil des Obergerichts des Kantons Zug vom 16. August 2011 wird aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. 2.1 Dem Beschwerdeführer werden Gerichtskosten von Fr. 1'000.-- auferlegt.
2.2 Der Beschwerdegegnerin 2 werden Gerichtskosten von Fr. 500.-- auferlegt.
3. Der Kanton Zug und die Beschwerdegegnerin 2 haben den Beschwerdeführer für das bundesgerichtliche Verfahren mit je Fr. 750.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, Strafrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 10. April 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Pasquini