Sachverhalt:
A. Mit Anklageschrift vom 30. Juni 2008 an die Anklagekammer des Obergerichts des Kantons Zürich warf die Staatsanwaltschaft IV des Kantons Zürich X._ unter anderem vor, am 19. April 2007 versucht zu haben, seine frühere Freundin A._ zu vergewaltigen und zu töten. Ferner soll er diese am 26. Februar 2006 geschlagen, in der Wohnung festgehalten, mit einer Waffe bedroht und von ihr die schriftliche Anerkennung von Schulden erzwungen haben.
B. Die Anklagekammer des Obergerichts liess am 5. September 2008 die Anklage zu und überwies X._ dem Obergericht des Kantons Zürich zur Beurteilung.
Mit Beschluss vom 28. Oktober 2008 verneinte die I. Strafkammer des Obergerichts mangels Anerkennung des eingeklagten Sachverhalts durch X._ die sachliche Zuständigkeit des Obergerichts und überwies die Sache zuständigkeitshalber dem Geschworenengericht zur Beurteilung. Die von X._ dagegen erhobene kantonale Nichtigkeitsbeschwerde hiess das Kassationsgericht des Kantons Zürich am 20. Mai 2009 gut. Die Akten gingen deshalb zu neuer Entscheidung an das Obergericht zurück.
Die I. Strafkammer des Obergerichts des Kantons Zürich sprach X._ mit Urteil vom 14. Dezember 2009 schuldig des versuchten Mords, der versuchten Vergewaltigung, der mehrfachen Gefährdung des Lebens, der Freiheitsberaubung, der mehrfachen Drohung und der mehrfachen Widerhandlung gegen das Waffengesetz. Sie bestrafte ihn mit 18 1⁄2 Jahren Freiheitsstrafe, unter Anrechnung der Untersuchungs- und Sicherheitshaft, und ordnete eine vollzugsbegleitende ambulante Massnahme an. Gegen diesen Entscheid erhob X._ durch seinen neuen Verteidiger kantonale Nichtigkeitsbeschwerde, welche das Kassationsgericht mit Beschluss vom 3. August 2011 abwies.
C. Mit Beschwerde in Strafsachen beantragt X._, das Urteil der I. Strafkammer des Obergerichts vom 14. Dezember 2009 und der Zirkulationsbeschluss des Kassationsgerichts vom 3. August 2011 seien aufzuheben, und die Sache sei an die Vorinstanzen im Sinne der Erwägungen zurückzuweisen.
Erwägungen:
1. Der Beschwerdeführer macht insbesondere unter Berufung auf BGE 114 Ia 50 eine Verletzung von Art. 58 Abs. 1 BV (recte: Art. 30 Abs. 1 BV) und Art. 6 Ziff. 1 EMRK geltend. Indem Oberrichterin C._ sowohl am Beschluss des Obergerichts vom 28. Oktober 2008 (betreffend Beurteilung der sachlichen Zuständigkeit mit Überweisung der Sache an das Geschworenengericht) als auch am Urteil der I. Strafkammer des Obergerichts vom 14. Dezember 2009 in der Sache mitgewirkt habe, erscheine der Ausgang des Gerichtsverfahrens mit Blick auf die sich stellenden Tat- und Rechtsfragen nicht mehr als offen. Das Kassationsgericht habe eine Verfassungsverletzung zu Unrecht verneint (Beschwerde, S. 15-17).
1.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Ob diese Garantien verletzt sind, prüft das Bundesgericht frei. Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Letzteres betrifft vor allem Konstellationen einer Vorbefassung des Richters. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (BGE 136 I 207 E. 3.1 S. 210 mit Hinweisen).
1.2 Das Bundesgericht hat die unzulässige Vorbefassung im Rahmen einer Ämterkumulation eines Strafrichters bejaht, der vorher als Mitglied der Anklagekammer die Anklage zugelassen und den Angeklagten an das Strafgericht überwiesen hatte (BGE 114 Ia 50 E. 5 S. 66 ff; vgl. auch 113 Ia 72 E. 3 S. 73 ff.; s. aber BGE 114 Ia 139 42 ff.). Massgeblich für das Bundesgericht war, dass im Anklagezulassungsverfahren (durch die Anklagekammer) unter anderem eine sehr ähnliche Frage zu prüfen war wie im Hauptverfahren, nämlich ob der Angeschuldigte als Täter des ihm vorgeworfenen Delikts in Frage komme. Der Strafrichter habe sich zwar im Hauptverfahren von der definitiven Schuld des Angeklagten zu überzeugen, während der Zulassungs- und Überweisungsrichter den hinreichenden Tatverdacht lediglich provisorisch bejahe. Diese Terminologie sei für sich allein genommen nicht entscheidend. Es komme vielmehr darauf an, dass in beiden Verfahrensabschnitten eine ähnliche oder qualitativ gleiche Frage geprüft werde. Diese Prüfung könne zudem aufgrund einer umfassenden Würdigung des Untersuchungsergebnisses erfolgen. Nicht wesentlich sei, ob im Anklage- und Überweisungsverfahren diese umfassende Würdigung tatsächlich vorgenommen werde. Denn unter dem Gesichtspunkt des Anscheins der Befangenheit komme es in erster Linie auf die Kompetenzen und weniger darauf an, in welchem Umfang davon Gebrauch gemacht worden sei. Bereits im Umstand, dass damit in beiden Verfahrensabschnitten über eine sehr ähnliche Frage entschieden werde, möge ein Grund dafür erblickt werden, der Ausgang des Hauptverfahrens erscheine im Falle der Mitwirkung derselben Richter nicht mehr als offen. Aus objektiver Sicht könne befürchtet werden, der Strafrichter habe sich wegen seiner früheren Mitwirkung im Anklagezulassungsverfahren bereits in einem Ausmasse eine Meinung gebildet, die ihn nicht mehr als unvoreingenommen erscheinen lasse (BGE 114 Ia 50 E. 5b/bb S. 69 f.).
1.3 Eine mit BGE 114 Ia 50 vergleichbare Konstellation der Vorbefassung liegt nicht vor. Das Obergericht befand im Zuge der Überweisung der Sache an das Geschworenengericht am 28. Oktober 2008 alleine über die Frage der sachlichen Zuständigkeit im Sinne des Vorliegens eines Geständnisses oder der Sachverhaltsanerkennung durch den Angeklagten. Zur Frage der bereits von der Anklagekammer beschlossenen Anklagezulassung und zum insoweit bejahten hinreichenden Tatverdacht resp. zu Aspekten der mutmasslichen Schuld oder Unschuld hatte es sich nicht zu äussern und äusserte es sich entgegen den rein appellatorischen Vorbringen in der Beschwerde nicht. Das Obergericht fällte mit der Verneinung der sachlichen Zuständigkeit keinen Vorabentscheid in der Sache. Es legte sich für das Erkenntnisverfahren erkennbar in keiner Weise fest. Aufgrund der Verschiedenheit der Fragestellungen konnte es sich gar nicht festlegen. Es nahm keine Beweiswürdigung im Sinne eines auch nur provisorischen Schuldnachweises vor, sondern es beantwortete einzig die Frage, ob der Beschwerdeführer den eingeklagten Sachverhalt anerkenne. Damit sind keine Anhaltspunkte gegeben, die bezüglich der am Beschluss vom 28. Oktober 2008 beteiligten Justizpersonen den Anschein erwecken würden, diese seien im Hinblick auf das nachfolgende Urteil in der Sache nicht mehr offen und unvoreingenommen. Der Einwand des Beschwerdeführers erweist sich als unbegründet. Es kann auf die umfassenden und zutreffenden Ausführungen im Beschluss des Kassationsgerichts verwiesen werden (Beschluss, S. 5-13).
2. Der Beschwerdeführer rügt eine Verletzung des Anspruchs auf richterliche Fürsorge für gehörige Verteidigung im Sinne von Art. 29 Abs. 3 in Verbindung mit Art. 32 Abs. 2 BV und Art. 6 Ziff. 3 lit. c EMRK (Beschwerde, S. 17-24).
2.1 Die mit der Strafverfolgung betrauten Behörden haben aufgrund ihrer Fürsorge- und Aufklärungspflicht nach Art. 32 Abs. 2 und Art. 31 Abs. 2 BV für die Voraussetzungen eines fairen Strafverfahrens zu sorgen (vgl. nunmehr auch Art. 3 StPO). Dies umfasst neben der Pflicht, die rechtsungewohnten, anwaltlich nicht vertretenen Verfahrensbeteiligten über ihre Rechte aufzuklären, auch eine richterliche Fürsorgepflicht. Diese gebietet dem Richter im Falle einer offenkundig ungenügenden Verteidigung, den amtlichen Verteidiger zu ersetzen, und bei einer privaten Verteidigung einzuschreiten sowie nach der Aufklärung des Angeschuldigten über seine Verteidigungsrechte das zur Gewährleistung einer genügenden Verteidigung Erforderliche vorzukehren (BGE 131 I 350 E. 4.1 und 4.2; 124 I 185 E. 3a; vgl. Urteil des Bundesgerichts 6B_172/2011 vom 23. Dezember 2011 E. 1.3 mit weiterem Hinweis).
2.2 Von einer ungenügenden Verteidigungsleistung der früheren amtlichen Verteidigung kann in Übereinstimmung mit der Auffassung des Kassationsgerichts nicht die Rede sein. Entgegen der Beschwerde beliess es die frühere Verteidigerin im Rahmen ihres Plädoyers vor Obergericht nicht beim blossen Auflisten von Aktenzitaten, sondern gewichtete und kommentierte sie die bewusst ausgewählten Aktenstellen und Aussagen der Verfahrensbeteiligten im Hinblick auf eine mögliche Entlastung des Beschwerdeführers im Zusammenhang mit der rechtlichen Qualifikation der Tat und der Strafzumessung. Erkennbar ging es ihr darum, bestimmte Sachverhaltspunkte in Zweifel zu ziehen und in Bezug auf den Vorwurf des versuchten Mords insbesondere darzulegen, dass der Beschwerdeführer dem Opfer bereits in dessen Wohnung alle fünf Messerstiche zugefügt hatte und nicht - wie eingeklagt - zwei Hals-Stiche erst nachträglich nach der Flucht des durch drei Messerstiche bereits erheblich verletzten Opfers in das Nachbarhaus "B._" (kantonale Akten, Plädoyer, act. 63 S. 8 ff., S. 27). Auch mit Blick auf den Vergewaltigungsversuch verwies die frühere Verteidigerin in ihrem Plädoyer über mehrere Seiten hinweg auf Ungereimtheiten, welche den der Anklage zugrunde liegenden Sachverhalt als unbewiesen erscheinen hätten lassen sollen (kantonale Akten, Plädoyer, act. 63 S. 27 ff.). Weiter würdigte die Verteidigerin das Nachtatverhalten des Beschwerdeführers, wobei sie daraus das Nichtvorliegen des subjektiven Tatbestands der Drohung abzuleiten versuchte (kantonale Akten, Plädoyer, act. 63 S. 31 mit Einschub gemäss Prot. OG S. 77). Die Verteidigerin äusserte sich in der Folge zur rechtlichen Würdigung (S. 31 ff.) und zur Strafzumessung (S. 33), wobei sie entgegen den Vorbringen in der Beschwerde nach entsprechenden Hinweisen des Vorsitzenden anlässlich der Hauptverhandlung vor Obergericht auch eventualiter zur Strafzumessung bei vollumfänglicher Verurteilung des Beschwerdeführers Stellung nahm (vgl. Prot. OG S. 80). Kann damit von einer ungenügenden Verteidigung des Beschwerdeführers vor Obergericht nicht gesprochen werden, brauchten die Richter mangels offenkundiger und schwerwiegender Pflichtverletzung des Verteidigers auch nicht einzugreifen. Denn die richterliche Fürsorgepflicht kann naturgemäss nur zum Tragen kommen, wenn ein eklatanter Verstoss gegen allgemein anerkannte Verteidigerpflichten vorliegt (Urteil 6B_172/2011 vom 23. Dezember 2011 E. 1.3.2). Das ist hier nicht der Fall. Es kann auf die umfassenden und zutreffenden Ausführungen im Beschluss des Kassationsgerichts verwiesen werden (Beschluss, S. 13-18). Die Beschwerde erweist sich auch in diesem Punkt als unbegründet.
3. Der Beschwerdeführer bringt vor, es seien unzulässigerweise Geheimakten angelegt worden. Er bezieht sich bei seiner Rüge auf einen Hinweis im Zusammenhang mit der Mobiltelefonauswertung (Auslesen von Daten) mit dem folgenden Wortlaut: "Nur fallrelevante Daten an die Untersuchungsbehörden weitergeben!". Aus diesem Hinweis schliesst der Beschwerdeführer, die Polizei habe noch weitergehende Daten erhoben und angelegt, jedoch nicht ins Dossier aufgenommen und damit nicht zugänglich gemacht (Beschwerde, S. 25-27).
3.1 Die Wahrnehmung der vom Anspruch auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV umfassten Rechte, insbesondere des Akteneinsichts- und Beweisführungsrechts, setzt eine entsprechende Aktenführungspflicht voraus. Die Behörden haben alles in den Akten festzuhalten, was zur Sache gehört und entscheidwesentlich sein kann. Dabei können sie sich jedoch auf die für die Entscheidfindung im konkreten Fall wesentlichen Punkte beschränken (BGE 130 II 473 E. 4.1 und 4.3 mit Hinweisen). In einem Strafverfahren bedeutet dies, dass die Beweismittel, jedenfalls soweit sie nicht unmittelbar an der gerichtlichen Hauptverhandlung erhoben werden, in den Untersuchungsakten vorhanden sein müssen und dass aktenmässig belegt sein muss, wie sie erhoben wurden, damit der Angeklagte in der Lage ist zu prüfen, ob sie inhaltliche oder formelle Mängel aufweisen und gegebenenfalls Einwände gegen deren Verwertbarkeit erheben kann. Dies ist Voraussetzung dafür, dass er seine Verteidigungsrechte wahrnehmen kann, wie dies Art. 32 Abs. 2 BV verlangt (BGE 129 I 85 E. 4.1 S.89).
3.2 Entgegen der Beschwerde liegt keine Verletzung der Aktenführungspflicht vor. Es gibt keine Anzeichen dafür, dass die kantonalen Behörden über Geheimakten oder andere, dem Beschwerdeführer nicht zugängliche Beweismittel verfügt hätten. Aus dem Grundsatz der Aktenführungspflicht folgt, dass nur prozessrelevante Daten aktenkundig zu machen sind. Das Kassationsgericht erwägt zutreffend, es verstosse nicht gegen die Aktenführungs- oder Dokumentationspflicht, wenn Daten, die im Rahmen einer Überwachung oder einer nachträglichen Auswertung gesichtet werden und die in keinem Zusammenhang mit der Sache stehen (beispielsweise SMS-Verkehr mit Drittpersonen ohne jeglichen Bezug zur Sache), nicht ins Dossier übernommen werden, weil sie in diesem Fall auch keine entlastende Funktion haben können. Regelungen hinsichtlich vorzeitiger Aussonderung von bestimmten Akten (triage) kommen allgemein bei Durchsuchungs-, Untersuchungs- sowie Überwachungsmassnahmen zur Anwendung (vgl. insbesondere zur Grobtriage bzw. Aussonderung von offensichtlich irrelevanten Akten: KELLER, in Donatsch/Hansjakob/Lieber, StPO-Kommentar, Art. 247 N. 3 ff). Auf die zutreffenden kassationsgerichtlichen Ausführungen kann verwiesen werden.
4. Der Beschwerdeführer wendet sich gegen die Strafzumessung. Sein Verschulden werde in Bezug auf den Mordversuch im angefochtenen Entscheid einerseits als "knapp schwer", andererseits als "schwer bis sehr schwer" bezeichnet. Eine solche Würdigung sei widersprüchlich und mit Art. 47 StGB nicht vereinbar (Beschwerde, S. 7 f.).
4.1 Nach Art. 47 Abs. 1 StGB misst der Richter die Strafe nach dem Verschulden des Täters zu. Er berücksichtigt das Vorleben, die persönlichen Verhältnisse sowie die Wirkung der Strafe auf das Leben des Schuldigen. Die Bewertung des Verschuldens wird in Art. 47 Abs. 2 StGB dahingehend präzisiert, dass dieses nach der Schwere der Verletzung oder Gefährdung des betroffenen Rechtsguts, nach der Verwerflichkeit des Handelns, den Beweggründen und Zielen des Täters sowie danach bestimmt wird, wie weit der Täter nach den inneren und äusseren Umständen in der Lage war, die Gefährdung oder Verletzung zu vermeiden.
Das Bundesgericht hat die Grundsätze der Strafzumessung wiederholt dargelegt (BGE 136 IV 55 E. 5.4 S. 59 mit Hinweis).
4.2 Die Ausführungen des Obergerichts zur Strafzumessung und insbesondere zur Verschuldenseinschätzung halten sich im Rahmen von Art. 47 StGB und sind nicht zu beanstanden. Das Obergericht beurteilt das objektive Tatverschulden des Beschwerdeführers innerhalb des Mordtatbestands zunächst als "knapp schwer". Er habe dem Opfer massive Verletzungen durch Messerstiche zugefügt. Nicht entscheidend sei, dass für das Opfer keine unmittelbare Lebensgefahr bestanden habe. Denn die Stichverletzungen hätten bei nur geringgradig veränderter Stichrichtung oder -tiefe tödlich sein können, was der Beschwerdeführer bei seinem Tun nicht habe steuern können. Das Obergericht nennt sodann einige Gesichtspunkte, die sich innerhalb des Mordtatbestands erschwerend auswirken. So beurteilt es das als besonders grausam bewertete Vorgehen des Beschwerdeführers gegen das bereits erheblich verletzte und wehrlose Opfer im Nachbarhaus "B._" in Richtung einer Eliminationstötung als ebenso verschuldenserhöhend wie die Umstände, dass jeder der fünf Messerstiche des mit grosser krimineller Energie handelnden Beschwerdeführers das Potential hatte, tödlich zu sein, und dieser gleichzeitig mehrere Mordqualifikationsgründe auf sich vereinigte (Rache, Egoismus und Strafaktion). Unter Berücksichtigung dieser erschwerenden Umstände geht das Obergericht insgesamt von einem "schweren bis sehr schweren" objektiven Tatverschulden aus. Was an dieser Einschätzung des Verschuldens Bundesrecht verletzen könnte, ist nicht ersichtlich. Der Vorwurf der widersprüchlichen Verschuldenswürdigung zielt ins Leere. Das Obergericht setzt vielmehr ausgehend von der Grösse der Rechtsgutverletzung ein Verschulden fest, welches sich durch erschwerende Umstände innerhalb des Mordtatbestands erhöht, ohne dass eine unzulässige Doppelverwertung vorliegen würde.
5. Die Beschwerde ist abzuweisen. Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, I. Strafkammer, und dem Kassationsgericht des Kantons Zürich schriftlich mitgeteilt.
Lausanne, 30. Januar 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill