Sachverhalt:
A. Am 1. März 2008 trennten sich A._ und X._ nach einjähriger Liebesbeziehung. A._ zog vorübergehend zu ihrer Cousine. X._ versuchte mehrfach, A._ zur Rückkehr zu bewegen. Er drohte, ihre Schwester und ihren Schwager zu töten. Am Abend des 8. März begab er sich zur Wohnung der Cousine. Deren Ehemann B._ versuchte vergeblich, ihn wegzuschicken. Schliesslich kam A._ zusammen mit ihrer Cousine herbei und erklärte X._, sie wolle nicht mehr zu ihm zurückkehren. X._ verabschiedete sich, klingelte aber wenige Minuten später erneut. Wiederum öffnete B._ die Haustüre. Beim anschliessenden verbalen Streit setzte dieser einen Pfefferspray ein. X._ zog seine Pistole aus dem Hosenbund und schoss viermal auf B._, welcher lebensgefährlich verletzt zu Boden fiel. X._ entfernte sich, kehrte aber wieder zurück und tötete B._ mit einem Schuss in den Hinterkopf.
B. Die Staatsanwaltschaft legt X._ in der Anklageschrift vom 19. Mai 2009 zur Last, er habe B._ ermordet. Ausserdem habe er mehrfach eine Schusswaffe und Munition ohne Berechtigung auf sich getragen und ein geleastes Fahrzeug veruntreut. Dieses habe er im Juli 2007 entgegen den vertraglichen Bestimmungen mit der Leasinggesellschaft an eine Drittperson verkauft.
C. Das Obergericht des Kantons Zürich verurteilte X._ am 12. Februar 2010 wegen Mordes, mehrfachen Vergehens gegen das Waffengesetz und Veruntreuung zu einer Freiheitsstrafe von 15 Jahren. Das Kassationsgericht wies mit Beschluss vom 6. Juni 2011 die Nichtigkeitsbeschwerde von X._ ab, soweit es darauf eintrat. Mit Zirkulationsbeschluss vom 20. Juli 2011 trat es auf die Nichtigkeitsbeschwerde der Staatsanwaltschaft nicht ein.
D. Die Oberstaatsanwaltschaft des Kantons Zürich erhebt Beschwerde in Strafsachen. Sie beantragt, das Urteil des Obergerichts sei aufzuheben und die Sache zur neuen Entscheidung an das Obergericht zurückzuweisen.
E. X._ führt ebenfalls Beschwerde in Strafsachen (Verfahren 6B_429/2010).
Erwägungen:
1. 1.1 Die kantonalen Behörden holten ein psychiatrisches Gutachten der Universitätsklinik Zürich vom 20. Januar 2009 zur Schuldfähigkeit des Beschwerdegegners ein (Art. 20 StGB). Dieses attestiert dem Beschwerdegegner für den Tatzeitpunkt eine psychische Störung bzw. eine Persönlichkeitsveränderung mit depressiver Symptomatik sowie ein Alkoholabhängigkeitssyndrom (Gutachten S. 72, 74, 75). Die Blutalkoholkonzentration von 1.34 bis 1.97 Promille sei nicht als aussergewöhnlich hoch oder niedrig anzusehen, sofern man auf die Angaben des Beschwerdegegners zu seinem üblichen Konsumverhalten abstelle. Unter psychopathologischen Gesichtspunkten fehlten Hinweise auf eine alkoholinduzierte Bewusstseinsstörung, auf wahnhaftes oder halluzinatorisches Erleben, auf eine Verkennung der Situation oder auf Orientierungsstörungen (Gutachten S. 77, S. 80). Die Reaktion auf den Pfefferspray stehe mit keiner der psychischen Störungen in kausalem Zusammenhang (abgesehen von einer gewissen, mit einem vorgängigen Alkoholkonsum üblicherweise verbundenen verminderten Kritikfähigkeit und einer erhöhten Bereitschaft zu aggressiven Reaktionen; Gutachten S. 80 f.). Auch wenn die Paarbeziehung, die depressive Persönlichkeitsveränderung, die Trunksucht sowie die Blutalkoholkonzentration für das Motivationsgefüge und die Handlungsbereitschaft eine Rolle gespielt hätten, liessen sich aus forensisch-psychiatrischer Sicht keine Hinweise auf eine Verminderung der Einsichts- und Steuerungsfähigkeit herleiten (Gutachten S. 82 f.). Der Gutachter verneint die Massnahmebedürftigkeit (Gutachten S. 87 f.).
1.2 Das Obergericht weicht von den Feststellungen des Gutachtens ab, obwohl es diese hinsichtlich der depressiven psychischen Störung, des Alkoholabhängigkeitssyndroms und der fehlenden tatzeitaktuellen Bewusstseinsstörung als überzeugend erachtet. Nach seiner Auffassung sind die Wirkung des Alkoholpegels sowie des Medikaments Seresta nicht in die gutachterlichen Schlussfolgerungen eingeflossen. Alkohol und Seresta verstärkten gegenseitig die Wirkung. Es sei gerichtsnotorisch, dass trotz Alkoholtoleranz eine gewisse Enthemmung stattfinde. Dabei werde zugunsten des Beschwerdeführers vom höheren Wert von 1.97 Promille ausgegangen. Die Blutalkoholkonzentration liege an der Grenze zu 2 Promille. Oberhalb dieses Bereichs sei eine verminderte Schuldfähigkeit zu vermuten. Aufgrund des Alkohol- und Medikamentenkonsums sei von einer leichten Verminderung der Schuldfähigkeit auszugehen.
Das objektive Tatverschulden wertet das Obergericht für den Tatbestand des Mordes nach Art. 112 StGB als mittelschwer. Es setzt die hypothetische Strafe auf 18 Jahre fest, senkt diese aber unter Berücksichtigung der verminderten Schuldfähigkeit auf 15 Jahre. Die Tatmehrheit berücksichtigt es im Umfang von einem Jahr als straferhöhend, die Täterkomponenten im selben Mass als strafmindernd, sodass insgesamt eine Freiheitsstrafe von 15 Jahren resultiert (Urteil des Obergerichts S. 19 f.).
1.3 Das Kassationsgericht ist auf die kantonale Nichtigkeitsbeschwerde der Beschwerdeführerin, mit welcher diese die willkürliche Würdigung des Gutachtens beanstandet hat, nicht eingetreten. Es erwägt, das Obergericht zweifle die Antworten des Gutachtens auf die Fachfragen nicht an. Es gehe im Sinne einer "juristischen Wertung" von einer verminderten Schuldfähigkeit aus. Dies sei keine tatsächliche Feststellung. Die Gerichtsnotorietät hinsichtlich der alkoholbedingten verminderten Schuldfähigkeit beruhe auf allgemeinen Erfahrungsgrundsätzen und sei als Rechtsfrage vom Bundesgericht zu überprüfen.
2. 2.1 Die Beschwerdeführerin wendet sich vor Bundesgericht ausschliesslich gegen den Entscheid des Obergerichts. Sie rügt, dieses habe dem Beschwerdegegner zu Unrecht eine leicht verminderte Schuldfähigkeit zuerkannt. Es weiche ohne triftige Gründe vom psychiatrischen Gutachten ab, obwohl es dieses in Widerspruch zu seiner vorgängigen Argumentation für überzeugend befinde. Gemäss Gutachten ergäben sich aus den tatsächlichen Indikatoren keine Hinweise auf eine verminderte Einsichts- oder Steuerungsfähigkeit oder auf eine Massnahmebedürftigkeit. Die Vermutung, die Schuldfähigkeit sei aufgrund des hohen Alkoholisierungsgrades vermindert, werde durch das Gutachten umgestossen. Indem das Obergericht trotz der klaren gutachterlichen Aussagen zu einem anderen, nicht nachvollziehbaren Ergebnis gelange, verletze es Art. 19 Abs. 2 StGB. Das Tatverschulden sowie das Strafmass beurteile das Obergericht ausgehend von der leichten Verminderung als zu niedrig.
2.2 War der Täter zur Zeit der Tat nicht fähig, das Unrecht seiner Tat einzusehen oder gemäss dieser Einsicht zu handeln, so ist er nicht strafbar (Art. 19 Abs. 1 StGB). War er nur teilweise fähig, das Unrecht einzusehen oder gemäss dieser Einsicht zu handeln, so mildert das Gericht die Strafe (Abs. 2).
In welchem Zustand sich der Täter zur Tatzeit befand, ist Tatfrage. Rechtsfrage ist hingegen, ob die Vorinstanz den Begriff der verminderten Schuldfähigkeit richtig ausgelegt und angewendet hat (BGE 107 IV 3 E. 1a S. 4; vgl. auch Urteil 6B_1092/2009 vom 22. Juni 2010 E. 3.1 mit Hinweisen). Ob ein Gericht die in einem Gutachten enthaltenen Ausführungen für überzeugend hält oder ein Ergänzungsgutachten einholen soll, ist eine Frage der Beweiswürdigung. Eine entsprechende Kritik muss als Verletzung des Willkürverbots substanziiert dargelegt werden (BGE 136 II 539 E. 3.2 S. 547 f. mit Hinweisen).
Die Würdigung eines Gutachtens bzw. der Verzicht auf Einholung eines zweiten sind Beweisfragen und müssen zunächst mit kantonaler Nichtigkeitsbeschwerde an das Kassationsgericht geltend gemacht werden (MARC THOMMEN, in: Basler Kommentar zum Bundesgerichtsgesetz, 1. Aufl. 2008, N. 2 zu Art. 80 BGG; NIKLAUS SCHMID, Auswirkungen des Bundesgerichtsgesetzes auf die Strafrechtspflege unter besonderer Berücksichtigung des Kantons Zürich, Jusletter vom 18. Dezember 2006, Ziff. 2.3; HAUSER/SCHWERI/HARTMANN, Schweizerisches Strafprozessrecht, 6. Aufl. 2005, N. 48 zu § 101; NIKLAUS SCHMID, Strafprozessrecht, 4. Aufl. 2004, N. 1099 zu § 62; NIKLAUS SCHMID, in: Kommentar zur Strafprozessordnung des Kantons Zürich, 1996, N. 21 zu § 430).
2.3 Das Obergericht nimmt entgegen der verwendeten Terminologie (angefochtenes Urteil S. 20) nicht bloss eine eigene juristische Beurteilung vor. Massgeblich für seinen rechtlichen Schluss auf eine leicht verminderte Schuldfähigkeit nach Art. 19 Abs. 2 StGB ist die inhaltliche Würdigung des psychiatrischen Gutachtens. Es weicht von der gutachterlichen Diagnose ab, indem es eine leichte Verminderung der Schuldfähigkeit aufgrund des Alkohol- und Medikamentenkonsums annimmt. Gestützt darauf schliesst es auf eine tatrelevante Beeinträchtigung der Einsichts- und/oder Steuerungsfähigkeit des Beschwerdegegners. Wie sich Alkohol und Medikamente auf eine bestimmte Person auswirken, ist der Beurteilung von Fachpersonen überlassen. Das Obergericht übersieht dabei, dass der Gutachter die tatzeitrelevante Blutalkoholkonzentration und die Gewöhnung des Beschwerdegegners an den Alkohol berücksichtigt hat (Gutachten S. 82 f., wo trotz der depressiven Persönlichkeitsveränderung, der Trunksucht und tatzeitaktuellen Blutalkoholkonzentration eine Verminderung der Fähigkeit, um das Tötungsverbot zu wissen und diesem Wissen zu folgen, verneint wird). Das Gutachten hat die Auswirkungen des Alkoholkonsums unter Einbezug der auf den Beschwerdegegner zugeschnittenen Verhältnisse beantwortet. Unter diesen Umständen spielt die Gerichtsnotorietät, wann aufgrund des Alkoholkonsums bei einem Durchschnittsmenschen von einer verminderten Schuldfähigkeit auszugehen ist, keine Rolle mehr. Erachtete das Obergericht die gutachterlichen Schlussfolgerungen zum Alkohol- und/oder Medikamentenmissbrauch als ungenügend, hätte es zu dieser Frage ein Ergänzungsgutachten einholen müssen.
2.4 Die Beschwerdeführerin hat die Frage der Zulässigkeit dieser obergerichtlichen Beweiswürdigung zutreffend unter dem Titel der Willkür mit kantonaler Nichtigkeitsbeschwerde vor Kassationsgericht geltend gemacht. Indem sie vor Bundesgericht erneut sinngemäss die obergerichtliche Würdigung des Gutachtens (unter der falschen Bezeichnung als Rechtsfrage) bestreitet, ohne sich gegen den kassationsgerichtlichen Nichteintretensentscheid zu wenden, fehlt es an einem tauglichen Anfechtungsobjekt im Sinne von Art. 80 Abs. 1 BGG. Auf die Beschwerde ist nicht einzutreten.
3. Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben und keine Parteientschädigungen zuzusprechen (Art. 66 Abs. 1 und Abs. 4, Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 24. Januar 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Koch