Sachverhalt:
A. Das Obergericht des Kantons Zürich sprach X._ am 30. April 2012 zweitinstanzlich der versuchten schweren Körperverletzung, der mehrfachen Freiheitsberaubung und der mehrfachen, teilweise qualifizierten Drohung zum Nachteil von A._ und B._ schuldig. Zudem verurteilte es ihn im Nebendossier wegen Angriffs und versuchter falscher Anschuldigung. Bezüglich des Schuldspruchs wegen mehrfacher einfacher Körperverletzung und der Freisprüche (von den Vorwürfen des Hausfriedensbruchs und der versuchten schweren Körperverletzung zum Nachteil von C._) stellte es die Rechtskraft des bezirksgerichtlichen Urteils vom 30. Juni 2011 fest. Das Obergericht fällte eine Freiheitsstrafe von 4 Jahren unter Anrechnung der Untersuchungs- und Sicherheitshaft von 549 Tagen aus, ordnete eine ambulante Behandlung ohne Aufschub des Vollzugs an und regelte den Kostenpunkt.
Den Schuldsprüchen der versuchten schweren Körperverletzung, der mehrfachen Freiheitsberaubung und der mehrfachen, teilweise qualifizierten Drohung liegt folgender Sachverhalt zugrunde:
X._ drang am 5. März 2010 um circa 02.40 Uhr gewaltsam in die Wohnung seiner früheren Freundin B._ ein, worin er bis zum besagten Vorfall - zumindest offiziell - ebenfalls gewohnt hatte. Nachdem er diese im Schlafzimmer mit ihrem neuen Freund A._ gefunden hatte, geriet er ausser sich. Er schlug B._, teils mit der offenen Hand, teils mit der Faust, vornehmlich ins Gesicht. Mit einem zwischenzeitlich behändigten Beilhammer versuchte er A._ mehrfach, d.h. zwei- resp. drei- bis viermal, direkt auf den Kopf zu schlagen. Dieser konnte den Schlägen teilweise ausweichen bzw. vermochte sie teilweise abzuwehren. Dennoch wurde er mindestens zweimal mit dem Beilhammer am Körper getroffen. X._ zwang die Opfer, sich auf ein Sofa zu setzen und Fragen zu beantworten, ansonsten er mit dem Beilhammer zuschlagen würde. A._ drohte er, den Penis abzuhacken. Nachdem er die Opfer 20 bis 30 Minuten festgehalten hatte, gelang es B._ die Wohnung zu verlassen und wegzurennen.
B. Mit Beschwerde in Strafsachen beantragt X._ die Aufhebung des angefochtenen Urteils (Ziff. 1, 2, 3, 6). Er sei wegen mehrfacher einfacher Körperverletzung (Schuldspruch bereits rechtskräftig), Angriffs und versuchter falscher Anschuldigung schuldig zu sprechen. In den übrigen Punkten (versuchte schwere Körperverletzung, mehrfache, teilweise qualifizierte Drohung und mehrfache Freiheitsberaubung) sei er freizusprechen. Er sei mit einer bedingten Freiheitsstrafe von 2 Jahren (unter Anrechnung der Untersuchungshaft), bei einer Probezeit von 2 Jahren, zu bestrafen. Zudem sei ihm die Weisung zu erteilen, die ambulante Therapie weiterzuführen. X._ ersucht um unentgeltliche Rechtspflege und Verbeiständung.
Erwägungen:
1. 1.1 Der Beschwerdeführer macht eine willkürliche Beweiswürdigung und eine Verletzung des Grundsatzes "in dubio pro reo" geltend. Die Vorinstanz stelle - soweit ihm vorgeworfen werde, einen Beilhammer eingesetzt zu haben - einseitig auf die Aussagen der Belastungszeugen ab, ohne die überwältigenden Gegenindizien zu würdigen (Beschwerde, S. 5 ff.).
1.2 Die Vorinstanz hält den Anklagesachverhalt für erstellt. Sie stützt sich unter Hinweis auf die Ausführungen im erstinstanzlichen Urteil auf die ihr glaubhaft scheinenden Aussagen der Opfer, insbesondere auf diejenigen von A._. Die Opfer hätten das Geschehen lebendig, konstant und in sich stimmig geschildert. Das gelte namentlich für die dem Beschwerdeführer zur Last gelegte Verwendung des Beilhammers. Es lägen zahlreiche Realitätskriterien vor, weshalb davon auszugehen sei, den Schilderungen der Opfer liege tatsächlich Erlebtes zu Grunde. Eine Absprache zwischen diesen schliesst die Vorinstanz aufgrund der zeitlichen Begebenheiten aus (Entscheid, S. 12 ff.). Selbst wenn sich eine Gelegenheit dazu geboten hätte, spräche es gegen jegliche Lebenserfahrung, dass jemand, der einen andern vorsätzlich und wahrheitswidrig der Verwendung einer Waffe bezichtige, diese nicht einmal benennen, sondern nur zeichnen könne (Entscheid, S. 13 f. mit Hinweis auf die Aussage von B._: "Dann hatte er in der linken Hand eine Axt, also es war auf der einen Seite eine Axt und auf der anderen ein Hammer. Ich muss es ihnen zeichnen.").
Der Umstand, dass die Polizei keinen Beilhammer am Tatort finden konnte, B._ der Staatsanwaltschaft die vermeintliche "Tatwaffe" aber rund acht Wochen nach dem Vorfall einreichte, beurteilt die Vorinstanz als seltsam. Auch die Verwunderung A._s hierüber erscheine echt (Entscheid, S. 14 mit Hinweis auf dessen Reaktion: "Ob es genau dieser Beilhammer war, kann ich nicht so genau sagen. Diese Geschichte finde ich aber komisch, dass die Sache nicht da war und jetzt hat sie sie wieder."). Für sich alleine vermöge dieser Umstand die glaubhaften Aussagen namentlich von A._ aber nicht in Frage zu stellen. Ob es sich beim eingereichten Beilhammer um die Tatwaffe handle, könne deshalb offenbleiben (Entscheid, S. 14).
Die Aussagen des Beschwerdeführers erachtet die Vorinstanz als nicht schlüssig. Er bestreite lediglich, einen Beilhammer eingesetzt zu haben, und mache geltend, B._ habe sich am Türgriff und A._ am Fenster gestossen und verletzt (Entscheid, S. 10 f.).
1.3 Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG; Art. 105 Abs. 2 BGG). Offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (BGE 137 III 226 E. 4.2 mit Hinweisen; zum Begriff der Willkür BGE 138 I 49 E. 7.1; 136 III 552 E. 4.2; je mit Hinweisen). Eine entsprechende Rüge muss klar und substantiiert begründet werden (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; BGE 137 IV 1 E. 4.2.3; 136 I 65 E. 1.3.1; je mit Hinweisen). Dem vom Beschwerdeführer angerufenen Grundsatz "in dubio pro reo" kommt in seiner Funktion als Beweiswürdigungsregel im Verfahren vor dem Bundesgericht keine über das Willkürverbot von Art. 9 BV hinausgehende Bedeutung zu (BGE 127 I 38 E. 2a; 124 IV 86 E. 2a; je mit Hinweisen).
1.4 Der Beschwerdeführer bezeichnet die "Beilhammergeschichte" als unstimmig (Beschwerde, S. 6). Er wendet sich insofern gegen die Person und die Aussagen von B._ und bezichtigt diese der "krassen", "frechen" und "unverschämten" Lügen, weil sie der Anklage "einen falschen Beilhammer unterschoben" habe (Beschwerde, S. 8). Die Vorinstanz hätte diese Lügen feststellen müssen, sich von den Aussagen des angeblichen Opfers nicht überzeugen und die Frage nicht offenlassen dürfen, ob es sich beim eingereichten Hammer um die Tatwaffe handle (Beschwerde, S. 8, 9, 10 f., 16). Die Kritik geht an der Sache vorbei. Ob B._ den Behörden die Tatwaffe einreichte, ist für die Frage, ob der Beschwerdeführer einen Beilhammer einsetzte, nicht massgeblich. Im Übrigen stellt die Vorinstanz betreffend die Verwendung eines Beilhammers nicht (entscheidend) auf die Aussagen von B._ ab. Sie stützt sich zur Hauptsache auf die Schilderungen von A._. Soweit sich der Beschwerdeführer mit dessen Aussagen bzw. der diesbezüglichen Beweiswürdigung der Vorinstanz überhaupt befasst, macht er zur Sache im Wesentlichen nur geltend, A._ habe "die Schrecken dieser Nacht überdramatisch" geschildert (Beschwerde, S. 12 f.). Auch in eine zum Teil wahrheitsgetreue Schilderung könnten Lügen eingebaut werden. Es sei nicht sehr schwierig, bei einer Schlägerei noch den Einsatz einer Waffe zu erfinden (Beschwerde, S. 15). Diese Ausführungen sind rein appellatorisch. Der Beschwerdeführer begründet nicht, inwiefern die vorinstanzlichen Schlussfolgerungen zu den Schilderungen A._s unhaltbar sind. Er legt nur seine Sicht der Dinge dar und unterstellt, die Vorinstanz wende bei der Beurteilung seiner Aussagen und derjenigen der Zeugen unterschiedlich strenge "Beweiswürdigungsstandards" an (Beschwerde, S. 13). Im Übrigen weist der Beschwerdeführer selber ausdrücklich auf den weitgehend appellatorischen Charakter seiner Ausführungen hin (Beschwerde, S. 16).
1.5 Die Vorinstanz gelangt aufgrund der zeitlichen Begebenheiten zum Schluss, die Opfer hätten sich über die Verwendung des Beilhammers nicht absprechen können (Entscheid, S. 13). Dieser Schluss ist nicht willkürlich. B._ begab sich, nachdem sie aus der Wohnung fliehen und den Beschwerdeführer mit Hilfe einer Passantin in die Flucht schlagen konnte, direkt auf den Polizeiposten, wo sie bereits mündlich berichtete, der Beschwerdeführer habe einen gelben Hammer oder eine Axt in der Hand gehabt und sie damit geschlagen (Entscheid, S. 13 mit Hinweis auf act. HD 1, Polizeirapport, S. 7). A._ wurde von der Polizei direkt am Tatort angetroffen. Auch er sprach auf dem Posten davon, der Beschwerdeführer habe ein Werkzeug in der Hand gehabt, eventuell einen Hammer (act. HD 1, Polizeirapport, S. 7). Zwischen Flucht und Eintreffen auf dem Polizeiposten bestand mithin nach den nachvollziehbaren Feststellungen der Vorinstanz keine Gelegenheit zur Absprache. Der Einwand, die Opfer hätten sich im D._-spital in der Notfallaufnahme im Hinblick auf die nachträglichen Einvernahmen abgesprochen (Beschwerde, S. 14), geht mithin fehl. Nicht einzugehen ist unter diesen Umständen auf die vorinstanzliche Eventualbegründung, es widerspreche jeglicher Lebenserfahrung, dass jemand einen andern vorsätzlich und wahrheitswidrig der Verwendung einer Waffe bezichtige, die er nicht einmal benennen könne, und die in diesem Punkt ebenfalls rein appellatorischen Ausführungen des Beschwerdeführers (Entscheid, S. 13; Beschwerde, S. 7 f.).
1.6 Nach der Vorinstanz sind die ärztlichen Feststellungen im Bericht des D._-spitals zum Verletzungsbild der Opfer mit der Verwendung eines Beilhammers vereinbar. Sie stützten die Version der Opfer (Entscheid, S. 14 mit Hinweis auf die Ausführungen im erstinstanzlichen Urteil, S. 61 f.). In dieser Schlussfolgerung ist keine Willkür und keine Verletzung des Grundsatzes "in dubio pro reo" erkennbar, auch wenn kein vertiefter forensisch-medizinischer Bericht zu den festgestellten Verletzungen vorliegt (Beschwerde, S. 11 f.). Der Beschwerdeführer macht geltend, ein Gutachten hätte aufzeigen können, ob bzw. wie ernsthaft er versucht habe, den Hammer einzusetzen, weil ein (permanentes) Einschlagen auf die Opfer mit einem Hammer zu erheblichen Verletzungen hätte führen müssen. Bei seiner Kritik geht er von einem Sachverhalt aus, der ihm nicht vorgeworfen wird (vgl. Beschwerde, S. 14 f.). Darauf ist nicht einzutreten. Inwiefern die Vorinstanz ihren Entscheid unzureichend begründet haben könnte, ist aufgrund der Beschwerdevorbringen nicht ersichtlich (Entscheid, S. 14 mit Verweis auf erstinstanzliches Urteil, S. 62; vgl. Beschwerde, S. 12).
2. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG). Der Beschwerdeführer hat die bundesgerichtlichen Kosten zu tragen (Art. 66 Abs. 1 BGG). Seine angespannte finanzielle Situation ist bei der Bemessung der Gerichtskosten angemessen zu berücksichtigen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 15. November 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill