Sachverhalt:
A. X._ stach A._ am 4. November 2007 um ca. 01.40 Uhr im Rahmen eines Raufhandels mit einem Schraubenzieher, der einen ca. 8.5 cm langen Kunststoffgriff sowie ein ca. 9 cm langes Metallteil mit flachem, knapp 3 mm breitem Ende aufwies, in die rechte Flanke. Er fügte diesem dadurch eine lebensgefährliche Verletzung der Lunge zu.
B. Das Obergericht des Kantons Zürich verurteilte X._ am 28. April 2009 wegen schwerer Körperverletzung im Sinne von Art. 122 Abs. 1 StGB und Raufhandels im Sinne von Art. 133 Abs. 1 StGB zu einer Freiheitsstrafe von drei Jahren. Den Vollzug der Freiheitsstrafe schob es im Umfang von 23 Monaten auf.
C. Das Bundesgericht hiess am 28. Januar 2010 eine Beschwerde der Oberstaatsanwaltschaft Zürich gegen das Urteil vom 28. April 2009 im Strafpunkt gut und wies die Sache zur neuen Strafzumessung an die Vorinstanz zurück (Verfahren 6B_584/2009).
D. Das Obergericht des Kantons Zürich setzte die Freiheitsstrafe von X._ mit Urteil vom 19. Juli 2010 neu auf 4 Jahre und 9 Monate fest. Auf eine dagegen erhobene kantonale Nichtigkeitsbeschwerde trat das Kassationsgericht am 15. September 2011 nicht ein.
E. X._ führt Beschwerde in Strafsachen mit dem Antrag, das Urteil des Obergerichts vom 19. Juli 2010 aufzuheben und das Strafmass gemäss Urteil vom 28. April 2009 zu bestätigen. Eventualiter sei der Entscheid zur vollständigen Begründung an die Vorinstanz zurückzuweisen. Er ersucht um unentgeltliche Rechtspflege und Verbeiständung.
Erwägungen:
1. Das Bundesgericht führte im Urteil vom 28. Januar 2010 u.a. aus, die von der Vorinstanz ausgefällte Freiheitsstrafe von drei Jahren, die gerade noch den teilbedingten Vollzug ermögliche, sei in Anbetracht der objektiven und subjektiven Tatumstände, aus welchen die Vorinstanz zu Recht auf ein "erhebliches" Verschulden des Beschwerdeführers schliesse, deutlich zu milde. Zwar spreche zugunsten des Beschwerdeführers, dass er in Bezug auf den tatbestandsmässigen Erfolg lediglich mit Eventualvorsatz gehandelt habe, dass er unter einem gewissen Gruppendruck gestanden sei und die Tat affektakzentuierte Züge trage. Demgegenüber sei stärker zu dessen Lasten zu gewichten, dass er sich, ausgerüstet mit einem Schraubenzieher, zwecks Beteiligung an einer allfälligen tätlichen Auseinandersetzung an den Tatort begeben habe, wo er dem Opfer unter Einsatz des Schraubenziehers eine lebensgefährliche Verletzung der Lunge zugefügt habe, die auch zum Tode hätte führen können, wenn keine Notoperation vorgenommen worden wäre (E. 2.1). Die angesichts der Tatumstände und des daraus resultierenden erheblichen Verschuldens deutlich zu milde Freiheitsstrafe von drei Jahren scheine ihren Grund auch darin zu haben, dass die Vorinstanz die Vorstrafenlosigkeit und das noch junge Alter des Beschwerdeführers offenbar stark zu dessen Gunsten berücksichtige. Die Vorstrafenlosigkeit sei nach der neuesten Rechtsprechung des Bundesgerichts neutral zu behandeln. Das Alter des Beschwerdeführers habe keine wesentlichen strafmindernden Auswirkungen auf das Strafmass (E. 2.2).
2. 2.1 Der Beschwerdeführer rügt eine Verletzung von Art. 47 StGB sowie Art. 8, Art. 9 und Art. 10 Abs. 2 BV. Das Bundesgericht habe im Urteil vom 28. Januar 2010 lediglich die zu Unrecht strafmindernd in Rechnung gestellte Vorstrafenlosigkeit und die zu starke Berücksichtigung seines jungen Alters beanstandet. Mit dem neuen Strafmass mache die Vorinstanz implizit geltend, die Strafreduktion in diesen zwei Punkten habe anlässlich des ersten Urteils 1 Jahr und 9 Monate ausgemacht. Dies sei willkürlich. Von insgesamt neun strafmindernden Faktoren sei einer weggefallen und einer zu reduzieren. Nicht nachvollziehbar sei, wie diese Korrektur eine Erhöhung der Gesamtstrafe um mehr als die Hälfte bewirken könne. Das Bundesgericht sei offensichtlich der Ansicht gewesen, die beanstandeten Mängel würden sich nur marginal auf das Strafmass auswirken.
2.2 Entgegen dem Einwand des Beschwerdeführers betraf die Kritik des Bundesgerichts nicht nur den Strafminderungsgrund der Vorstrafenlosigkeit und die zu starke Berücksichtigung seines jungen Alters. Vielmehr wies es auch darauf hin, dass die Strafe in Anbetracht der Tatumstände "deutlich zu milde" sei. Die Vorinstanz war daher gehalten, eine deutlich höhere Strafe auszusprechen. Der Beschwerdeführer verkennt, dass sie die Strafe nicht nur um die zwei beanstandeten Strafminderungsfaktoren korrigieren musste, sondern auch sein Verschulden neu zu würdigen hatte.
Die Vorinstanz setzt die Einsatzstrafe für die schwere Körperverletzung im Rückweisungsentscheid auf 4 Jahre und 6 Monate fest. Diese Strafe erhöht sie wegen des Raufhandels in Anwendung des Asperationsprinzips um 3 Monate, was eine Strafe von 4 Jahren und 9 Monaten ergibt. Die neue Strafe ist in Berücksichtigung des objektiven und subjektiven Tatverschuldens des Beschwerdeführers nicht unzulässig hart. Sie hält sich im Rahmen von Art. 47 StGB und ist nicht willkürlich.
2.3 Für Rügen der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gelten erhöhte Begründungsanforderungen (Art. 106 Abs. 2 BGG; BGE 133 IV 286 E. 1.4; 133 II 396 E. 3.2). Die vom Beschwerdeführer geltend gemachte Verletzung von Art. 8, Art. 9 und Art. 10 Abs. 2 BV genügt diesen Begründungsanforderungen nicht. Darauf ist nicht einzutreten.
3. 3.1 Der Beschwerdeführer wendet ein, die Vorinstanz habe die Tatsache, dass er sich mit dem Opfer über dessen Zivilansprüche geeinigt habe, im Urteil vom 28. April 2009 nicht strafmindernd berücksichtigt, da er seiner Zahlungspflicht nicht nachgekommen sei. Inzwischen habe er mehrere Ratenzahlungen geleistet. Die Vorinstanz erwähne dies im Urteil vom 19. Juli 2010. Unklar sei, in welchem Umfang dieser Umstand tatsächlich in das Strafmass eingeflossen sei.
3.2 Das Gericht mildert die Strafe, wenn der Täter aufrichtige Reue betätigt, namentlich den Schaden, soweit es ihm zuzumuten war, ersetzt hat (Art. 48 lit. d StGB). Nach der Rechtsprechung genügt nicht jede Wiedergutmachung des Schadens als Betätigung aufrichtiger Reue. Verlangt wird eine besondere Anstrengung seitens des Fehlbaren, die er freiwillig und uneigennützig weder nur vorübergehend noch allein unter dem Druck des drohenden oder hängigen Strafverfahrens erbringen muss. Der Täter muss Einschränkungen auf sich nehmen und alles daran setzen, das geschehene Unrecht wieder gut zu machen. Aufrichtige Reue setzt voraus, dass er die Schwere seiner Verfehlung einsieht und die Tat gesteht (BGE 107 IV 98; Urteil 6B_857/2010 vom 4. April 2011 E. 5.2.2.5).
3.3 Das Obergericht führte im Urteil vom 28. April 2009 aus, der Beschwerdeführer habe sich mit dem Geschädigten über dessen Zivilansprüche geeinigt, was grundsätzlich positiv zu vermerken sei. Da er die vereinbarten Zahlungen nicht geleistet habe, sei daraus kein Grund für eine Strafminderung abzuleiten. Das Bundesgericht verneinte im Urteil vom 28. Januar 2010 ein auf Einsicht und Reue basierendes Geständnis (E. 2.5). Darauf ist nicht zurückzukommen. Die Zahlungen des Beschwerdeführers an den Geschädigten von insgesamt Fr. 2'500.-- erfolgten erst nach dem zweitinstanzlichen Urteil und damit reichlich spät. Der Beschwerdeführer legt in seiner Beschwerde auch nicht dar, er sei zuvor aus entschuldbaren Gründen nicht in der Lage gewesen, seiner Zahlungspflicht nachzukommen. In den Ratenzahlungen kann unter diesen Umständen keine Betätigung von aufrichtiger Reue im Sinne von Art. 48 lit. d StGB gesehen werden, zumal gemäss der Rechtsprechung nicht jede Entschädigung zu einer Strafminderung führt.
4. 4.1 Der Beschwerdeführer argumentiert, das Bundesgericht habe der Vorinstanz im Urteil vom 28. Januar 2010 den Auftrag erteilt, zu prüfen, ob eine Strafe von mehr als drei Jahren, welche zwingend unbedingt auszusprechen sei, nicht zu einer übermässigen Belastung führen würde. Die Vorinstanz habe keine solche Bewertung vorgenommen. Sie sei zudem angewiesen worden, ihren Entscheid ausführlich zu begründen. Sie sei ihrer Begründungspflicht nach Art. 50 StGB und Art. 29 Abs. 2 BV nicht nachgekommen.
4.2 Das Bundesgericht gab im Urteil vom 28. Januar 2010 die Erwägungen von BGE 134 IV 17 E. 3.3-3.6 wieder. Es führte dazu aus, eine Strafzumessung, die nicht vom Verschulden des Täters ausgehe, sondern sich am Ergebnis (beispielsweise an der Grenze für den bedingten Strafvollzug) orientiere, verletze Bundesrecht. Eine implizite Berücksichtigung des Grenzwertes von drei Jahren für den teilbedingten Strafvollzug zugunsten des Beschwerdeführers lasse sich in Anbetracht des Ergebnisses nicht ausschliessen. Ein solches Vorgehen wäre nur zulässig, wenn die ins Auge gefasste Sanktion in einem die Grenze für den teilbedingten Vollzug mitumfassenden Bereich läge. Diese Voraussetzung sei nicht erfüllt (Urteil 6B_584/2009 E. 2.3).
4.3 Entgegen dem Einwand des Beschwerdeführers wurde die Vorinstanz nicht aufgefordert, den neuen Entscheid ausführlich zu begründen. Die Begründung ergibt sich vorliegend aus dem Urteil des Bundesgerichts vom 28. Januar 2010, auf welches die Vorinstanz verweist. Nicht erforderlich ist, dass der Sachrichter die Gewichtung der einzelnen Strafzumessungsfaktoren in Zahlen oder in Prozenten wiedergibt (BGE 136 IV 55 E. 5.6; 127 IV 101 E. 2c). Eine Verletzung von Art. 50 StGB oder Art. 29 Abs. 2 BV liegt nicht vor.
Das Bundesgericht erklärte die Voraussetzungen für eine teilbedingte Strafe im Urteil vom 28. Januar 2010 ausdrücklich für nicht erfüllt. Nachdem die ins Auge zu fassende Sanktion nicht mehr im Grenzbereich für den teilbedingten Vollzug liegt, kommt BGE 134 IV 17 nicht zum Tragen.
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist infolge Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG). Der finanziellen Lage des Beschwerdeführers ist bei der Festsetzung der Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 2. Dezember 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Unseld