Sachverhalt:
A. Das Obergericht des Kantons Zürich verurteilte X._ am 8. September 2009 wegen versuchter schwerer Körperverletzung im Sinne von <ref-law> i.V.m. <ref-law> und <ref-law> sowie wegen mehrfacher Übertretung des Betäubungsmittelgesetzes gemäss <ref-law> zu 30 Monaten Freiheitsstrafe und einer Busse von Fr. 100.-- (Ersatzfreiheitsstrafe 1 Tag).
B. Mit Beschwerde in Strafsachen beantragt X._ die Aufhebung des Urteils des Obergerichts und seine Freisprechung vom Vorwurf der versuchten schweren Körperverletzung. Von einer Strafe sei abzusehen, und er sei wegen der Übertretung des Betäubungsmittelgesetzes zu verwarnen. Auf die Schadenersatz- und Genugtuungsbegehren des Geschädigten sei nicht einzutreten. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. X._ ersucht um unentgeltliche Rechtspflege und Verbeiständung.
C. Das Obergericht des Kantons Zürich, die Oberstaatsanwaltschaft und A._ haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Nach den im Wesentlichen auf die Aussagen des Beschwerdeführers gestützten Feststellungen der Vorinstanz spielten sich die Ereignisse am 26. Januar 2008 um ca. 05.43 Uhr in der Langstrasse in Zürich in tatsächlicher Hinsicht wie folgt ab:
Im Laufe einer verbalen Auseinandersetzung wurde der Beschwerdeführer von A._ und von einer weiteren Person tätlich angegangen. Anlass hierzu bildete offenbar eine abfällige Bemerkung des Beschwerdeführers über Kurden. A._, welcher selber nicht kurdischstämmig ist, nahm diese Bemerkung zum Anlass, den Beschwerdeführer unvermittelt tätlich anzugreifen. A._ und eine weitere Person gingen mit Fusstritten und Faustschlägen gegen den Beschwerdeführer vor. Ein Faustschlag traf dessen Gesicht. Der Beschwerdeführer behändigte in der Folge sein Taschenmesser (Klingenlänge ca. 7 cm) und versetzte A._ zuerst einen Stich gegen die Kniekehle, wodurch eine ungefähr 4 cm tiefe Stichwunde entstand. Der Beschwerdeführer, welcher gewärtigen musste, weitere Schläge und Tritte einzustecken, drohte dem Geschädigten an, er werde sterben, wenn er weitermache. Als der Angriff fortdauerte, versetzte der Beschwerdeführer A._ einen Stich in die Flanke (und in die Schulter). Keine der von A._ davongetragenen Verletzungen war lebensgefährlich, der zur Wirbelsäule hin gerichtete wuchtige Stich in die Flanke (8 cm tiefe Stichwunde) hätte allerdings bei einem geringfügig abweichenden Stichwinkel lebenswichtige Organe treffen können (angefochtener Entscheid, S. 6 ff., 10, 11, 22).
Die Vorinstanz würdigt das Vorgehen des Beschwerdeführers in rechtlicher Hinsicht als eventualvorsätzliche versuchte schwere Körperverletzung. Sie geht dabei zwar grundsätzlich von einer Notwehrsituation aus, erachtet aber den Messereinsatz an sich, ganz sicher aber den tiefen Stich in die Flanke des Angreifers als unverhältnismässig. Denn es sei unmöglich, einen solchen Stich auszuführen, ohne gravierende, allenfalls sogar lebensgefährliche Verletzungen zu riskieren. Bezeichnenderweise habe der Beschwerdeführer selber keine ernsthaften Verletzungen erlitten. Die von ihm vorgetragenen Vorfälle, in denen Faustschläge und Fusstritte zu schwersten und mitunter gar tödlichen Verletzungen führten, seien Ausnahmefälle. Sie berechtigten nicht dazu, bei jeder Schlägerei davon auszugehen, das Leben des Angegriffenen sei in Gefahr. Mit seiner Abwehr habe der Beschwerdeführer deshalb die Grenzen der erlaubten Notwehr bei weitem überschritten. Der massive Notwehrexzess sei auch nicht entschuldbar. Das Vorgehen mit dem Messer sei nicht als verzweifelter Befreiungsversuch zu verstehen, sondern als gezielter Gegenangriff, sei doch der Beschwerdeführer nach seinen eigenen Angaben in der Untersuchung ob des Angriffs nicht in Angst geraten, sondern vielmehr sehr wütend geworden und habe gefunden, vor solchen Leuten nicht davonrennen zu müssen (angefochtener Entscheid, S. 11 ff.).
2. Der Beschwerdeführer rügt eine Verletzung von Art. 15 und 16 Abs. 2 StGB. Die Vorinstanz erkenne zu Unrecht, dass er die Grenzen der Notwehr in unangemessener Weise überschritten und sich deshalb des Notwehrexzesses schuldig gemacht habe. Er sei nachweislich von zwei Personen mit Fäusten und Fusstritten angegriffen worden und habe deshalb mit erheblichen und gar lebensgefährlichen Verletzungen rechnen müssen. Sich gegen einen solchen Angriff nur mit Händen und Füssen zu wehren, sei keine Option. Der Messereinsatz sei daher gerechtfertigt gewesen, dies umso mehr, als er beim konkreten Gebrauch des Messers abgestuft Gegengewalt angewendet habe. Der erste Stich sei ins Knie gegangen. Erst als der Geschädigte nachsetzte bzw. immer noch nicht von ihm abliess, habe er erneut zugestochen. Bei seiner Abwehr habe er die Prinzipien der Proportionalität und der Subsidiarität gewahrt.
3. 3.1 Wird jemand ohne Recht angegriffen oder unmittelbar mit einem Angriff bedroht, so ist der Angegriffene und jeder andere berechtigt, den Angriff in einer den Umständen angemessenen Weise abzuwehren (<ref-law>). Überschreitet der Abwehrende die Grenzen der Notwehr, so mildert das Gericht die Strafe (<ref-law>). Überschreitet er die Grenzen der Notwehr in entschuldbarer Aufregung oder Bestürzung über den Angriff, so handelt er nicht schuldhaft (<ref-law>).
3.2 Nach der Rechtsprechung muss die Abwehr in einer Notwehrsituation nach der Gesamtheit der Umstände als verhältnismässig erscheinen. Eine Rolle spielen vor allem die Schwere des Angriffs, die durch den Angriff und die Abwehr bedrohten Rechtsgüter, die Art des Abwehrmittels und dessen tatsächliche Verwendung (<ref-ruling> E. 2a mit Hinweisen, insb. BGE 79 IV 148 E. 1). Die Angemessenheit der Abwehr ist aufgrund jener Situation zu beurteilen, in der sich der rechtswidrig Angegriffene im Zeitpunkt seiner Tat befand. Es dürfen nicht nachträglich allzu subtile Überlegungen darüber angestellt werden, ob der Angegriffene sich nicht allenfalls auch mit anderen, weniger einschneidenden Massnahmen hätte begnügen können und sollen (<ref-ruling> E. 3a mit Hinweis). Dieser Rechtsprechung folgt die Lehre (vgl. KURT SEELMANN, BSK-Kommentar, Strafrecht I, 2. Aufl., Basel 2007, Art. 15 Rz. 12; siehe auch JOSÉ HURTADO POZO, Droit pénal, Partie générale, Genève 2008, S. 239 Rz. 718).
3.3 Besondere Zurückhaltung ist bei der Verwendung von gefährlichen Werkzeugen zur Abwehr (Messer, Schusswaffen etc.) geboten, da deren Einsatz stets die Gefahr schwerer oder gar tödlicher Verletzungen mit sich bringt. Angemessen ist die Abwehr, wenn der Angriff nicht mit weniger gefährlichen und zumutbaren Mitteln hätte abgewendet werden können, der Täter womöglich gewarnt worden ist und der Abwehrende vor der Benutzung des gefährlichen Werkzeugs das Nötige zur Vermeidung einer übermässigen Schädigung vorgekehrt hat. Auch ist eine Abwägung der auf dem Spiel stehenden Rechtsgüter unerlässlich. Doch muss deren Ergebnis für den Angegriffenen, der erfahrungsgemäss rasch handeln muss, mühelos erkennbar sein (<ref-ruling> E. 3b; zur "angemessenen" Abwehr im Sinne der Rechtsprechung vgl. auch GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil I, 3. Aufl., Bern 2005, § 10 Rz 75 und 76; ANDREAS DONATSCH/ BRIGITTE TAG, Strafrecht I, Verbrechenslehre, 8. Aufl., Zürich 2006, § 19 Ziff. 5.2, S. 225 f.).
4. 4.1 Dass sich der Beschwerdeführer vorliegend in einer Notwehrsituation befand, als er sich mit dem Messer zur Wehr setzte, wird im angefochtenen Entscheid zu Recht bejaht. Der Beschwerdeführer sah sich mit zwei Angreifern konfrontiert, die ihn mit Faustschlägen und Fusstritten traktierten. Da er die Ursache für die Notwehrlage nicht vorgängig setzte bzw. den Abwehrhandlungen keine Provokation seinerseits vorausging, war er nicht verpflichtet, dem rechtswidrigen Angriff auszuweichen, sondern durfte sich verteidigen bzw. war er zur Abwehr befugt (<ref-ruling>).
4.2 Die Ansicht der Vorinstanz, der Beschwerdeführer habe die Grenzen der erlaubten Notwehr überschritten, lässt sich hingegen nicht halten. Dem angefochtenen Entscheid liegt insoweit eine zu enge Auffassung vom Umfang der Notwehrbefugnis im Sinne einer angemessenen Abwehr in der konkreten Situation zu Grunde.
Nach den vorinstanzlichen Feststellungen wurde der Beschwerdeführer von zwei Personen angegriffen. Er war mithin zahlenmässig und körperlich einer Angriffsübermacht ausgesetzt. Die Angreifer traten ihn mit den Füssen und schlugen ihn mit den Fäusten. Ein Faustschlag ging in das Gesicht des Beschwerdeführers. Der Angriff gestaltete sich damit insgesamt keineswegs als harmlos, sondern war heftig, wenn nicht gar brutal. Die Vorstellung des Angegriffenen bzw. des Beschwerdeführers, aufgrund von weiteren solchen Tritten und Schlägen - etwa bei einem Fall zu Boden - allenfalls erheblich verletzt zu werden, kann deshalb entgegen der Auffassung der Vorinstanz nicht als unbegründet abgetan werden. Einerseits kommt solches immer wieder vor, weshalb man eine entsprechende Befürchtung haben darf, und entspricht es andererseits allgemeiner Lebenserfahrung, dass derartige Gewalteinwirkungen insbesondere gegen den Kopfbereich eines Menschen zu schwerwiegenden Beeinträchtigungen der körperlichen Integrität führen können (Frakturen, Gehirnerschütterung, Bewusstseinsverlust oder Koma, Hirnblutungen usw.). Unter diesen Umständen war der Beschwerdeführer nicht gehalten, die Auseinandersetzung mit blossen Händen und Füssen zu führen bzw. zu versuchen, den Angriff mit blosser Körpergewalt abzuwehren. Das Notwehrrecht gibt nicht nur das Recht, mit gleichen Mitteln abzuwehren, mit denen der Angriff erfolgt, sondern mit solchen, die eine effektive Abwehr ermöglichen. Das bedeutet, dass der Verteidiger von Anfang an die voraussichtlich wirksamen Mittel einsetzen darf (<ref-ruling> E. 3b; STRATENWERTH, a.a.O., § 10 Rz. 75). Angesichts der Art und Schwere des Angriffs, der zahlenmässigen Überlegenheit der Angreifer und des Risikos, im Laufe der Auseinandersetzung möglicherweise auch erhebliche Körperverletzungen davonzutragen, kann dem Beschwerdeführer nicht vorgeworfen werden, den Angriff mit dem Messer abgewehrt zu haben. Der Messereinsatz als solcher erscheint daher vorliegend nicht von vorneherein als unzulässig.
Allerdings war der Beschwerdeführer beim Einsatz des Messers zu besonderer Zurückhaltung verpflichtet. Ein solcher kann grundsätzlich nur das letzte Mittel der Verteidigung sein. Der Angegriffene ist deshalb an sich gehalten, den Gebrauch des Messers zunächst anzudrohen bzw. den Angreifer zu warnen. Der Beschwerdeführer tat das zwar nicht, er stach vielmehr unvermittelt zu. Aus dem angefochtenen Entscheid ergibt sich aber, dass der Beschwerdeführer vor einer gefährlichen Verwendung des Messers einen schonenderen bzw. milderen Einsatz desselben zur Erreichung des Abwehrerfolgs versuchte, indem er dem Angreifer nachweislich zunächst "lediglich" einen Stich gegen das Knie versetzte. Mit diesem ersten Stich verband er zudem die Drohung, der Geschädigte werde jetzt sterben, wenn er weitermache. Mit anderen Worten stellte er nach einem ersten milden bzw. milderen Einsatz des Messers dem bzw. den Angreifern einen solchen mit schwerwiegenderen bzw. gar lebensgefährlichen Folgen in Aussicht, falls sie nicht von ihm ablassen würden. Die Angreifer reagierten darauf nicht, sondern setzten ihr Tun nach den Feststellungen der Vorinstanz unbeirrt fort. Erst in diesem Zeitpunkt, nachdem also eine relativ wenig gefährliche Abwehrhandlung verbunden mit einer verbalen Warnung vor der den Angreifenden drohenden Gefahr wirkungslos geblieben war, stach der Beschwerdeführer dem Geschädigten bei weiterdauerndem Angriff in die Flanke (und Schulter). Unter diesen Umständen kann die Art der Abwehr, welche zur Vermeidung übermässiger Schädigungen abgestuft erfolgte, entgegen der vorinstanzlichen Auffassung nicht als unangemessen bezeichnet werden. Der Einsatz des Messers, insbesondere auch der Stich in die Flanke, war zur erfolgreichen Abwehr des Angriffs erforderlich und berücksichtigte auch unter dem Gesichtspunkt der drohenden Rechtsgüterverletzungen das Verhältnis zu dessen Schwere.
Anzumerken bleibt, dass sich die tatsächlichen Verhältnisse im vorliegenden Fall nicht mit denjenigen vergleichen lassen, die <ref-ruling> oder <ref-ruling> zugrunde liegen. In den genannten Entscheiden, in welchen auf Notwehrexzess erkannt wurde, stand der Angegriffene - anders als hier - jeweils nur einem Angreifer gegenüber und wehrte er die Schläge und Fusstritte bzw. die Schläge mit einem Kabel direkt mit einem bzw. mehreren lebensgefährlichen Messerstichen in den Bauch- bzw. den Brustbereich des Angreifenden ab (vgl. auch Urteil des Bundesgerichts 6B_239/2009 vom 13. Juli 2009 E. 4.4).
4.3 Die hier zu beurteilende Abwehr erweist sich zusammenfassend als angemessen. Dafür, dass der Beschwerdeführer nicht mit Verteidigungswillen gehandelt haben sollte, bestehen im Übrigen keine Anhaltspunkte. Dass er wegen des grundlosen Angriffs wütend wurde und nach den Feststellungen der Vorinstanz einen gezielten Gegen-angriff tätigte, vermag den Verteidigungszweck seiner Handlungen nicht in den Hintergrund zu drängen. Die Verurteilung wegen versuchter schwerer Körperverletzung verletzt demnach Bundesrecht. Die Vorinstanz hat den Beschwerdeführer in diesem Punkt freizusprechen. Mit der Freisprechung wird sie auch die Schadenersatz- und Genugtuungsbegehren des Geschädigten neu zu beurteilen haben.
5. Soweit der Beschwerdeführer verlangt, er sei wegen der Übertretung gegen das Betäubungsmittelgesetz nicht mit einer Busse zu bestrafen, sondern bloss zu verwarnen, begründet er seinen Antrag mit keinem Wort. Darauf ist nicht einzutreten.
6. Die Beschwerde ist gutzuheissen, soweit darauf einzutreten ist. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird damit gegenstandslos. Es sind keine Gerichtskosten zu erheben. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, das Urteil des Obergerichts des Kantons Zürich vom 8. September 2009 aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat dem Rechtsvertreter des Beschwerdeführers, Rechtsanwalt Dr. Lorenz Baumann, für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 18. Februar 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Favre Arquint Hill