Sachverhalt:
A. Am 24. Juni 2007 hielt X._ im Verlaufe einer vorerst verbalen und später tätlichen Auseinandersetzung eine Faustfeuerwaffe mit ausgestrecktem Arm aus einer Entfernung von mindestens einem Meter gegen seine frühere Freundin A.A._ und drückte ab. Sie erlitt eine Durchschussverletzung an der linken Schulter. In der Folge richtete er die Waffe gegen deren Schwester B.A._, ohne jedoch den Abzug zu betätigen.
B. Das Obergericht des Kantons Zürich sprach X._ mit Urteil vom 14. Oktober 2011 zweitinstanzlich der versuchten vorsätzlichen Tötung schuldig. Gleichzeitig stellte es fest, dass der erstinstanzliche Entscheid des Bezirksgerichts Zürich vom 9. März 2011 insbesondere betreffend den Schuldspruch der einfachen Körperverletzung, der mehrfachen Drohung, der Widerhandlung gegen das Bundesgesetz vom 20. Juni 1997 über Waffen, Waffenzubehör und Munition (Waffengesetz, WG; SR 514.54) sowie betreffend die Zivilforderungen von A.A._ und B.A._ in Rechtskraft erwachsen war. Das Obergericht verurteilte X._ zu einer Freiheitsstrafe von 10 1⁄2 Jahren unter Anrechnung der ausgestandenen Untersuchungs- und Sicherheitshaft von 983 Tagen.
C. X._ führt Beschwerde ans Bundesgericht. Er beantragt, die Sache sei zur Wiederholung des Berufungsverfahrens an die Vorinstanz zurückzuweisen. Eventualiter sei er vom Vorwurf der versuchten vorsätzlichen Tötung freizusprechen und wegen einfacher Körperverletzung und den bereits rechtskräftigen Schuldsprüchen zu einer Freiheitsstrafe von zwei Jahren zu verurteilen. Subeventualiter sei er wegen versuchter vorsätzlicher Tötung mit einer Freiheitsstrafe von höchstens fünf Jahren zu bestrafen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung.
D. Das Obergericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Die Oberstaatsanwaltschaft des Kantons Zürich beantragt die Abweisung der Beschwerde und lässt sich im Übrigen nicht vernehmen.

Erwägungen:
1. Der Beschwerdeführer setzte sich nach dem Vorfall vom 24. Juni 2007 in den Kosovo ab. Am 3. Februar 2009 stellte er sich in Zürich der Polizei.
2. 2.1 Die Anklagekammer des Obergerichts des Kantons Zürich gab dem Beschwerdeführer am 11. Februar 2009 Rechtsanwalt C._ als amtlichen Verteidiger bei. Der Beschwerdeführer gelangte erstmals im Juni 2009 und darauf wiederholt schriftlich und mündlich an die Untersuchungsbehörde respektive an die Anklagekammer. Er machte insbesondere geltend, das Vertrauen in Rechtsanwalt C._ verloren zu haben, und ersuchte um einen Verteidigerwechsel. Mit Verfügungen vom 29. Juni 2009 und 16. November 2009 wies die Anklagekammer das Begehren um Entlassung des bisherigen amtlichen Verteidigers und um Bestellung eines neuen Offizialverteidigers ab (vgl. vorinstanzliche Akten act. 23/1-14). Am 22. Juli 2011 ersuchte der Beschwerdeführer die Vorinstanz um Zustellung verschiedener Akten und am 17. August 2011 monierte er unter anderem, von seinem Verteidiger ignoriert zu werden. Mit Schreiben vom 22. und 26. September 2011 erwähnte der Beschwerdeführer abermals, kein Vertrauen in Rechtsanwalt C._ zu haben, und erneuerte sein Gesuch. Die Vorinstanz wies seinen Antrag mit Präsidialverfügung vom 11. Oktober 2011 ab (vgl. vorinstanzliche Akten act. 106, 108, 114, 127, 130, 131 und 137). Wenige Tage, nachdem die Vorinstanz ihr Urteil in der Sache gefällt und eröffnet hatte, mandatierte der Beschwerdeführer am 24. Oktober 2011 Fürsprecher Peter Stein.
2.2 Zum Hauptpunkt der versuchten vorsätzlichen Tötung hielt der Beschwerdeführer stets daran fest, der Schuss habe sich versehentlich gelöst. Zur Begründung seines Antrages auf Rückweisung der Sache zur Wiederholung der Berufungsverhandlung macht er geltend, Rechtsanwalt C._ habe bereits mit Schreiben vom 7. Juni 2010 an die Anklagekammer zu erkennen gegeben, dass er ihn als schuldig erachte. Auch in der schriftlichen Berufungsbegründung vom 4. Mai 2011 habe der amtliche Verteidiger ausgeführt, dass er ihm mehrfach (ohne Erfolg) empfohlen habe, den Vorhalt der versuchten eventualvorsätzlichen Tötung anzuerkennen. Zudem habe Rechtsanwalt C._ darin festgehalten, er (Rechtsanwalt C._) nehme an, dass auch die Vorinstanz von einem Tötungsversuch ausgehe. Die Kommunikation zwischen ihm und seinem früheren Verteidiger sei erheblich gestört gewesen. Am 11. Oktober 2011 habe die Vorinstanz Gründe, welche eine wirksame Verteidigung nicht mehr gewährleisten würden, verneint. Damit habe es sein Bewenden gehabt, obwohl die Vorinstanz von den fraglichen Ausführungen in der Berufungsbegründung Kenntnis gehabt habe. Anlässlich der Berufungsverhandlung vom 14. Oktober 2011 habe der Verteidiger ausgeführt, es leuchte einem Juristen ein, dass ein Mann mit einer geladenen Schusswaffe in der Hand eine Schussabgabe zumindest in Kauf nehme. Zudem habe der Verteidiger in seinem Plädoyer erneut festgehalten, dass er ihm (dem Beschwerdeführer) ein vollumfängliches Geständnis nahegelegt habe. Es sei unzulässig, dass die Verteidigung einer nicht geständigen Person andeute oder zu erkennen gebe, sie sei persönlich von der Schuld des Klienten überzeugt. Bedenklich sei weiter, dass die Vorinstanz im Oktober 2011 den amtlichen Verteidiger habe plädieren lassen, nachdem dieser im Mai 2011 letztmals instruiert worden sei. Die Vorinstanz hätte den amtlichen Verteidiger unter Wahrnehmung ihrer Fürsorgepflicht ersetzen müssen. Sie habe Art. 128 und <ref-law>, <ref-law> sowie Art. 6 Ziff. 3 lit. c EMRK verletzt (Beschwerde S. 4 ff.).
2.3 Die Vorinstanz erwog mit Präsidialverfügung vom 11. Oktober 2011, eine konkrete Erklärung für das fehlende Vertrauen und worin die behaupteten Fehler des Verteidigers bestanden hätten, führe der Beschwerdeführer nicht an und sei auch nicht ersichtlich. Der amtliche Verteidiger habe gemäss seiner Darstellung seinen Mandanten über alle wesentlichen Schritte des Verfahrens informiert, die wichtigsten Rechtsschriften übersetzen lassen etc. Jener sei fähig und gewillt, seine Aufgaben pflichtgemäss zu erfüllen. Es seien keine Hinweise ersichtlich, wonach das Vertrauensverhältnis zwischen dem Verteidiger und dem Beschwerdeführer erheblich gestört sein soll. Ebenso wenig lägen Gründe vor, die eine wirksame Verteidigung nicht mehr gewährleisten würden (vorinstanzliche Akten act. 137).
2.4 Nach der Praxis des Bundesgerichts zu Art. 29 Abs. 3 und <ref-law> hat der amtlich verteidigte Beschuldigte einen grundrechtlichen Anspruch auf sachkundige, engagierte und effektive Wahrnehmung seiner Parteiinteressen (<ref-ruling> E. 3d S. 198). Ein Begehren um Auswechslung des amtlichen Verteidigers ist zu bewilligen, wenn aus objektiven Gründen eine sachgemässe Vertretung der Interessen des Beschuldigten durch den bisherigen Rechtsanwalt nicht mehr gewährleistet ist (<ref-ruling> E. 4b/aa S. 105 mit Hinweisen). Dass der Beschuldigte ihm lediglich aus subjektiven Motiven das Vertrauen abspricht, reicht für einen verfassungsrechtlichen Anspruch auf Auswechslung des Offizialverteidigers nicht aus (<ref-ruling> E. 3 S. 104 mit Hinweis). Wird von den Behörden untätig geduldet, dass der amtliche Verteidiger seine anwaltlichen Berufs- und Standespflichten zum Nachteil des Beschuldigten in schwerwiegender Weise vernachlässigt, kann darin eine Verletzung der von Verfassung und EMRK gewährleisteten Verteidigungsrechte liegen (<ref-ruling> E. 3d S. 198 f. mit Hinweisen).
Nach der Bestimmung in <ref-law>, welche hier zur Anwendung gelangt (<ref-law>), überträgt die Verfahrensleitung die amtliche Verteidigung einer anderen Person, wenn das Vertrauensverhältnis zwischen der beschuldigten Person und ihrer amtlichen Verteidigung erheblich gestört oder eine wirksame Verteidigung aus andern Gründen nicht mehr gewährleistet ist. Die Regelung in der Schweizerischen Strafprozessordnung geht damit über die bisherige Praxis hinaus. Sie trägt dem Umstand Rechnung, dass eine engagierte und effiziente Verteidigung nicht nur bei objektiver Pflichtverletzung der Verteidigung, sondern bereits bei erheblich gestörtem Vertrauensverhältnis beeinträchtigt sein kann. Dahinter steht die Idee, dass eine amtliche Verteidigung in jenen Fällen auszuwechseln ist, "in denen auch eine privat verteidigte beschuldigte Person einen Wechsel der Verteidigung vornehmen würde" (Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2006 1180 Ziff. 2.3.4.2).
Wird die subjektive Sichtweise des Beschuldigten in den Vordergrund gestellt, bedeutet dies aber nicht, dass allein dessen Empfinden für einen Wechsel der Verteidigung ausreicht. Vielmehr muss diese Störung mit konkreten Hinweisen, die in nachvollziehbarer Weise für ein fehlendes Vertrauensverhältnis sprechen, belegt und objektiviert werden (NIKLAUS RUCKSTUHL, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 8 zu <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung: Praxiskommentar, 2009, N. 2 zu <ref-law>). Der blosse Wunsch des Beschuldigten, nicht mehr durch den ihm beigegebenen Verteidiger vertreten zu werden, reicht für einen Wechsel nicht aus (a.M. LÜDERSSEN/JAHN, in: Löwe-Rosenberg, Die Strafprozessordnung und das Gerichtsverfassungsgesetz, 26. Aufl. 2007, § 143 N. 9 f.). Zudem ist der amtliche Verteidiger nicht bloss das unkritische Sprachrohr seines Mandanten (<ref-ruling> E. 3d S. 199; Urteil 1B_645/2011 vom 14. März 2012 E. 2.3; je mit Hinweisen). Für einen Verteidigerwechsel genügt deshalb nicht, wenn die Verteidigung eine problematische, aber von der beschuldigten Person gewünschte und verlangte Verteidigungsstrategie nicht übernimmt, oder wenn sie nicht bedingungslos glaubt, was die beschuldigte Person zum Delikt sagt, und das nicht ungefiltert gegenüber den Behörden vertritt (RUCKSTUHL, a.a.O., N. 8 zu <ref-law>; SCHMID, a.a.O., N. 2 zu <ref-law>). Gleiches gilt betreffend die Weigerung, aussichtslose Prozesshandlungen vorzunehmen (WALTER HAEFELIN, Die amtliche Verteidigung im schweizerischen Strafprozess, 2010, S. 286 f.). Mit LIEBER, auf dessen Meinung sich der Beschwerdeführer beruft, ist hingegen der Anspruch auf eine wirksame Verteidigung verletzt, wenn die Verteidigung einer nicht geständigen beschuldigten Person andeutet, sie halte ihren Mandanten für schuldig (VIKTOR LIEBER, in: Kommentar zur Schweizerischen Strafprozessordnung, 2010, N. 21 zu <ref-law>).
Wird die subjektive Sichtweise des Beschuldigten in den Vordergrund gestellt, bedeutet dies aber nicht, dass allein dessen Empfinden für einen Wechsel der Verteidigung ausreicht. Vielmehr muss diese Störung mit konkreten Hinweisen, die in nachvollziehbarer Weise für ein fehlendes Vertrauensverhältnis sprechen, belegt und objektiviert werden (NIKLAUS RUCKSTUHL, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2011, N. 8 zu <ref-law>; NIKLAUS SCHMID, Schweizerische Strafprozessordnung: Praxiskommentar, 2009, N. 2 zu <ref-law>). Der blosse Wunsch des Beschuldigten, nicht mehr durch den ihm beigegebenen Verteidiger vertreten zu werden, reicht für einen Wechsel nicht aus (a.M. LÜDERSSEN/JAHN, in: Löwe-Rosenberg, Die Strafprozessordnung und das Gerichtsverfassungsgesetz, 26. Aufl. 2007, § 143 N. 9 f.). Zudem ist der amtliche Verteidiger nicht bloss das unkritische Sprachrohr seines Mandanten (<ref-ruling> E. 3d S. 199; Urteil 1B_645/2011 vom 14. März 2012 E. 2.3; je mit Hinweisen). Für einen Verteidigerwechsel genügt deshalb nicht, wenn die Verteidigung eine problematische, aber von der beschuldigten Person gewünschte und verlangte Verteidigungsstrategie nicht übernimmt, oder wenn sie nicht bedingungslos glaubt, was die beschuldigte Person zum Delikt sagt, und das nicht ungefiltert gegenüber den Behörden vertritt (RUCKSTUHL, a.a.O., N. 8 zu <ref-law>; SCHMID, a.a.O., N. 2 zu <ref-law>). Gleiches gilt betreffend die Weigerung, aussichtslose Prozesshandlungen vorzunehmen (WALTER HAEFELIN, Die amtliche Verteidigung im schweizerischen Strafprozess, 2010, S. 286 f.). Mit LIEBER, auf dessen Meinung sich der Beschwerdeführer beruft, ist hingegen der Anspruch auf eine wirksame Verteidigung verletzt, wenn die Verteidigung einer nicht geständigen beschuldigten Person andeutet, sie halte ihren Mandanten für schuldig (VIKTOR LIEBER, in: Kommentar zur Schweizerischen Strafprozessordnung, 2010, N. 21 zu <ref-law>).
2.5 2.5.1 Aus den Akten ergibt sich, dass der Beschwerdeführer am Tag seiner Verhaftung polizeilich und durch die Staatsanwaltschaft befragt und im Laufe der Untersuchung weiter siebenmal durch den Untersuchungsrichter zur Sache einvernommen wurde. Er stellte sich wiederholt auf den Standpunkt, der Schuss habe sich aus Versehen respektive zufällig gelöst. Er habe den Abzug nicht bewusst betätigt und habe nicht gewollt, dass sich ein Schuss löse. Entsprechendes behauptete der Beschwerdeführer auch anlässlich der erstinstanzlichen Verhandlung sowie an der vorinstanzlichen Berufungsverhandlung bei seiner Befragung (vorinstanzliche Akten act. 81 S. 6 und 9 sowie act. 139 S. 6).
Der amtliche Verteidiger hielt seinerseits mit Schreiben an die Anklagekammer vom 7. Juni 2010 zur Zuständigkeit des Geschworenengerichts respektive Obergerichts fest, der Beschwerdeführer anerkenne den eingeklagten Sachverhalt nicht. Vielmehr habe er fahrlässig gehandelt. Diese Erklärung erfolge "auf den ausdrücklichen Wunsch des Angeklagten und nachdem dem Angeklagten in mehreren Gesprächen die möglichen Konsequenzen aufgezeigt worden sind" (vorinstanzliche Akten act. 36). Im Rahmen der schriftlichen Berufungsbegründung vom 4. Mai 2011 äusserte sich die Verteidigung folgendermassen: "Dem Beschuldigten wurde während des Untersuchungsverfahrens durch die Staatsanwaltschaft wie auch durch die Verteidigung mehrfach empfohlen, den Vorhalt des eventualvorsätzlichen Tötungsversuches zu anerkennen. Der Beschuldigte konnte sich aber mit dem Gedanken nicht anfreunden, diesbezüglich ein Eingeständnis zu machen. Er argumentierte damit, dass er nicht etwas zugeben könne, was er tatsächlich nicht getan bzw. im konkreten Fall nicht gewollt habe" (vorinstanzliche Akten act. 100 S. 6 f.). An der Berufungsverhandlung wiederholte der amtliche Verteidiger, er habe dem Beschwerdeführer im Hinblick auf ein milderes Strafurteil mehrfach nahegelegt, den Tötungsversuch vollumfänglich zu gestehen (vorinstanzliche Akten act. 140 S. 4).
2.5.2 Die Eingabe der amtlichen Verteidigung vom 7. Juni 2010 an die Anklagekammer erfolgte im Zusammenhang mit der abzuklärenden Zuständigkeit des Geschworenengerichts respektive Obergerichts (vorinstanzliche Akten act. 36). Sie lässt für sich genommen nicht darauf schliessen, dass eine sachgemässe Vertretung der Interessen des Beschwerdeführers nicht mehr gewährleistet war.
2.5.3 Das Vertrauensverhältnis zwischen dem Beschwerdeführer und Rechtsanwalt C._ war mit Blick auf die schriftliche Berufungsbegründung vom 4. Mai 2011 erheblich gestört (E. 2.5.4 nachfolgend). Diese ging der Vorinstanz am 5. Mai 2011 zu. Der Vertrauensverlust war dannzumal für die Verfahrensleitung erkennbar, nachdem der Beschwerdeführer bereits im Jahre 2009, wenige Monate nach der Bestellung des amtlichen Verteidigers, einen solchen Mangel geltend gemacht und dies in der Folge mehrfach wiederholt hatte. Demnach wäre ein Einschreiten der Verfahrensleitung geboten gewesen. Zudem hielt der Beschwerdeführer gegenüber der Vorinstanz mit Schreiben vom 22. und 26. September 2011 (somit vor der Berufungsverhandlung) abermals fest, kein Vertrauen in Rechtsanwalt C._ zu haben. Damit hat er rechtzeitig und innert angemessener Frist reagiert (vgl. zur Obliegenheit, verfahrensrechtliche Einwendungen frühzeitig zu erheben: <ref-ruling> E. 2.2 S. 336 mit Hinweisen).
2.5.4 Der Offizialverteidiger hielt im Rahmen der schriftlichen Berufungsbegründung vom 4. Mai 2011 fest, seinem Mandanten die Anerkennung des eventualvorsätzlichen Tötungsversuchs nahegelegt zu haben. Mit seiner Vorgehensweise verteidigte er den Beschwerdeführer nicht mehr engagiert und effizient.
Anwältinnen und Anwälte haben ihren Beruf sorgfältig und gewissenhaft auszuüben (Art. 12 lit. a des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte [Anwaltsgesetz, BGFA; SR 935.61]). Der Anwalt hat den Klienten insbesondere über Chancen und Risiken des Prozesses aufzuklären (WALTER FELLMANN, in: Kommentar zum Anwaltsgesetz, 2. Aufl. 2011, N. 29a zu <ref-law>; MICHEL VALTICOS, in: Loi sur les avocats, N. 21 zu <ref-law>). Wenn er seinen Mandanten entsprechend informiert und die Konsequenzen einer Bestreitung des Anklagevorwurfs respektive eines Geständnisses aufzeigt, so ist dies Teil der anwaltlichen Fürsorgepflichten und nicht zu beanstanden. Hingegen liess es Rechtsanwalt C._ nicht mit dieser Empfehlung an die Adresse seines Mandanten bewenden, sondern legte sie gegenüber der Vorinstanz offen. Dieses Vorgehen stand nicht im Interesse des Beschwerdeführers. Nach <ref-law> ist die Verteidigung in den Schranken von Gesetz und Standesregeln allein den Interessen der beschuldigten Person verpflichtet (vgl. auch <ref-law>). Die Verteidigung ist die alleine auf Entlastung gerichtete Interessenvertretung der beschuldigten Person (vgl. <ref-ruling> E. 6b S. 104 ff.; RUCKSTUHL, a.a.O., N. 5 zu <ref-law>; HARARI/ALIBERTI, Code de procédure pénale suisse, Commentaire romand, 2011, N. 4 zu <ref-law>; eingehend WOLFGANG WOHLERS, Die Pflicht der Verteidigung zur Wahrung der Interessen der beschuldigten Person, ZStrR 130/2012 S. 55 ff.; PETER ALBRECHT, in: Strafverteidigung, Handbücher für die Anwaltspraxis Bd. 7, 2002, S. 13 ff.). Weiss oder vermutet der Verteidiger, dass sein Mandant trotz der Bestreitung schuldig ist, hat er sich gegenüber den Behörden jeder diesbezüglichen Äusserung zu enthalten. Das Wissen oder die Meinung des Verteidigers hat in jedem Fall vor dem Auftrag zur Verteidigung zurückzutreten (DELNON/RÜDY, Untersuchungsführung und Strafverteidigung, ZStrR 106/1989 S. 53 f.).
Rechtsanwalt C._ hielt im Rahmen der schriftlichen Berufungsbegründung (wie auch später mündlich vor Schranken) gegenüber dem Gericht fest, dass er den Beschwerdeführer betreffend das versuchte eventualvorsätzliche Tötungsdelikt für schuldig hielt. Damit stand der behauptete Mangel an Vertrauen nicht nur als blosse Möglichkeit im Raum. Vielmehr waren konkrete Hinweise vorhanden, die den vom Beschwerdeführer mehrmals behaupteten Vertrauensverlust unterstrichen. Indem die Vorinstanz nach Eingang der Berufungsschrift vom 4. Mai 2011 nicht einschritt und dem letztmals im September 2011 deponierten Begehren um Entlassung des amtlichen Verteidigers sowie Bestellung eines neuen Verteidigers nicht nachkam, hat sie ihre richterliche Fürsorgepflicht missachtet und <ref-law> verletzt.
2.6 Es erübrigt sich, auf die weiteren vom Beschwerdeführer im Zusammenhang mit der amtlichen Verteidigung als verletzt gerügten Bestimmungen näher einzugehen. Ebenso wenig ist auf die Beschwerde einzutreten, soweit der Beschwerdeführer die Verletzung der Unschuldsvermutung unter Hinweis auf <ref-law>, Art. 6 Ziff. 2 EMRK und <ref-law> geltend macht und die Strafzumessung beanstandet.
3. Die Beschwerde ist gutzuheissen, soweit darauf einzutreten ist. Der angefochtene Entscheid ist aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen. Diese wird dem Beschwerdeführer einen neuen Offizialverteidiger beizugeben und das Berufungsverfahren zu wiederholen haben.
Bei diesem Ausgang des Verfahrens sind keine Kosten aufzuerlegen (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird damit gegenstandslos. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Das Urteil des Obergerichts des Kantons Zürich, II. Strafkammer, vom 14. Oktober 2011 wird aufgehoben und die Sache im Sinne der Erwägungen zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Zürich hat den Rechtsvertreter des Beschwerdeführers, Fürsprecher Peter Stein, für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 12. Juli 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Faga