Sachverhalt:
A. X._ stach am 25. August 2008, um zirka 01.35 Uhr, im Asylzentrum A._ in Zürich mit einem Taschenmesser, dessen Klingenlänge etwa 6 cm lang war, mehrfach auf B._ ein und fügte diesem neben einer rund 10 cm langen Schnittverletzung am Vorderrand der rechten Schulter zwei Stichverletzungen in der Brustkorbhälfte nahe des Brustbeins zu. Das Obergericht Zürich ging davon aus, dass X._ im Tatzeitpunkt ausgesprochen wütend, aufgebracht und eifersüchtig war, als ihm B._ Zutritt zu seinem Zimmer gewährte und er - X._ - dort seine Ehefrau im Kleiderschrank vorfand. Er wies im Tatzeitpunkt einen massgeblichen Blutalkoholgehalt von 1,99 Gewichtspromillen auf.
B. Am 21. April 2010 fand die I. Strafkammer des Obergerichts des Kantons Zürich X._ schuldig der versuchten Tötung im Sinne von <ref-law> i.V.m. <ref-law>. Sie bestrafte ihn mit 42 Monaten Freiheitsstrafe und stellte fest, dass er gegenüber B._ aus dem eingeklagten Ereignis im Grundsatze nach vollumfänglich schadenersatz- und genugtuungspflichtig sei. Zur genauen Feststellung des Schadenersatz- und Genugtuungsanspruches verwies sie ihn auf den Weg des Zivilprozesses.
C. Gegen dieses Urteil erhebt die Oberstaatsanwaltschaft des Kantons Zürich Beschwerde in Strafsachen. Sie beantragt, das angefochtene Urteil sei wegen Verletzung von Bundesrecht im Sinne von <ref-law>, konkret im Zusammenhang mit der Verschuldenswürdigung gemäss <ref-law> und dem gestützt darauf ausgefällten Strafmass (Sanktion), aufzuheben und die Strafsache kassatorisch zu neuer Entscheidung an das Obergericht des Kantons Zürich zurückzuweisen.
D. Der Beschwerdegegner beantragt in seiner Vernehmlassung, die Beschwerde sei in Bestätigung des angefochtenen Urteils abzuweisen. Das Obergericht des Kantons Zürich hat auf Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Die Vorinstanz geht davon aus, dass der Beschwerdegegner ausgesprochen wütend, aufgebracht und eifersüchtig war, als ihm der Geschädigte Zutritt zu seinem Zimmer gewährte und er seine Ehefrau im Kleiderschrank vorfand. Er habe sich insofern zweifellos in einer heftigen Gemütsbewegung befunden, wobei auch die Messerstiche noch als Affekthandlung im Sinne von <ref-law> zu betrachten seien. Indessen sei die heftige Gemütsbewegung nicht (mehr) entschuldbar gewesen, als er auf B._ eingestochen habe. Es könne dem Angeklagten allerdings nicht nachgewiesen werden, dass er an jenem frühen Morgen direkt vorsätzlich gehandelt habe. Damit sei er der versuchten (eventualvorsätzlichen) Tötung im Sinne von <ref-law> i.V.m. <ref-law> schuldig zu sprechen.
1.2 Bei der Strafzumessung erwägt die Vorinstanz, das Verschulden des Beschwerdegegners müsse als erheblich eingestuft werden. Der Versuch im Sinne von <ref-law> führe zu einer fakultativen Strafmilderung gemäss <ref-law>. Dass es letztlich nur bei einer versuchten Tat geblieben sei, sei nicht auf das Verhalten des Angeklagten zurückzuführen, sondern einzig und alleine auf glückliche Umstände. Die versuchte Tatbegehung könne deshalb lediglich zu einer eher geringen Entlastung des Beschwerdegegners führen. In Berücksichtigung der erwähnten Elemente erscheine auf Grund der objektiven Tatschwere eine (hypothetische) Freiheitsstrafe von 8 bis 9 Jahren als angemessen.
1.3 Gemäss Vorinstanz lassen im Weiteren die gutachterlichen Feststellungen der Verminderung der Schuldfähigkeit des Beschwerdegegners erhebliches Gewicht zukommen. Auf Grund der subjektiven Elemente sei eine Reduktion der hypothetischen Freiheitsstrafe auf rund 41⁄2 Jahre als angemessen zu erachten.
1.4 Bei den Täterkomponenten berücksichtigt die Vorinstanz eine Vorstrafe marginal straferhöhend, auf der anderen Seite leicht strafmindernd sein Geständnis und ebenfalls die in späteren Befragungen gezeigte Reue.
1.5 Zusammenfassend und in Würdigung aller Strafzumessungsfaktoren erscheint der Vorinstanz eine Bestrafung von 42 Monaten Freiheitsstrafe dem Verschulden und den persönlichen Verhältnissen des Beschwerdegegners angemessen.
2. Die Beschwerdeführerin bringt vor, die Vorinstanz habe im Rahmen der Strafzumessung gemäss <ref-law> einen wesentlichen Gesichtspunkt ausser Acht gelassen und das Verschulden in Überschreitung des richterlichen Ermessens falsch gewichtet: Einerseits sei sie auf Grund ihrer zutreffenden Qualifikation des objektiven tatbezogenen Verschuldens als "erheblich" beziehungsweise "schwer" von einer weitaus zu tiefen Einsatzstrafe ausgegangen, indem sie diese auf 8 bis 9 Jahre festgesetzt habe. Andererseits habe die Vorinstanz den ordentlichen gesetzlichen Strafrahmen von 5 Jahren unterschritten, ohne dass aussergewöhnliche Umstände vorlägen - und von der Vorinstanz auch nicht geltend gemacht worden seien -, die dazu führen könnten, dass eine Strafe innerhalb des ordentlichen gesetzlichen Strafrahmens dem Rechtsempfinden widersprechen würde. Denn es sei keineswegs so, dass tatbezogen ein klar leichtes Verschulden vorliege und dann noch zusätzlich verschuldens- beziehungsweise strafreduzierende Faktoren hinzukommen würden, die einen leichten Tatvorwurf noch weiter relativieren würden, "so dass eine Strafe innerhalb des ordentlichen Rahmens dem Rechtsempfinden widerspräche" (vgl. hierzu das Urteil der Strafrechtlichen Abteilung des Bundesgerichts vom 8. März 2010, 6B_238/2009). Im Gegenteil sei das tatbezogene Verschulden insgesamt als leicht bis mittelschwer zu qualifizieren, und unter den täterbezogenen Strafzumessungsgründen lägen keine solchen vor, die eine Unterschreitung des ordentlichen Strafrahmens nur schon ansatzweise begründen beziehungsweise rechtfertigen könnten (Beschwerdeschrift S. 5/6).
3. 3.1 Gemäss aArt. 63 StGB hat der Richter die Strafe nach dem Verschulden des Täters zu bemessen, wobei die Beweggründe, das Vorleben und die persönlichen Verhältnisse des Schuldigen zu berücksichtigen sind. Der am 1. Januar 2007 in Kraft getretene neue Allgemeine Teil des Strafgesetzbuches hat die bisherigen Strafzumessungsgrundsätze in <ref-law> beibehalten. Die Bewertung des Verschuldens wird in <ref-law> dahingehend präzisiert, dass dieses nach der Schwere der Verletzung oder Gefährdung des betroffenen Rechtsguts, nach der Verwerflichkeit des Handelns, den Beweggründen und Zielen des Täters sowie danach bestimmt wird, wie weit der Täter nach den inneren und äusseren Umständen in der Lage war, die Gefährdung oder Verletzung zu vermeiden. Sowohl nach altem wie nach neuem Recht kommt somit dem Tatverschulden bei der Strafzumessung eine entscheidende Rolle zu (<ref-ruling> E. 5.4 S. 59 mit Hinweis auf <ref-ruling> E. 2.1 S. 19).
3.2 Ausgehend von der objektiven Tatschwere hat der Richter dieses Verschulden zu bewerten. Der Gesetzgeber hat einzelne Kriterien aufgeführt, welche für die Verschuldenseinschätzung von wesentlicher Bedeutung sind. In diesem Sinn spricht auch <ref-law> (aArt. 11 StGB) davon, die Strafe sei bei verminderter Schuldfähigkeit zu mildern. Das Schuldprinzip verlangt deshalb, dass die Strafe für eine in verminderter Schuldfähigkeit begangene Tat niedriger sein muss, als wenn der Täter - unter sonst gleichen Umständen - voll schuldfähig gewesen wäre. Die mildere Strafe ergibt sich aus dem leichteren Verschulden (<ref-ruling> E. 5.5 S. 59 f. mit Hinweis auf Urteil 6B_585/2008 vom 19. Juni 2009 E. 3.5).
3.3 Bei der Frage, in welchem Umfang die Einschränkung der Schuldfähigkeit die Verschuldensbewertung beeinflusst, gilt es vor Augen zu halten, dass die verminderte Schuldfähigkeit im Sinne von <ref-law> eines von mehreren Kriterien sein kann, wenn auch - je nach Grad der Verminderung - von wesentlichem Gewicht. So trifft etwa denjenigen ein geringerer Schuldvorwurf, dem lediglich eventualvorsätzliches Handeln anzulasten ist (<ref-law>; vgl. Urteil 6S.233/2003 vom 4. November 2003 E. 4.3 mit Hinweisen). Das StGB selbst erwähnt verschiedene Umstände, die das Verschulden reduzieren können (ausführlich dazu <ref-ruling> E. 5.6 S. 60 f., ebenfalls zu den Umständen, die das Tatverschulden erhöhen).
3.4 Liegt eine Verminderung der Schuldfähigkeit vor, hat der Richter im Sinne einer nachvollziehbaren Strafzumessung wie folgt vorzugehen: In einem ersten Schritt ist auf Grund der tatsächlichen Feststellungen des Gutachters zu entscheiden, in welchem Umfange die Schuldfähigkeit des Täters in rechtlicher Hinsicht eingeschränkt ist und wie sich dies insgesamt auf die Einschätzung des Tatverschuldens auswirkt. Das Gesamtverschulden ist zu qualifizieren und mit Blick auf <ref-law> im Urteil ausdrücklich zu benennen, wobei von einer Skala denkbarer Abstufungen nach Schweregrad auszugehen ist. Hierauf ist in einem zweiten Schritt innerhalb des zu Verfügung stehenden Strafrahmens die (hypothetische) Strafe zu bestimmen, die diesem Verschulden entspricht. Die so ermittelte Strafe kann dann gegebenenfalls in einem dritten Schritt auf Grund wesentlicher Täterkomponenten (sowie wegen eines allfälligen blossen Versuchs im Sinne von <ref-law>) verändert werden (<ref-ruling> E. 5.7 S. 62 f., Hinweis auf Urteil 6B_585/2008 vom 19. Juni 2009 E. 3.5 mit Hinweis auf <ref-ruling> E. 6.1 S. 135).
3.5 Der vom Gesetzgeber vorgegebene ordentliche Rahmen ermöglicht in aller Regel, für eine einzelne Tat die angemessene Strafe festzulegen. Er versetzt den Richter namentlich in die Lage, die denkbaren Abstufungen des Verschuldens zu berücksichtigen. Die verminderte Schuldfähigkeit allein führt deshalb grundsätzlich nicht dazu, den ordentlichen Strafrahmen zu unterschreiten. Dazu bedarf es weiterer ins Gewicht fallender Umstände, die das Verschulden als besonders leicht erscheinen lassen (<ref-ruling> E. 5.8 S. 63).
4. Die Vorinstanz hält eine hypothetische Freiheitsstrafe auf Grund der objektiven Tatschwere von 8 bis 9 Jahren als angemessen. Diese hypothetische Freiheitsstrafe berücksichtigt die bloss versuchte Tatbegehung. Die Vorinstanz erachtet das Verschulden des Beschwerdegegners als erheblich (angefochtenes Urteil S. 29 f.). Dies ist nicht zu beanstanden. Der Verminderung der Schuldfähigkeit in mittlerem Grad trägt sie mit einer Reduktion der hypothetischen Freiheitsstrafe auf rund 4 1⁄2 Jahre Rechnung (angefochtenes Urteil S. 34 f.).
Der ordentliche Strafrahmen für eine vorsätzliche Tötung beträgt fünf bis 20 Jahre (<ref-law>). Die Vorinstanz setzt die hypothetische Freiheitsstrafe unter Berücksichtigung des erheblichen Verschuldens (und indem sie die versuchte Tatbegehung methodisch nicht korrekt bereits an dieser Stelle einbezieht, vgl. E. 3.4 hievor) im unteren Drittel auf acht bis neun Jahre fest. Indem die Vorinstanz die hypothetische Freiheitsstrafe gestützt auf die verminderte Schuldfähigkeit auf rund 41⁄2 Jahre respektive (nach Berücksichtigung der Täterkomponenten) auf 31⁄2 Jahre bemisst, weicht sie von den in der neuesten Rechtsprechung (<ref-ruling>) entwickelten Grundsätzen ab (E. 3 hievor). Danach ist der ordentliche Strafrahmen nur zu verlassen, wenn aussergewöhnliche Umstände vorliegen und die für die betreffende Tat angedrohte Strafe im konkreten Fall zu hart bzw. zu milde erscheint. Die Frage einer Unterschreitung des ordentlichen Strafrahmens kann sich stellen, wenn verschuldens- bzw. strafreduzierende Faktoren zusammentreffen, die einen objektiv an sich leichten Tatvorwurf weiter relativieren, so dass eine Strafe innerhalb des ordentlichen Rahmens dem Rechtsempfinden widerspräche (<ref-ruling> E. 5.8 S. 63).
Solche aussergewöhnliche Umstände zeigt die Vorinstanz nicht auf und liegen nicht vor. Unter Berücksichtigung der von der Vorinstanz aufgezeigten objektiven und subjektiven Verschuldenskomponenten sowie der persönlichen Verhältnisse des Beschwerdeführers besteht keine Veranlassung, den ordentlichen Strafrahmen zu unterschreiten. Daran ändert auch der (im angefochtenen Entscheid unberücksichtigt gebliebene) Umstand nichts, dass der Beschwerdeführer bloss eventualvorsätzlich handelte. Der genannte Bundesgerichtsentscheid wurde am 8. März 2010 in einer öffentlichen Sitzung beraten und gefällt sowie in den Medien respektive Literatur dargestellt. Dies war der Vorinstanz bekannt (angefochtener Entscheid S. 34 f.). Indem sie die Freiheitsstrafe auf 31⁄2 Jahre festsetzt, verletzt sie Bundesrecht.
5. Die Beschwerde ist gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache zur neuen Beurteilung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdegegner aufzuerlegen (<ref-law>). Dieser verfügt laut den vorinstanzlichen Feststellungen als abgewiesener Asylbewerber über keine wesentlichen finanziellen Mittel. Diesem Umstand ist mit reduzierten Gerichtskosten Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Obergerichts des Kantons Zürich vom 21. April 2010 aufgehoben und die Sache im Sinne der Erwägungen zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 26. April 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Faga