Sachverhalt:
A. X._ wird qualifizierter Handel mit Kokain vorgeworfen.
B. Das Bezirksgericht Zürich sprach ihn am 23. Juni 2009 der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz (BetmG) im Sinne von Art. 19 Ziff. 1 Abs. 3 bis 6 in Verbindung mit <ref-law> schuldig und bestrafte ihn mit 5 1⁄2 Jahren Freiheitsstrafe, abzüglich 411 Tage erstandener Haft. Gleichzeitig widerrief es den bedingten Vollzug einer am 29. Juli 2007 vom Tribunal de Police de Genève ausgesprochenen Freiheitsstrafe von 24 Monaten wegen qualifizierter Widerhandlung gegen das BetmG.
C. Dagegen erhob X._ eine im Wesentlichen auf das Strafmass und den Vollzug beschränkte Berufung. Das Obergericht des Kantons Zürich stellte mit Urteil vom 26. Februar 2010 die Rechtskraft des bezirksgerichtlichen Schuldspruchs fest. Es setzte die Freiheitsstrafe auf 5 Jahre fest und bestätigte den Widerruf des vom Tribunal de Police de Genève gewährten bedingten Strafvollzugs.
D. Die Oberstaatsanwaltschaft des Kantons Zürich erhebt Beschwerde in Strafsachen mit den Anträgen, es sei das Urteil des Obergerichts in Bezug auf die ausgefällte Strafe wegen Verletzung von Bundesrecht aufzuheben und entweder eine höhere Strafe zu verhängen oder die Sache zur Ausfällung einer höheren Strafe an die Vorinstanz zurückzuweisen.
E. Das Obergericht des Kantons Zürich verzichtet mit Eingabe vom 16. Juni 2010 auf eine Vernehmlassung. X._ beantragt am 28. Juni 2010, die Beschwerde sei abzuweisen und das obergerichtliche Urteil vom 26. Februar 2010 zu bestätigen. Gleichzeitig ersucht er um unentgeltliche Rechtspflege und Verbeiständung.

Erwägungen:
1. 1.1 Die Beschwerde richtet sich alleine gegen die Strafzumessung. Es wird geltend gemacht, die Vorinstanz habe das abgelegte Geständnis des Beschwerdegegners in Verletzung von <ref-law> zu Unrecht strafmindernd berücksichtigt.
1.2 Das Gericht misst die Strafe nach dem Verschulden des Täters zu. Es berücksichtigt das Vorleben und die persönlichen Verhältnisse sowie die Wirkung der Strafe auf das Leben des Täters (<ref-law>). Das Verschulden wird nach der Schwere der Verletzung oder Gefährdung des betroffenen Rechtsguts, nach der Verwerflichkeit des Handelns, den Beweggründen und Zielen des Täters sowie danach bestimmt, wie weit der Täter nach den inneren und äusseren Umständen in der Lage war, die Gefährdung oder Verletzung zu vermeiden (<ref-law>). Das Bundesgericht greift auf Beschwerde in Strafsachen hin nur ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen bzw. durch Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (<ref-ruling> E. 5.3.1; <ref-ruling> E. 2.1; <ref-ruling> E. 6.1).
1.3 Nach dem im angefochtenen Entscheid festgestellten Sachverhalt betätigte sich der vorsätzlich handelnde Beschwerdegegner zwischen dem 5. Juli 2007 und dem 8. Mai 2008 (Tag der Verhaftung) im internationalen und nationalen Drogenhandel auf mittlerer Hierarchiestufe. Er handelte mit mehr als 5,7 Kilogramm Kokaingemisch, was bei einem Reinheitsgrad von 33 % einer Menge von insgesamt rund 1,9 Kilogramm reinem Kokain entspricht. Der selber nicht drogenabhängige, einschlägig vorbestrafte Beschwerdegegner handelte aus finanziellen Motiven. Seine Aktivitäten wurden erst durch polizeiliche Intervention gestoppt.
1.4 Die Vorinstanz stuft das als erheblich qualifizierte Verschulden des Beschwerdegegners einzig aufgrund seines im Verfahren vor ihr abgelegten Geständnisses etwas leichter ein als vom Bezirksgericht angenommen und reduziert die Strafe deshalb um ein halbes Jahr. Sie führt aus, der Beschwerdegegner habe die Anklagevorhalte bis zum Berufungsverfahren hartnäckig abgestritten und alle Register gezogen, um einer Verurteilung zu entgehen. Das sei zwar sein Recht. Von einem Geständnis, das die Untersuchung oder zumindest das erstinstanzliche Gerichtsverfahren erleichtert hätte, könne aber nicht die Rede sein. Ebenso wenig sei in der Zugabe des Beschwerdegegners wirkliche Einsicht und Reue zu erkennen, zumal er mit der Behauptung, vor den heute zu beurteilenden Taten keine Kenntnis von der Gefährlichkeit des Kokains gehabt zu haben, die geltend gemachten Gefühlsregungen gleichsam wieder relativiert habe. Angesichts der zwei einschlägigen Vorstrafen aus den Jahren 2003 und 2007 wegen (qualifizierten) Drogenhandels könne ein solcher Einwand nur noch als trölerisch bezeichnet werden. Das Geständnis des Beschwerdegegners habe sich dennoch in einer merklichen Strafreduktion niederzuschlagen.
1.5 Gemäss der bundesgerichtlichen Rechtsprechung kann ein Geständnis bei der Analyse des Nachtatverhaltens im Rahmen der Strafzumessung zugunsten des Täters berücksichtigt werden, wenn es auf Einsicht in das begangene Unrecht oder auf Reue schliessen lässt oder der Täter dadurch zur Tataufdeckung über den eigenen Tatanteil beiträgt (vgl. <ref-ruling> E. 2d/cc S. 206). Diese Praxis fusst auf der Überlegung, dass Geständnisse zur Vereinfachung und Verkürzung des Verfahrens und zur Wahrheitsfindung beitragen können. Ein Verzicht auf Strafminderung kann sich demgegenüber deshalb aufdrängen, wenn das Geständnis die Strafverfolgung nicht erleichtert hat, namentlich weil der Täter nur aufgrund einer erdrückenden Beweislage oder gar erst nach Ausfällung des erstinstanzlichen Urteils geständig geworden ist (Urteile 6B_974/2009 vom 18. Februar 2010 E. 5.4, 6B_737/2007 vom 14. April 2008 E. 1.2 sowie 6S.531/2006 vom 24. Januar 2007 E. 3.6.3 mit Hinweisen).
1.6 Der Beschwerdegegner bestritt seine Taten bis zum Abschluss des erstinstanzlichen Verfahrens vollumfänglich und trug mithin nach den Ausführungen im angefochtenen Entscheid mit seinem Geständnis im Berufungsverfahren weder zur Vereinfachung und Verkürzung des Verfahrens noch zur Sachverhaltsabklärung und Wahrheitsfindung bei. Wie sich aus den Ausführungen im angefochtenen Entscheid weiter klar ergibt, lässt das erst im vorinstanzlichen Verfahren abgelegte Geständnis des Beschwerdegegners auch keine (echte) Reue und Einsicht erkennen. Damit verneint die Vorinstanz in aller Deutlichkeit die Grundlage für eine Strafminderung aufgrund des Geständnisses, mindert die Strafe in der Folge aber dennoch gerade deshalb, also wegen des Geständnisses, um ein halbes Jahr. Die Strafreduktion, welche mithin grundlos erfolgt, ist nicht statthaft und beruht - wie die Beschwerdeführerin zu Recht festhält - auf einem technischen Strafzumessungsfehler. Der angefochtene Entscheid verletzt damit Bundesrecht.
1.7 Im Übrigen bleibt klarzustellen, dass das Wohlverhalten des Täters im Strafvollzug für die Strafzumessung unerheblich ist. Zwar ist dessen Verhalten nach der Tat bei der Zumessung der Strafe grundsätzlich insofern von Bedeutung, als dieses Rückschlüsse auf den Täter und seine Einstellung zur Tat zulässt (Urteil 6S.348/2004 vom 20. Januar 2005 E. 4.1). Strafmindernd im Sinne eines entlastenden Nachtatverhaltens wirken vor allem das Bekunden von Einsicht und Reue (<ref-ruling> E. 2d/cc). Ein korrektes Verhalten im Strafvollzug kann demgegenüber vorausgesetzt werden. Das dem Beschwerdegegner von der Vorinstanz attestierte Wohlverhalten im Strafvollzug wird ihm damit in erster Linie bei der Frage nach der bedingten Entlassung zugutezuhalten sein (vgl. <ref-law>). Im Rahmen der Strafzumessung kann es hingegen nicht als besondere Reue und Einsicht interpretiert und berücksichtigt werden (Urteil 6B_974/2009 vom 18. Februar 2010 E. 5.5). Soweit die Vorinstanz das Wohlverhalten im Strafvollzug bei der Strafzumessung deshalb zu Gunsten des Beschwerdeführers berücksichtigt - was sich aus ihren Feststellungen indessen nicht mit letzter Klarheit ergibt - verletzt der angefochtene Entscheid ebenfalls Bundesrecht.
2. Zusammenfassend ist die Beschwerde gutzuheissen. Der obsiegen-den Beschwerdeführerin ist keine Entschädigung auszurichten (<ref-law>). Dem Beschwerdegegner wären die Gerichtskosten hingegen als unterliegende Partei grundsätzlich aufzuerlegen (<ref-law>). Er hat indessen um unentgeltliche Rechtspflege und Verbeiständung ersucht. Sein Gesuch ist gutzuheissen. Damit sind keine Kosten zu erheben und ist der Vertreter des Beschwerdegegners aus der Bundesgerichtskasse angemessen zu entschädigen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das angefochtene Urteil des Obergerichts des Kantons Zürich vom 26. Februar 2010 in Bezug auf die ausgesprochene Strafe aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Das Gesuch des Beschwerdegegners um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen.
3. Es werden keine Kosten erhoben.
4. Dem Rechtsvertreter des Beschwerdegegners, Rechtsanwalt Jürg Waldmeier, wird für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'000.-- aus der Bundesgerichtskasse ausgerichtet.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 22. Juli 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Favre Arquint Hill