Sachverhalt:
A. X._ wurde am 28. Juni 2000 vom Bezirksgericht Zürich wegen Vergehens und Verbrechens gegen das Betäubungsmittelgesetz (BetmG; SR 812.121) und Vergehens gegen das Bundesgesetz über Aufenthalt und Niederlassung von Ausländern (ANAG; AS 49 279) zu einer bedingten Gefängnisstrafe von 15 Monaten verurteilt. Am 21. April 2004 verurteilte ihn das Bezirksgericht Zürich erneut wegen Vergehens und Verbrechens gegen das Betäubungsmittelgesetz und mehrfachen Verweisungsbruchs zu einer Zuchthausstrafe von 2 Jahren und 6 Monaten. Die am 28. Juni 2000 bedingt ausgesprochene Freiheitsstrafe erklärte es als vollziehbar. X._ wurde nach dem Vollzug der beiden Strafen am 25. Dezember 2005 bedingt aus dem Strafvollzug entlassen, unter Ansetzung einer Probezeit von 3 Jahren.
B. Am 9. September 2009 sprach das Bezirksgericht Zürich X._ erneut wegen mehrfacher qualifizierter Widerhandlung gegen das Betäubungsmittelgesetz, mehrfacher Übertretung des Betäubungsmittelgesetzes und mehrfacher Vergehen gegen das Ausländergesetz (AuG; SR 142.20) schuldig. Es bestrafte ihn unter Einbezug des Strafrests gemäss bedingter Entlassung vom 25. Dezember 2005 mit einer Gesamtfreiheitsstrafe von 4 1⁄2 Jahren. Das Obergericht des Kantons Zürich verurteilte X._ am 8. April 2010 auf dessen Berufung hin zu einer Freiheitsstrafe von 3 1⁄2 Jahren Freiheitsstrafe. Es verzichtete auf eine Rückversetzung in den Vollzug des Strafrests.
C. Gegen dieses Urteil erhebt die Oberstaatsanwaltschaft des Kantons Zürich Beschwerde in Strafsachen. Sie beantragt, das angefochtene Urteil sei aufzuheben und X._ sei zu einer (Gesamt)freiheitsstrafe von 4 1⁄2 Jahren zu verurteilen. Eventualiter sei die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
D. Das Obergericht des Kantons Zürich verzichtete auf eine Vernehmlassung. X._ reichte innert Frist keine Stellungnahme ein.

Erwägungen:
1. 1.1 Die Beschwerdeführerin rügt, die Vorinstanz verletze <ref-law> bzw. aArt. 38 StGB, indem sie auf die Rückversetzung in den Strafvollzug verzichte. Sie gehe zu Unrecht davon aus, die Übersetzung der Verfügung betreffend die bedingte Entlassung aus dem Strafvollzug sei Voraussetzung, dass die Probezeit zu laufen beginne. Der Beschwerdegegner sei am 25. Dezember 2005 bedingt aus dem Strafvollzug entlassen worden. Dabei sei ihm eine Probezeit von 3 Jahren angesetzt worden. Der Strafrest betrage 14 Monate und 26 Tage. Die Entlassungsverfügung sei nach dem damals geltenden Recht eröffnet worden. Es existiere weder nach dem damaligen noch dem heutigen Recht eine Norm, welche die Strafvollzugsbehörden verpflichte, die Entlassungsverfügung in die Sprache des Betroffenen zu übersetzen. Eine analoge Anwendung von <ref-law> sei entgegen der Auffassung der Vorinstanz ausgeschlossen, weil sich der Sachverhalt vor Inkrafttreten des neuen Rechts ereignet habe. Zudem diene <ref-law> einem anderen Zweck. Der Täter müsse bei einer neuen Verurteilung wissen, dass die bedingte Strafe eine echte Strafe sei. Dies sei bei bedingt aus dem Strafvollzug zu entlassenden Personen nicht nötig, da ihnen die Ernsthaftigkeit der Strafe bereits mit dem Vollzug vor Augen geführt worden sei. Weder aus Art. 5 Ziff. 2 EMRK noch aus Art. 6 Ziff. 3 EMRK ergebe sich ein Recht auf Übersetzung. Die erste Bestimmung betreffe nur die Festnahme, nicht aber die Freilassung, die zweite Norm beziehe sich auf die gehörige Vorbereitung der Verteidigung. Es sei Sache des Empfängers, den Inhalt der Verfügung zu verstehen. Dass der Rest der Strafe erlassen werde, wie der Beschwerdegegner vor Vorinstanz geltend gemacht habe, sei gesetzlich nicht vorgesehen. Vielmehr seien die bedingte Entlassung und die Folgen der Nichtbewährung im Strafgesetzbuch geregelt.
1.2 Für die Ansetzung der Probezeit anlässlich der bedingten Entlassung vom 22. Dezember 2005 sind die vor dem 1. Januar 2007 geltenden Formvorschriften anwendbar (<ref-ruling> E. 1 S. 148 mit Hinweisen). Nach aArt. 38 Ziff. 1 Abs. 1 StGB kann die zuständige Behörde den zu Zuchthaus oder Gefängnis Verurteilten entlassen, der zwei Drittel der Strafe verbüsst hat, sofern sein Verhalten während des Strafvollzugs nicht dagegen spricht und anzunehmen ist, er werde sich in der Freiheit bewähren. Die zuständige Strafvollzugsbehörde prüft von Amtes wegen, ob der Gefangene bedingt entlassen werden kann (aArt. 38 Ziff. 1 Abs. 3 Satz 1 StGB). Sie holt dazu einen Bericht der Anstaltsleitung ein (Satz 2) und hört den Verurteilten an, wenn er kein Gesuch gestellt hat oder wenn dem Gesuch nicht ohne weiteres stattgegeben werden kann (Satz 3). Die zuständige Behörde bestimmt dem bedingt Entlassenen eine Probezeit, während der er unter Schutzaufsicht gestellt werden kann. Diese Probezeit beträgt mindestens ein und höchstens fünf Jahre (aArt. 38 Ziff. 2 StGB). Im alten allgemeinen Teil des Strafgesetzbuches findet sich, wie auch in dem seit dem 1. Januar 2007 in Kraft stehenden Recht, keine explizite Bestimmung, wonach die Verfügung der bedingten Entlassung aus dem Strafvollzug in die Sprache des Betroffenen zu übersetzen wäre (vgl. aArt. 38 StGB, <ref-law>).
1.2 Für die Ansetzung der Probezeit anlässlich der bedingten Entlassung vom 22. Dezember 2005 sind die vor dem 1. Januar 2007 geltenden Formvorschriften anwendbar (<ref-ruling> E. 1 S. 148 mit Hinweisen). Nach aArt. 38 Ziff. 1 Abs. 1 StGB kann die zuständige Behörde den zu Zuchthaus oder Gefängnis Verurteilten entlassen, der zwei Drittel der Strafe verbüsst hat, sofern sein Verhalten während des Strafvollzugs nicht dagegen spricht und anzunehmen ist, er werde sich in der Freiheit bewähren. Die zuständige Strafvollzugsbehörde prüft von Amtes wegen, ob der Gefangene bedingt entlassen werden kann (aArt. 38 Ziff. 1 Abs. 3 Satz 1 StGB). Sie holt dazu einen Bericht der Anstaltsleitung ein (Satz 2) und hört den Verurteilten an, wenn er kein Gesuch gestellt hat oder wenn dem Gesuch nicht ohne weiteres stattgegeben werden kann (Satz 3). Die zuständige Behörde bestimmt dem bedingt Entlassenen eine Probezeit, während der er unter Schutzaufsicht gestellt werden kann. Diese Probezeit beträgt mindestens ein und höchstens fünf Jahre (aArt. 38 Ziff. 2 StGB). Im alten allgemeinen Teil des Strafgesetzbuches findet sich, wie auch in dem seit dem 1. Januar 2007 in Kraft stehenden Recht, keine explizite Bestimmung, wonach die Verfügung der bedingten Entlassung aus dem Strafvollzug in die Sprache des Betroffenen zu übersetzen wäre (vgl. aArt. 38 StGB, <ref-law>).
1.3 1.3.1 Im Falle einer Verurteilung hat das Gericht dem Straftäter die Bedeutung und die Folgen der bedingten und der teilbedingten Strafe zu erklären (<ref-law>). Damit soll sichergestellt werden, dass die bedingte Strafe als solche empfunden wird und ihre Wirkung erzielt (Botschaft vom 21. September 1998 zur Änderung des Schweizerischen Strafgesetzbuches, BBl 1998 1979 ff. Ziff. 213.143.1). Die Verurteilung in einem Strafverfahren ist ein erheblicher Eingriff in die persönliche Freiheit des Betroffenen. Namentlich eine unbedingte Freiheitsstrafe wird als spürbare Einschränkung empfunden, weshalb der Frage des möglichen nachträglichen Vollzugs eine grosse Bedeutung zukommt. Der Straftäter soll sich im klaren sein, unter welchen Bedingungen er die Strafe tatsächlich zu verbüssen hat. Dementsprechend auferlegt das Gesetz dem Richter eine entsprechende Erläuterungspflicht. Anders verhält es sich bei der bedingten Entlassung. Diese setzt voraus, dass der Verurteilte bereits einen Grossteil der Strafe verbüsst hat. Es wird probehalber vom Vollzug der Strafe in voller Länge abgesehen, ohne dass sich an der ausgesprochenen Strafe etwas ändert. Dem Verurteilten wird die Reststrafe erlassen, sofern er sich innerhalb einer Probezeit wohlverhält. Die bedingte Entlassung belastet ihn nicht, sondern wirkt sich zu seinen Gunsten aus. Sein Anspruch auf rechtliches Gehör ist gewährleistet, indem er selbst ein Gesuch stellt oder von der Behörde angehört wird, bevor der Entscheid über die bedingte Entlassung ergeht (aArt. 38 Ziff. 1 Abs. 3 Satz 3 StGB, <ref-law>). Daraus darf gefolgert werden, dass der Betroffene das Wesen der bedingten Entlassung, aber auch ganz allgemein die Konsequenzen seiner Strafe kennt. Unter diesen Umständen lässt sich kein Anspruch auf Erläuterung der Verfügung über die bedingte Entlassung aus dem Strafvollzug herleiten, wie er gestützt auf <ref-law> im Falle der Verurteilung zu einer bedingten oder teilbedingten Strafe zwingend vorgesehen ist.
1.3.2 Die Vollzugsbehörde war auch nicht verpflichtet, die Entlassungsverfügung vom 2. November 2005 dem Beschwerdegegner in dessen Muttersprache zu übersetzen. Ein solcher Anspruch ergibt sich weder aus <ref-law> noch aus Art. 6 EMRK (vgl. <ref-ruling> E. 3a S. 467 mit Hinweis auf <ref-ruling> E. 6b S. 65). Ebenso wenig liegt ein Anwendungsfall von Art. 5 EMRK vor, da der fragliche Entscheid nicht den Freiheitsentzug oder die Festnahme, sondern eine Entlassung betrifft. Hinzu kommt, dass im konkreten Fall keine Hinweise bestehen, wonach der Beschwerdegegner die Entlassungsverfügung nicht verstanden hätte. Als er deren Aushändigung am 11. November 2005 unterschriftlich bestätigte, befand er sich im Strafvollzug. Es wäre ihm ein leichtes und auch zuzumuten gewesen, sich nötigenfalls bei den Behörden über den Inhalt der Verfügung zu erkundigen, umso mehr, als ihm signalisiert wurde, dass bei sprachlichen Schwierigkeiten der Sozialdienst behilflich sei (vgl. Gesuch des Beschwerdegegners um bedingte Entlassung vom 8. Juli 2005). Wenn er solche Hilfe nicht in Anspruch nahm, ist dies nicht den Behörden anzulasten (vgl. Urteile 1P.232/2006 vom 3. Juli 2006 E. 3.3 mit Hinweisen und 1P.162/2005 E. 2). Im Übrigen findet sich kein Anhaltspunkt, dass der Beschwerdegegner im Zeitpunkt der bedingten Entlassung geltend gemacht hätte, die behördliche Anordnung nicht verstanden zu haben. Der erst nach vier Jahren im neuen Strafverfahren erhobene Einwand erweist sich als verspätet. Die Verfügung vom 2. November 2005 über die bedingte Entlassung aus dem Strafvollzug kann dem Beschwerdegegner damit entgegengehalten werden. Dies bedeutet, dass die Probezeit im Zeitpunkt der bedingten Entlassung zu laufen begann, weshalb <ref-law> anzuwenden ist. Indem die Vorinstanz davon absah, aus dem zu vollziehenden Strafrest und der neuen Freiheitsstrafe eine Gesamtstrafe zu bilden (dazu <ref-ruling> E. 2.4 S. 148), verletzte sie Bundesrecht. Das angefochtene Urteil ist aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Unter diesen Umständen kann die von der Beschwerdeführerin aufgeworfene Frage, ob die Vorinstanz den Sachverhalt willkürfrei feststellte, offen bleiben.
2. Die Beschwerde ist gutzuheissen. Bei diesem Ausgang des Verfahrens sind die Kosten auf die Staatskasse zu nehmen (<ref-law>) und keine Parteientschädigungen zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das Urteil des Obergerichts des Kantons Zürich vom 8. April 2010 aufgehoben und die Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben und keine Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 13. Januar 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Favre Koch