Sachverhalt:
A. Das Bezirksgericht Zürich (2. Abteilung) verurteilte Y._ am 12. Dezember 2006 wegen versuchter schwerer Körperverletzung und Vergehens gegen das Waffengesetz zu zwei Jahren Gefängnis. Zudem ordnete es im Sinne von Art. 43 Ziff. 1 Abs. 1 aStGB eine ambulante Massnahme während des Strafvollzugs an.
B. Auf Berufung der Staatsanwaltschaft IV des Kantons Zürich bestätigte das Obergericht des Kantons Zürich, II. Strafkammer, am 29. Januar 2008 dieses Urteil im Schuld- und Strafpunkt. Es ordnete erneut eine ambulante Massnahme an. Im Übrigen stellte das Gericht unter anderem fest, dass das erstinstanzliche Urteil vom 12. Dezember 2006 hinsichtlich der Anordnung einer ambulanten Massnahme ohne Aufschub des Strafvollzugs in Rechtskraft erwachsen war.
C. Mit Beschwerde in Strafsachen beantragt die Oberstaatsanwaltschaft des Kantons Zürich, das Urteil des Obergerichtes des Kantons Zürich sei aufzuheben und die Sache zur Anordnung einer stationären Massnahme zurückzuweisen. Y._ stellt in seiner Vernehmlassung den Antrag, die Beschwerde sei abzuweisen, während die Vorinstanz auf eine Stellungnahme verzichtet.

Erwägungen:
1. Die Vorinstanz hat zutreffend die Bestimmungen des neuen Massnahmenrechts (Art. 56-65 StGB) angewendet, obwohl die Taten des Beschwerdegegners vor dem Inkrafttreten des neuen Rechts begangen und abgeurteilt worden sind (vgl. Art. 2 Abs. 1 der Schlussbestimmungen der Änderung des StGB vom 13. Dezember 2002).
2. Die Beschwerdeführerin macht geltend, die Vorinstanz habe Bundesrecht verletzt, indem sie von einer stationären Massnahme im Sinne von <ref-law> absah. Zudem habe sie entgegen <ref-law> und damit bundesrechtswidrig erneut eine ambulante Massnahme angeordnet.
3. Die von der ersten Instanz am 12. Dezember 2006 rechtskräftig angeordnete ambulante Massnahme wurde vom Bewährungs- und Vollzugsdienst des Justizvollzugs des Kantons Zürich mit formeller Verfügung vom 10. Dezember 2007 gestützt auf <ref-law> aufgehoben. Zur Begründung wurde im Wesentlichen ausgeführt, die ambulante Behandlung sei zur Verhinderung und Verminderung weiterer schwerer Gewaltdelikte nicht zweckmässig. Zudem sei die Massnahme aussichtslos und deshalb aufzuheben.
3.1 Erachtet die Vollzugsbehörde die Fortführung der ambulanten Behandlung als aussichtslos, so stellt sie deren Scheitern mittels anfechtbarer Verfügung fest (vgl. <ref-law>). Gegen eine solche Verfügung steht nach Erschöpfung des kantonalen Instanzenzugs die Beschwerde in Strafsachen offen (<ref-law>; vgl. zum alten Recht auch <ref-ruling> E. 1 S. 191). Erwächst die Verfügung in Rechtskraft, hat ein Gericht auf Antrag der Vollzugsbehörde über die Konsequenzen zu befinden. Im Falle des Aufschubs der Freiheitsstrafe zugunsten einer ambulanten Massnahme (<ref-law>) obliegt es dem Gericht zu entscheiden, ob die aufgeschobene Strafe zu vollziehen (<ref-law>) oder eine stationäre therapeutische Massnahme nach den Art. 59-61 StGB anzuordnen ist (<ref-law>). Für das Aussprechen einer anderen ambulanten Massnahme besteht kein Raum (BGE 6B_556/2007 vom 4. Juli 2008 E. 3.4 mit Hinweisen). Die Folgen der Aufhebung einer vollzugsbegleitenden Behandlung sind im Gesetz nicht geregelt. Indessen müssen die gleichen Überlegungen gelten, wie sie der erwähnten Rechtsprechung zugrunde liegen, womit auch in diesem Fall eine erneute ambulante Massnahme ausgeschlossen ist. In Frage kommt dagegen eine (nachträgliche) stationäre Massnahme im Sinne von <ref-law> (vgl. MARIANNE HEER, Basler Kommentar Strafrecht I, 2. Aufl. 2007, <ref-law> N. 1; GÜNTER STRATENWERTH, Schweizerisches Strafrecht, AT II, 2. Aufl. 2006, § 9 Rz. 94 S. 313 f.; CHRISTIAN SCHWARZENEGGER UND ANDERE, Strafrecht II, Strafen und Massnahmen, 8. Aufl. 2007, S. 246 Ziff. 2.53 b).
3.2 Somit ist die erneute Anordnung einer ambulanten Massnahme im vorinstanzlichen Urteil bundesrechtswidrig und die entsprechende Rüge der Beschwerdeführerin begründet.
4. Die Vorinstanz hat die Voraussetzungen einer nachträglichen stationären Massnahme nach <ref-law> verneint. Zum einen fehle dem Beschwerdegegner die minimale Bereitschaft für eine solche Behandlung. Zudem sei es fraglich, ob er vor dem Hintergrund der verschiedenen gescheiterten therapeutischen Bemühungen in der Vergangenheit in der Lage wäre, eine stationäre Massnahme zu absolvieren. Und schliesslich erscheine diese unter dem Gesichtspunkt der Verhältnismässigkeit als unzulässig. Der Beschwerdegegner habe nunmehr seine zweijährige Freiheitsstrafe bis auf wenige Tage verbüsst. Im heutigen Zeitpunktpunkt sei deshalb eine stationäre Massnahme, die - mit der Verlängerungsmöglichkeit nach <ref-law> - bis zu fünf Jahren dauern könne, nicht mehr verhältnismässig. Daran ändere auch der Umstand nichts, dass beim Beschwerdegegner eine gewisse Rückfallgefährdung bestehe.
4.1 Nach Auffassung der Beschwerdeführerin verletzt die Vorinstanz mit einer solchen Begründung <ref-law>. Diese Bestimmung verlange, dass der mit der stationären Massnahme verbundene Eingriff in die Persönlichkeitsrechte des Täters im Hinblick auf die Wahrscheinlichkeit und Schwere weiterer Straftaten nicht unverhältnismässig sei. Die Vorinstanz stelle demgegenüber einzig eine Beziehung zur restlichen Strafe her, nicht aber zu allfälligen künftigen Gewaltdelikten. Es werde völlig ausgeblendet, dass beim Beschwerdegegner aufgrund seiner psychischen Störung eine sehr hohe Rückfallgefahr bestehe. Die daraus resultierende Gefahr für die Gesellschaft erscheine dermassen hoch, dass der Eingriff in seine Freiheit angemessen sei. Die fehlende Motivation des Beschwerdegegners dürfe nicht schon heute zur Ablehnung der Massnahme führen. Denn einerseits dürften an die Behandlungsbereitschaft nicht allzu strenge Anforderungen gestellt werden und anderseits könne der Beschwerdegegner seine Meinung ändern, wenn ihm bei einer aussichtslosen Durchführung der stationären Massnahme gestützt auf <ref-law> die nachträgliche Verwahrung drohe.
4.2 Ist der Täter psychisch schwer gestört, so kann das Gericht eine stationäre Massnahme anordnen, wenn er ein Verbrechen oder Vergehen begangen hat, das mit seiner psychischen Störung in Zusammenhang steht, und zu erwarten ist, dadurch lasse sich die Gefahr weiterer mit seiner psychischen Störung in Zusammenhang stehenden Taten begegnen (<ref-law>). Diese Massnahme kann nach <ref-law> auch nachträglich angeordnet werden. Die Anordnung einer Massnahme setzt voraus, dass der mit ihr verbundene Eingriff in die Persönlichkeitsrechte des Täters im Hinblick auf die Wahrscheinlichkeit und Schwere weiterer Straftaten nicht unverhältnismässig ist (<ref-law>). Diese Verhältnismässigkeit im engeren Sinne verlangt, dass zwischen dem Eingriff und dem angestrebten Zweck eine vernünftige Relation bestehen muss (vgl. dazu Urteil 6S.408/2005 vom 23. Januar 2006 E. 3 mit Hinweisen). Sie kann dazu führen, dass selbst eine geeignete und notwendige Massnahme unverhältnismässig ist, wenn der mit ihr verbundene Eingriff im Vergleich zur Bedeutung des angestrebten Ziels unangemessen schwer wiegt (Botschaft zur Änderung des Schweizerischen Strafgesetzbuches vom 21. September 1998, BBl 1999 2070 f.). Schon unter der Herrschaft des alten Rechts war gemäss der Rechtsprechung des Bundesgerichtes die Umwandlung einer ambulanten in eine stationäre Massnahme selbst dann noch zulässig, wenn die Strafe vollständig verbüsst war (<ref-ruling> E. 2.3.2 S. 189 mit Hinweis), wobei diese Möglichkeit nur in klaren Ausnahmefällen und unter strenger Berücksichtigung des Verhältnismässigkeitsgebotes zulässig sein sollte. Eine solche Ausnahmesituation wurde etwa angenommen, wenn ein entlassener Straftäter nach dem Scheitern der Therapie die öffentliche Sicherheit in schwerer Weise gefährdete und nur eine langfristige stationäre Behandlung die Rückfallgefahr vermindern konnte (Urteil 6S.408/2005 vom 23. Januar 2006 E. 2 mit Hinweisen).
4.3 Gemäss dem Bericht des Psychiatrisch-Psychologischen Dienstes des Justizvollzugs des Kantons Zürich vom 1. November 2007, auf den sich die Vorinstanz in ihrem Urteil bezieht, muss beim Beschwerdegegner von einem deutlichen bis sehr hohen Rückfallrisiko bezüglich Gewaltdelikte ausgegangen werden. Da eine eingehende Abklärung der hirnorganischen Beeinträchtigung fehle, könne keine Aussage zur Behandelbarkeit der psychischen Störung gemacht werden. Ein das Risiko senkender Effekt im Rahmen einer ambulanten Massnahme könne frühestens nach zwei- bis dreijähriger Therapiedauer erwartet werden. Aus Sicht des Psychiatrisch-Psychologischen Dienstes bietet einzig die Anordnung einer stationären Massnahme nach <ref-law> die Möglichkeit, eine risikovermindernde Behandlung adäquat durchzuführen. Bei einer allfälligen Entlassung aus dem Strafvollzug bestünden bei einer ambulanten Massnahme grosse Bedenken. Die Lebensgeschichte des Beschwerdegegners im Gutachten zeige, dass es in der Vergangenheit nie gelungen sei, ihn auch nur mittelfristig sozial zu stabilisieren.
4.4 Diese Feststellungen, die auch dem vorinstanzlichen Urteil zugrunde liegen, sprechen für die Notwendigkeit einer (nachträglichen) stationären Massnahme. Soweit die Vorinstanz massgeblich darauf abstellt, dass beim Beschwerdegegner die Massnahmebereitschaft fehlt, kann dem nicht gefolgt werden. Abgesehen davon, dass - wovon auch die Vorinstanz ausgeht - an die Therapiewilligkeit keine allzu strengen Anforderungen gestellt werden dürfen, lässt sich aus den Aussagen des Beschwerdegegners anlässlich der vorinstanzlichen Verhandlung nichts Entscheidendes herleiten. Immerhin gab er zu Protokoll, er sei stets für eine ambulante Behandlung bereit gewesen, womit er zum Ausdruck bringt, die Notwendigkeit einer Therapie einzusehen und sich dieser zu unterziehen. Seine fehlende Motivation bezieht sich nicht auf das grundsätzliche Bedürfnis einer Behandlung, sondern auf die Art, wie diese durchzuführen ist. Darauf kann es jedoch nur beschränkt ankommen. Das ergibt sich schon daraus, dass der Gesetzgeber lediglich bei der stationären Suchtbehandlung (<ref-law>), nicht aber bei der Behandlung von psychischen Störungen (<ref-law>) der Behandlungsbereitschaft des Täters besondere Bedeutung zumisst. Im Übrigen ist darauf hinzuweisen, dass es aufgrund psychischer Erkrankungen an der Fähigkeit fehlen kann, die Notwendigkeit und das Wesen einer Behandlung abzuschätzen (Urteil 6S.248/2003 vom 14. August 2003 E. 9.4 mit Hinweisen). Mangelnde Einsicht gehört bei schweren, langdauernden Störungen häufig zum typischen Krankheitsbild. Ein erstes Therapieziel kann durchaus darin bestehen, Einsicht und Therapiewilligkeit zu schaffen, was gerade im Rahmen stationärer Behandlungen auch Aussicht auf Erfolg hat (MARIANNE HEER, Basler Kommentar, a.a.O., Art. 59 N. 80 mit Hinweisen).
4.5 Die Beschwerdeführerin rügt zu Recht, die Vorinstanz habe die Frage der Verhältnismässigkeit unvollständig gewürdigt. Im angefochtenen Entscheid wird einzig festgehalten, eine stationäre Massnahme sei nicht mehr verhältnismässig, weil die zweijährige Freiheitsstrafe bis auf wenige Tage vollständig verbüsst sei. Die Vorinstanz unterlässt es darzutun, wie sie das deutliche bis sehr hohe Risiko weiterer Gewaltdelikte in ihre Gewichtung einbezieht. Aufgrund der Feststellungen im vorinstanzlichen Urteil muss von einer schweren Gefährdung der Öffentlichkeit ausgegangen werden, die allenfalls nur durch eine langfristige stationäre Therapie vermindert werden kann. In diesem Zusammenhang wird von der Beschwerdeführerin zu Recht geltend gemacht, dass sich allenfalls weitere neuropsychologische Abklärungen aufdrängen, nachdem beim Beschwerdegegner deutliche Hinweise für eine hirnorganische Beeinträchtigung vorliegen. Wenn die Vorinstanz bei dieser Sachlage auf eine nachträgliche stationäre Massnahme mit der Begründung verzichtet, eine solche sei unverhältnismässig, verletzt sie <ref-law>, was zur Aufhebung des vorinstanzlichen Urteils führt.
5. Bei diesem Ausgang des Verfahrens sind die Kosten dem unterliegenden Beschwerdegegner aufzuerlegen (<ref-law>). Der obsiegenden Beschwerdeführerin ist gemäss <ref-law> keine Entschädigung zuzusprechen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutheissen, das Urteil des Obergerichtes des Kantons Zürich vom 29. Januar 2008 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 21. Oktober 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Schneider
Die Gerichtsschreiberin: Binz