Sachverhalt: A. Das Bezirksgericht Zürich (2. Abteilung) verurteilte Y._ am 12. Dezember 2006 wegen versuchter schwerer Körperverletzung und Vergehens gegen das Waffengesetz zu zwei Jahren Gefängnis. Zudem ordnete es im Sinne von Art. 43 Ziff. 1 Abs. 1 aStGB eine ambulante Massnahme während des Strafvollzugs an. B. Auf Berufung der Staatsanwaltschaft IV des Kantons Zürich bestätigte das Obergericht des Kantons Zürich, II. Strafkammer, am 29. Januar 2008 dieses Urteil im Schuld- und Strafpunkt. Es ordnete erneut eine ambulante Massnahme an. Im Übrigen stellte das Gericht unter anderem fest, dass das erstinstanzliche Urteil vom 12. Dezember 2006 hinsichtlich der Anordnung einer ambulanten Massnahme ohne Aufschub des Strafvollzugs in Rechtskraft erwachsen war. C. Mit Beschwerde in Strafsachen beantragt die Oberstaatsanwaltschaft des Kantons Zürich, das Urteil des Obergerichtes des Kantons Zürich sei aufzuheben und die Sache zur Anordnung einer stationären Massnahme zurückzuweisen. Y._ stellt in seiner Vernehmlassung den Antrag, die Beschwerde sei abzuweisen, während die Vorinstanz auf eine Stellungnahme verzichtet.