Sachverhalt:
A. Das Bezirksgericht Dielsdorf verurteilte Y._ am 8. Juli 2010 wegen sexueller Nötigung, mehrfacher Schändung und mehrfacher sexueller Handlungen mit Kindern zu einer teilbedingten Freiheitsstrafe von drei Jahren, wovon ein Jahr zu vollziehen ist. Die Strafe fällte es als Zusatzstrafe zur bedingten zehnmonatigen Gefängnisstrafe gemäss Urteil des Bezirksgerichts Dielsdorf vom 24. August 2000 aus. Zur Behandlung der psychischen Störung ordnete es eine ambulante Massnahme im Sinne von Art. 63 StGB an.
B. Y._ beantragte mit Berufung, der Strafvollzug sei zugunsten der ambulanten Massnahme im Sinne von Art. 63 StGB aufzuschieben. Die Staatsanwaltschaft verlangte mit Anschlussberufung, die Freiheitsstrafe von drei Jahren sei als vollziehbar zu erklären. Eventualiter sei eine vollzugsbegleitende ambulante Massnahme anzuordnen.
Das Obergericht des Kantons Zürich stellte mit Beschluss vom 28. Juni 2011 fest, dass das vorinstanzliche Urteil mit Ausnahme von Ziff. 4 (Anordnung einer ambulanten Massnahme) in Rechtskraft erwachsen sei. Auf die Anschlussberufung der Staatsanwaltschaft Winterthur/Unterland trat es nicht ein. Es ordnete eine vollzugsbegleitende ambulante Massnahme zur Behandlung psychischer Störungen nach Art. 63 Abs. 1 StGB an.
C. Die Oberstaatsanwaltschaft des Kantons Zürich beantragt mit Beschwerde in Strafsachen, das Urteil des Obergerichts des Kantons Zürich vom 28. Juni 2011 sei wegen Verletzung von Bundesrecht aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Erwägungen:
1. 1.1 Die Beschwerdeführerin rügt, die Vorinstanz wende § 416 Abs. 1 aStPO/ZH willkürlich an, indem sie nicht auf die Anschlussberufung eintrete. Verfahrensgegenstand des Berufungsverfahrens sei nicht nur die Anordnung der Massnahme, sondern auch der (teil-)bedingte Strafvollzug. Der Beschwerdegegner habe in seiner Berufung einen vollständigen Strafaufschub zugunsten der ambulanten Massnahme verlangt. Deshalb dürfe die Staatsanwaltschaft in der Anschlussberufung "auf das Strafmass zurückkommen" und die Verweigerung des gesetzeswidrigen teilbedingten Strafvollzugs fordern. Beide Punkte wiesen eine enge Verbindung auf.
1.2 Die Vorinstanz erwägt, Schuldspruch und Strafzumessung seien unangefochten. Die Staatsanwaltschaft habe kein selbstständiges Rechtsmittel erhoben. In der Anschlussberufung habe sie den unbedingten Strafvollzug und eventualiter eine vollzugsbegleitende ambulante Massnahme beantragt. Nach dem klaren und aktuellen Gesetzeswortlaut von § 413 aStPO sei es zulässig, im Berufungsverfahren nur die Anordnung der ambulanten Massnahme und deren Vollzugsmodalitäten anzufechten. Eine Neubeurteilung der Strafe sei damit nicht zwingend verbunden. Schiebe das Gericht den unbedingt vollziehbaren Teil der Freiheitsstrafe zugunsten der ambulanten Massnahme auf, setze dies nicht voraus, dass gleichzeitig der bedingte Vollzug für die ganze Dauer der Freiheitsstrafe verweigert werde. Es liege keine Konnexität von Haupt- und Anschlussberufung vor. Auch wenn die objektiven Bedingungen für einen teilbedingten Strafvollzug aufgrund der drei Jahre übersteigenden Gesamtstrafe fehlten und das erstinstanzliche Urteil diesbezüglich nicht den Gesetzesbestimmungen entspreche, dürfe das Obergericht die Strafzumessung nicht von Amtes wegen überprüfen. Auf die Anschlussberufung sei nicht einzutreten (angefochtenes Urteil S. 12 bis S. 16).
1.3 Nach § 413 aStPO/ZH (übergangsrechtlich anwendbar gemäss Art. 453 Abs. 1 StPO; SR 312.0) kann die Berufung beschränkt werden auf einzelne Schuldsprüche, auf die Strafzumessung, die Anordnung von Massnahmen, den Entscheid über die Zivilforderung sowie die besonderen Anordnungen (Abs. 1). Die Rechtskraft des angefochtenen Urteils wird im Umfang der Anfechtung gehemmt (Abs. 3). Die übrigen Verfahrensbeteiligten können sich der Berufung anschliessen. Sie sind dabei an die Grenzen ihrer Berufungsmacht gemäss § 411 und eine Beschränkung der Berufung gebunden (§ 416 Abs. 1 aStPO/ZH).
Das Bundesgericht prüft die Anwendung kantonalen Rechts nur unter dem Gesichtspunkt der Willkür. Art. 9 BV gewährleistet den Anspruch, von den staatlichen Organen ohne Willkür behandelt zu werden. Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 136 III 552 E. 4.2 S. 560 mit Hinweisen).
1.4 Der Gesetzeswortlaut von § 413 Abs. 1 aStPO/ZH unterscheidet zwischen der Strafzumessung und der Anordnung von Massnahmen. Auf jede dieser Fragen kann das Thema der Berufung begrenzt werden. Für die vorinstanzliche Auslegung (E. 1.2) spricht die weitgehende Unabhängigkeit von Strafen und Massnahmen. Das Strafgesetzbuch regelt die Strafen (Art. 47 ff. StGB) und Massnahmen (Art. 56 ff. StGB) in unterschiedlichen Bestimmungen, wobei beide gleichzeitig angeordnet werden können (Art. 57 Abs. 1 StGB). Im Gegensatz zur Strafe stellt die Massnahme keine Sanktion dar, weil die Behandlung und nicht ein allfällig damit verbundener Freiheitsentzug im Vordergrund steht (vgl. BGE 137 IV 201 E. 1.3 S. 204). Sie soll den physischen oder psychischen Zustand bessern, welcher zu den Delikten geführt hat (vgl. namentlich Art. 63 Abs. 1 lit. b StGB). Zu diesem Zweck kann der Strafvollzug nach Art. 63 Abs. 2 StGB zugunsten der ambulanten Behandlung aufgeschoben werden, d.h. sofern es der Massnahme dient und dadurch die Behandlung aussichtsreicher erscheint. Es handelt sich um eine von der Bestrafung unabhängige Ausgestaltung der ambulanten Massnahme.
Einer erneuten Beurteilung der Strafzumessung und des Strafvollzugs steht zudem das Verbot der reformatio in peius entgegen (NIKLAUS SCHMID, Strafprozessrecht, 4. Aufl. 2004, § 60 N. 1030 a.). Der Beschwerdegegner stellte den bedingten Teil der Freiheitsstrafe von zwei Jahren nicht in Frage, sondern verlangte bloss den Aufschub des unbedingten Strafteils zugunsten der Massnahme. Die Verweigerung des teilbedingten Strafvollzugs geht über seine Anträge hinaus und stellt eine unzulässige Verschlechterung dar.
Schliesslich dürfen die Parteien gemäss einer in der Lehre vertretenen Auffassung ausschliesslich die Frage des Strafvollzugs aufwerfen, ohne die Strafzumessung anzufechten (HAUSER/SCHWERI/HARTMANN, Schweizerisches Strafprozessrecht, 6. Aufl. 2005 N. 19 zu § 99; HANS MATHYS, Erstinstanzliches Hauptverfahren - Berufungsverfahren, in: Schweizerische Strafprozessordnung, ausgewählte Aspekte aus Zürcher Sicht, 2010, S. 138). Auch dies deutet auf eine getrennte Beurteilung von Straf- und Massnahmenvollzug hin.
Dabei ist nicht zu übersehen, dass Straf- und Massnahmenvollzug Berührungspunkte aufweisen. Bei beiden ist die Legalprognose zu prüfen. Nur bei einer ungünstigen Prognose darf eine Massnahme angeordnet werden. Somit kann eine gleichzeitig ausgefällte Strafe nicht gemäss Art. 42 f. StGB bedingt oder teilbedingt aufgeschoben werden (Urteil 6B_141/2009 vom 24. September 2009 E. 1 mit Hinweisen). Aus dieser Gemeinsamkeit lässt sich indessen nicht ableiten, dass sich ein Rechtsmittelverfahren stets auf beide Fragen beziehen müsste. Das Bundesgericht kann aufgrund der im kantonalen Recht vorgesehenen Beschränkung der Berufung die unangefochten gebliebene Anwendung von Bundesrecht nicht von Amtes wegen überprüfen. Insgesamt ist die vorinstanzliche Auslegung von § 413 i.V.m. § 416 aStPO/ZH nicht willkürlich.
1.5 Nicht einzutreten ist auf die Ausführungen der Beschwerdeführerin, soweit sie die Strafzumessung anfechten will. Diese war nicht Gegenstand der Berufung, weshalb es in diesem Punkt an einem letztinstanzlichen kantonalen Entscheid fehlt (Art. 80 Abs. 1 BGG).
2. 2.1 Die Beschwerdeführerin macht geltend, die Anordnung einer ambulanten vollzugsbegleitenden Massnahme nach Art. 63 Abs. 1 StGB verstosse gegen Bundesrecht. Das Gutachten empfehle keine neue Massnahme. Die pädophile Orientierung des Beschwerdegegners lasse sich weder durch eine medikamentöse noch durch eine psychotherapeutische Therapie ändern. Der Beschwerdegegner habe bereits eine dreijährige Therapie durchlaufen. Eine weitere Therapie mindere die Rückfallgefahr nicht. Zudem könnten die ambulante Massnahme und der teilbedingte Strafvollzug nicht gleichzeitig ausgesprochen werden.
2.2 Ist der Täter psychisch schwer gestört, so kann das Gericht anordnen, dass er nicht stationär, sondern ambulant behandelt wird, wenn er eine mit Strafe bedrohte Tat verübt hat, die mit seinem Zustand in Zusammenhang steht (Art. 63 Abs. 1 lit. a StGB) und zu erwarten ist, dadurch lasse sich der Gefahr weiterer mit dem Zustand des Täters in Zusammenhang stehender Taten begegnen (lit. b).
2.3 Eine stationäre therapeutische Massnahme kann nach der bundesgerichtlichen Rechtsprechung nur angeordnet werden, wenn im Zeitpunkt des Entscheids die hinreichende Wahrscheinlichkeit besteht, dadurch lasse sich die Gefahr weiterer Straftaten deutlich verringern. Somit reicht einerseits die bloss vage Möglichkeit einer Verringerung der Gefahr und andererseits die Erwartung einer lediglich minimalen Verringerung nicht aus. Bezogen auf den Zeitraum ist davon auszugehen, dass gemäss Art. 59 Abs. 4 Satz 1 StGB die stationäre therapeutische Massnahme in der Regel höchstens fünf Jahre beträgt. Daher muss grundsätzlich im Zeitpunkt des Entscheids die hinreichende Wahrscheinlichkeit bestehen, dass sich durch eine stationäre Behandlung über die Dauer von fünf Jahren die Gefahr weiterer mit der psychischen Störung in Zusammenhang stehender Taten deutlich verringern lässt (BGE 134 IV 315 E. 3.4.1. S. 321 f. mit Hinweis). Diese Rechtsprechung ist auf die ambulante Massnahme übertragbar (Urteil 6B_798/2010 vom 6. Januar 2011 E. 1.2.2), weil Art. 59 Abs. 1 lit. b StGB dieselbe Formulierung wie Art. 63 Abs. 1 lit. b StGB enthält.
2.4 Die Vorinstanz stützt sich auf ein Gutachten des Psychiatriezentrums Hard vom 11. Juni 2009, zwei Berichte des Amtes für Justizvollzug, Abteilung Psychiatrisch-Psychologischer Dienst (PPD) über den Therapieverlauf vom 25. September 2009 und vom 23. Juni 2011 sowie auf ein Ergänzungsgutachten vom 12. November 2009, welches sich zum ersten Therapiebericht äussert.
2.5 Unbestritten sind die psychische Störung des Beschwerdeführers im Tatzeitpunkt, der Kausalzusammenhang zwischen der Störung seiner sexuellen Präferenz und den Taten sowie die mittlere bis hohe Rückfallgefahr. Hingegen stellt sich die Frage nach der Wirksamkeit einer ambulanten Behandlung. Das erste Gutachten des Psychiatriezentrums Hard verneint die Aussicht auf eine wesentliche Minderung der Rückfallgefahr durch eine Massnahme. Eine mögliche Therapie könne die Wahrnehmung, Steuerung und Kontrolle von Affekten und Verhalten verbessern, nicht hingegen die pädophile Neigung des Beschwerdegegners. Im Ergänzungsgutachten halten die Gutachter eine ambulante Massnahme für sinnvoll, sofern das Gericht aufgrund einer inzwischen erkennbaren Bereitschaft und Einsicht des Beschwerdegegners eine solche erneute Massnahme in Betracht ziehe. Diese müsse "ihre Herausforderung und hoffentlich Wirksamkeit im alltäglichen Lebensumfeld des Beschwerdegegners finden". Hingegen sei eine stationäre Massnahme nicht indiziert.
2.6 Die Gutachter relativieren ihre erste Einschätzung im Ergänzungsgutachten. Sie befürworten eine ambulante Therapie, sofern sich die Behandlungsbereitschaft des Beschwerdegegners positiv entwickle. Diese Voraussetzung ist gegeben. Gemäss Therapiebericht des PPD vom 23. Juni 2011 ist der Beschwerdegegner bei der aktuellen Psychotherapie motiviert. Er zeigt die verlangte Offenheit bei der Bearbeitung seiner pädosexuellen Problematik. Selbst wenn ein längerer Therapiezeitraum erforderlich ist, schliessen die Gutachter nicht aus, dass eine ambulante vollzugsbegleitende Massnahme das Rückfallrisiko innert der nächsten fünf Jahre deutlich mindert. Eine Therapie unterstützen sie mit gewisser Zurückhaltung. Zwar zeitigte eine dreijährige Behandlung keinen spürbaren Erfolg. Der Beschwerdegegner, welcher sich freiwillig auf die Therapie einlässt und kooperiert, hat aber einen inneren Wandel vollzogen. Die ambulante Massnahme entspricht damit den gesetzlichen Anforderungen.
Auch wenn eine Massnahme aufgrund der damit verbundenen Schlechtprognose den teilbedingten Strafvollzug ausschliesst, bildet dessen Zulässigkeit nicht Gegenstand des Verfahrens (vgl. E. 1). Die ambulante Massnahme darf daher nicht bloss mit Hinweis auf den teilbedingten Strafvollzug verweigert werden. Die Vorinstanz verletzt kein Bundesrecht, wenn sie eine ambulante vollzugsbegleitende Massnahme nach Art. 63 Abs. 1 und Abs. 2 StGB anordnet.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Es sind keine Gerichtskosten zu erheben und keine Parteientschädigungen zuzusprechen (Art. 66 Abs. 4 und Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
3. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, II. Strafkammer, und A._, schriftlich mitgeteilt.
Lausanne, 23. Januar 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Koch