Sachverhalt:
A. Das Bezirksgericht Zürich verurteilte X._ am 23. November 2009 wegen Freiheitsberaubung, mehrfacher Drohung, mehrfacher Nötigung und teilweise Versuchs dazu, Tätlichkeit sowie Sachbeschädigung zu einer unbedingten Freiheitsstrafe von 20 Monaten und Fr. 100.-- Busse. Zudem ordnete es eine ambulante Behandlung im Sinne von Art. 63 StGB an.
Auf Berufung der Staatsanwaltschaft des Kantons Zürich und des Verurteilten bestätigte das Obergericht des Kantons Zürich am 24. Juni 2010 die erstinstanzlichen Schuldsprüche. Doch setzte es die unbedingte Freiheitsstrafe auf zwei Jahre fest und ordnete eine stationäre Behandlung im Sinne von Art. 59 Abs. 3 StGB an.
B. X._ führt Beschwerde in Strafsachen und beantragt, der angefochtene Entscheid sei aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Erwägungen:
1. Der Beschwerdeführer beanstandet, die Vorinstanz habe Art. 59 Abs. 3 StGB verletzt:
1.1 Der Gutachter erachte eine vollzugsbegleitende ambulante Massnahme als ausreichend. Eine stationäre Massnahme begründe er lediglich mit einem möglicherweise zu früh beendeten Strafvollzug. Damit führe die psychiatrische Massnahme quasi zur Verlängerung der Strafe, was unzulässig sei. Gesetzlich sei nur vorgesehen, die Strafe aus psychiatrischen Gründen zugunsten der ambulanten Massnahme aufzuschieben, nicht jedoch das Gegenteil.
Mit dieser Argumentation übergeht der Beschwerdeführer, dass der Gutachter eine ambulante Massnahme nur empfiehlt, wenn sie vollzugsbegleitend in geschütztem bzw. geschlossenem Rahmen bei gleichzeitiger einzel- und gruppentherapeutischer Behandlung durchgeführt wird und mindestens zwei Jahre dauert ("... die Durchführung in einer psychiatrischen Klinik [sei] nicht erforderlich bzw. sogar den therapeutischen Möglichkeiten der Strafanstalt Pöschwies oder grösserer Massnahmevollzugseinrichtungen unterlegen", Gutachten S. 47). Sonst sei eine stationäre Massnahme anzuordnen.
Damit bringt der Gutachter deutlich zum Ausdruck, dass die Massnahme aus psychiatrischen Gründen in einem geschlossenen Rahmen zu vollziehen ist. Insofern ist der angefochtene Entscheid nicht zu beanstanden. Dass es allenfalls wünschenswert gewesen wäre, sofort mit der Massnahme zu beginnen (Beschwerdeschrift S. 5 ff. lit. B), ist vorliegend nicht zu beurteilen.
1.2 Der Beschwerdeführer zitiert den Gutachter, wonach dieser den Vorteil der stationären Massnahme im höheren Grad der milieutherapeutischen Einflüsse sehe, welche sich auf die Sozialkompetenz günstig auswirken würden. Damit werde die stationäre Massnahme nicht wie vom Gesetz gefordert mit der Gefährlichkeit des Täters begründet, sondern mit therapeutischen Einflüssen.
Die Rüge ist unbegründet. Der Gutachter befürwortet nämlich die stationäre Massnahme insbesondere mit der konkreten Gefährdung des Opfers ("Die längerfristige Behandlungsdauer im geschützten Rahmen ist auch notwendig, um die Desaktualisierung des für den Angeschuldigten weiter zentralen Beziehungskonflikts zu ermöglichen", Gutachten S. 44 unten).
1.3 Der Beschwerdeführer zitiert Marianne Heer (Basler Kommentar, Strafrecht I, Art. 59 N. 54), wonach die Anordnung einer stationären Massnahme unzulässig sei, wenn die Ursache für die Tat die Beziehung zum Opfer gewesen sei. Dies sei hier der Fall.
Das Zitat verweist auf Schönke/Schröder/Stree/Kinzig (Strafgesetzbuch, Kommentar, 28. Auflage, München 2010, § 63 N. 16). Diese beziehen sich auf einen Fall des deutschen Bundesgerichtshofs betreffend Körperverletzung mit Todesfolge, in welchem ein neuerlicher Konflikt zwischen Täter und (totem) Opfer nicht mehr denkbar war (Monatsschrift für Deutsches Recht, 1994, S. 433). Dieser Fall ist nicht vergleichbar mit der Situation des Beschwerdeführers, der mit dem Opfer - seiner Ex-Freundin - noch während Jahren bis zur Volljährigkeit der gemeinsamen Kinder Kontakt haben wird. Die Rüge ist unbegründet.
1.4 Der Beschwerdeführer beanstandet die vorinstanzliche Feststellung als willkürlich und aktenwidrig, auch ausserhalb des Beziehungskonflikts mit seiner Ex-Freundin sei mit einer reduzierten Rückfallgefahr zu rechnen. Weder in seiner Vorgeschichte noch im Gutachten gebe es Indizien oder Vorfälle, die eine solche Schlussfolgerung zulassen würden.
Der Gutachter diagnostizierte beim Beschwerdeführer nebst pathologischem Glücksspiel eine kombinierte Persönlichkeitsstörung mit emotionalen, impulsiven und dissozial-psychopathischen Zügen. Aufgrund der eingeschränkten Beziehungsfähigkeit bzw. des aggressiv gefärbten, dominanten Interaktionsmusters sei auch beim Eingehen neuer sozialer Interaktionen insbesondere gegenüber Frauen bzw. bei neuen Beziehungen mit einer, zwar möglicherweise abgeschwächten, jedoch vom Charakter prinzipiell ähnlichen Beziehungsproblematik auszugehen (Gutachten S. 39 unten/44 oben).
Bei einer solchen Persönlichkeitsstruktur ist nachvollziehbar, dass das Eingehen einer neuen Beziehung entsprechend konfliktträchtig sein wird. Da der Beschwerdeführer die Beschreibung seiner Persönlichkeit durch den Gutachter nicht in Frage stellt, ist der Vorwurf der Aktenwidrigkeit offensichtlich unbegründet.
1.5 Der Beschwerdeführer rügt, die Anordnung einer stationären Massnahme sei nicht mehr zulässig, weil er die ausgefällte Freiheitsstrafe beinahe verbüsst und die empfohlene Dauer der stationären Massnahme beinahe erstanden habe.
Gegen welche gesetzliche Bestimmung die vorinstanzliche Anordnung verstossen sollte, legt der Beschwerdeführer nicht dar und ist auch nicht ersichtlich. Art. 59 StGB ist jedenfalls nicht verletzt, beträgt doch der mit der stationären Behandlung verbundene Freiheitsentzug in der Regel höchstens fünf Jahre (Abs. 4).
1.6 Der Beschwerdeführer macht geltend, eine ambulante Massnahme, allenfalls verbunden mit Weisungen und Bewährungshilfen, könne einen erneuten sozialen Konflikt zwischen ihm und der Geschädigten vermeiden. Dies zeige bereits die frühere ambulante Behandlung.
Die Vorinstanz führt zu diesem Punkt aus, der Gutachter habe schlüssig und dezidiert dargelegt, es sei unabdingbar, dass der Beschwerdeführer während längerer Zeit in einem geschützten bzw. geschlossenen Rahmen zu therapieren sei. Es habe sich zudem in der Vergangenheit gezeigt, dass eine bloss ambulante Behandlung keine nachhaltige Besserung habe bewirken können. Nach mehr als dreijähriger ambulanter Behandlung sei er einschlägig rückfällig geworden. Heute gehe auch der damalige Therapeut davon aus, dass der Beschwerdeführer es alleine nicht schaffen und sich offenbar auch in Krisensituationen nicht bei einem Therapeuten melden werde. Der Beschwerdeführer habe zwar deponiert, dass er sich mittlerweile von der Geschädigten habe lösen können. Aufgrund ihrer gemeinsamen Kinder werde er mit der Geschädigten jedoch früher oder später wieder in Verbindung treten müssen. Ohne entsprechende Therapie sei die Gefahr gross, dass es dann wieder zu ähnlichen Taten komme. Dieselben Befürchtungen sehe der Gutachter auch im Rahmen des Aufbaus von neuen Beziehungen (angefochtener Entscheid S. 20 f. Ziff. 4.3.2).
Was der Beschwerdeführer dagegen vorbringt, rechtfertigt keine abweichende Beurteilung.
1.7 Gleich verhält es sich mit den Vorbringen des Beschwerdeführers zur Gefährlichkeit. Entgegen seiner Behauptung begründet der Gutachter die stationäre Massnahme nicht einzig mit der Gefahr von künftigen Drohungen, sondern auch mit der Gefahr von Freiheitsberaubungen. Wenn der Beschwerdeführer bloss Drohungen erwähnt, blendet er damit aus, dass er der Geschädigten unter anderem mit Mord und grausamen Verstümmelungen drohte und damit massivste Drohungen ausstiess.
1.8 Die vorinstanzliche Anordnung einer stationären Massnahme verstösst nicht gegen Bundesrecht.
2. Die Beschwerde ist abzuweisen.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Da seine Begehren von vornherein aussichtslos erschienen, ist das Gesuch abzuweisen (Art. 64 Abs. 1 BGG). Folglich wird er kostenpflichtig (Art. 66 Abs. 1 BGG). Bei der Bemessung der Kosten ist jedoch seinen finanziellen Verhältnissen Rechnung zu tragen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, I. Strafkammer, und A._ schriftlich mitgeteilt.
Lausanne, 22. Dezember 2010
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre Borner