Sachverhalt:
A. Das Bezirksgericht Zürich verurteilte X._ am 19. November 2010 zu 3 Jahren Freiheitsstrafe (wovon 423 Tage durch Haft erstanden waren) und ordnete eine strafvollzugsbegleitende ambulante Behandlung im Sinne von Art. 63 StGB an.
B. Das Obergericht des Kantons Zürich fand X._ am 26. August 2011 der mehrfachen sexuellen Nötigung, der mehrfachen sexuellen Handlungen mit Kindern, der mehrfachen Pornografie, der Gewaltdarstellungen und der Tierquälerei schuldig. Es bestrafte ihn mit 3 Jahren Freiheitsstrafe (wovon 702 Tage durch Haft erstanden waren), ordnete eine stationäre therapeutische Massnahme im Sinne von Art. 59 StGB an und schob den Vollzug der Freiheitsstrafe zugunsten der Massnahme auf.
C. X._ erhebt Beschwerde in Strafsachen und beantragt, das obergerichtliche Urteil aufzuheben und die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Zudem stellt er ein Gesuch um unentgeltliche Rechtspflege.
D. Mit Präsidialverfügung vom 23. November 2011 entschied das Obergericht, dass X._ in Sicherheitshaft bleibt.
Erwägungen:
1. Seit dem 1. Januar 2011 ist die schweizerische Strafprozessordnung (StPO) in Kraft. Ist ein Entscheid vor Inkrafttreten der StPO gefällt worden, so werden Rechtsmittel dagegen nach bisherigem Recht, von den bisher zuständigen Behörden, beurteilt (Art. 453 Abs. 1 StPO). Für Rechtsmittel gegen erstinstanzliche Entscheide, die nach dem 31. Dezember 2010 gefällt werden, gilt neues Recht (Art. 454 Abs. 1 StPO). Ausschlaggebend für die Anwendbarkeit des alten oder neuen Prozessrechts ist das erstinstanzliche Entscheiddatum (BGE 137 IV 219 E. 1.1). Der erstinstanzliche Entscheid des Bezirksgerichts wurde am 19. November 2010 gefällt. Damit blieb auf das kantonale Verfahren das bisherige kantonale Recht anwendbar. Soweit sich der Beschwerdeführer auf die StPO beruft, ist auf die Beschwerde nicht einzutreten.
Die auf den 1. Januar 2005 in Kraft getretene Teilrevision der StPO/ZH vom 27. Januar 2003 beschränkt den kantonalen Rechtsmittelzug in allen Straffällen auf eine Rechtsmittelinstanz. Die Nichtigkeitsbeschwerde an das Kassationsgericht ist nur noch gegen Urteile und Erledigungsbeschlüsse des Geschworenengerichts und des Obergerichts als erster Instanz möglich. Nicht mehr möglich ist der Weiterzug an das Kassationsgericht gegen zweitinstanzliche obergerichtliche Urteile (Zirkulationsbeschluss des Kassationsgerichts des Kantons Zürich vom 15. Februar 2006 E. II). Der Beschwerdeführer kann somit das vorinstanzliche Urteil vollumfänglich mit Beschwerde in Strafsachen anfechten.
2. Der Beschwerdeführer bringt vor, es frage sich, wie die Untersuchungsbehörde auf ihn gestossen sei. Es erscheine zumindest der Verdacht als begründet, dass bewilligungspflichtige Mittel eingesetzt worden seien, ohne dass die Verteidigung diese auf ihre Rechtmässigkeit hätte überprüfen können. Die vorinstanzliche Feststellung, aus den Akten ergäben sich keinerlei Hinweise auf bewilligungspflichtige Massnahmen (angefochtenes Urteil S. 12), und damit die zumindest sinngemässe Feststellung, es seien keine bewilligungspflichtigen Mittel eingesetzt worden, seien willkürlich (Beschwerde S. 5).
Beim Vorbringen des Beschwerdeführers handelt es sich um einen rein spekulativen Einwand, eine blosse Mutmassung. Die Rüge erscheint damit als appellatorisch. Der Beschwerdeführer müsste anhand des angefochtenen Urteils und der Akten im Einzelnen darlegen, dass und inwiefern die vorinstanzliche Feststellung schlechterdings unhaltbar ist. Auf die Beschwerde ist auch nicht einzutreten, soweit der Beschwerdeführer lediglich Vorbringen im kantonalen Rechtsmittelverfahren auszugsweise dem Wortlaut des angefochtenen Urteils gegenüberstellt. Beschwerdegegenstand ist einzig das angefochtene Urteil. Es ist nicht Aufgabe des Bundesgerichts, aus dieser Gegenüberstellung Rügen abzuleiten. Willkürrügen müssen in der Beschwerdeschrift explizit vorgebracht und substanziiert begründet werden. Auf blosse appellatorische Kritik ist nicht einzutreten (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. BGE 137 IV 1 E. 4.2.3; 136 I 49 E. 1.4.1; 136 II 101 E. 3, 489 E. 2.8; 134 II 244 E. 2.2).
3. Der Beschwerdeführer macht geltend, auf seinem Computer seien Hunderte von Bildern und Clips gefunden worden, wobei bis heute nicht klar sei, welche Bilder pornografisch seien. Die Anklage müsste in Ziff. 4 umschreiben, welche Bilder pornografisch seien und welche er dem Geschädigten gezeigt haben solle. Die Vorinstanz wende § 162 StPO/ZH willkürlich an (Beschwerde S. 6). Auch könnten weder in Ziff. 1 der Anklage noch in den Akten konkrete Anhaltspunkte für ein irgendwie nötigendes Verhalten gefunden werden. Die vorinstanzliche Feststellung sei nicht nachvollziehbar (Beschwerde S. 7).
Die Vorinstanz hält fest, aus Ziff. 4 der Anklage gehe in genügend deutlicher Form hervor, welcher Sachverhalt dem Beschwerdeführer vorgeworfen werde. Die Aufzählung jedes pornografischen Bildes sei nicht nötig. In Ziff. 1 der Anklage werde nicht behauptet, der Beschwerdeführer habe den Geschädigten genötigt, sich ans Bett fesseln zu lassen. Die Nötigung liege nach der Anklage darin, dass der Geschädigte in gefesseltem Zustand sexuelle Handlungen über sich habe ergehen lassen müssen (angefochtenes Urteil S. 13).
Diese Würdigung ist nicht zu beanstanden. In Ziff. 1 der Anklage wird betreffend "mehrfache sexuelle Nötigung/sexuelle Handlungen mit Kindern" auch das nötigende Verhalten ausdrücklich umschrieben. Es wird u.a. ausgeführt, beim "Landkartenspiel" im Frühjahr 2009 habe der Beschwerdeführer mit seiner Hand für mehrere Sekunden auf dem Geschlechtsteil des Geschädigten (geb. 1994) über den Kleidern verharrt. Bei einem anderen Mal habe er dessen Geschlechtsteil aus den Hosen genommen, es für mehrere Sekunden berührt und es frottiert. "Aufgrund der Fesselung konnte sich der Geschädigte nicht gegen das Handeln des Angeklagten, mit welchem er nicht einverstanden war und auch nicht rechnete, wehren, was der Angeklagte wusste und wollte bzw. zumindest billigend in Kauf nahm" (Anklageschrift im bezirksgerichtlichen Urteil). Das nötigende Verhalten ergibt sich aus den Aussagen des Geschädigten in den Akten (angefochtenes Urteil S. 18 ff. mit Verweisung auf das bezirksgerichtliche Urteil S. 6 ff.).
In Ziff. 4 der Anklageschrift wird dem Beschwerdeführer u.a. vorgeworfen, er habe dem Geschädigten auf seinem Computer diverse pornografische Bilder und Clips gezeigt, auf welchen sexuelle Handlungen zwischen Mann und Frau, zwischen jungen Männern und sexuelle Handlungen zwischen Menschen und Tieren zu sehen waren. In Ziff. 2 der Anklage wird zudem ausgeführt, der Beschwerdeführer habe mindestens 133 Bilder mit kinderpornografischem bzw. tierpornografischem Inhalt und einen Film mit sexuellen Handlungen zwischen einem Hund und einer weiblichen Person gespeichert. Diese Dateien werden in der Anklageschrift bezeichnet (ferner die Aussagen des Geschädigten, der sich insbesondere an die Bilder mit der Schlange und mit dem Hund erinnerte; angefochtenes Urteil S. 26 f. mit Verweisung auf das bezirksgerichtliche Urteil S. 24 ff.). Auch in diesem Anklagepunkt waren der Prozessgegenstand eindeutig bestimmt und die Vorwürfe im Sachverhalt genügend präzise umschrieben und konkretisiert (vgl. BGE 126 I 19 E. 2a). Willkür ist nicht ersichtlich.
4. Der Beschwerdeführer rügt die vorinstanzliche Würdigung des Gutachtens vom 23. Juli 2010 als willkürlich. Erstens stehe nicht fest, ob drei oder vier oder allenfalls gar weniger Explorationsgespräche stattgefunden hätten. Zweitens sei es nicht unerheblich, dass der in Deutschland erworbene Facharzttitel des Gutachters erst am 3. August 2010 in der Schweiz anerkannt worden sei. Drittens sei das Gutachten bezüglich einer stationären therapeutischen Massnahme zumindest widersprüchlich (Beschwerde S. 9 f.).
Die Vorinstanz bezeichnet die Angabe von vier Explorationen an einer Stelle des Gutachtens als Versehen. Willkür legt der Beschwerdeführer nicht dar.
Weiter zeigt der Beschwerdeführer nicht auf, mit welcher Rechtsnorm die Beauftragung des Gutachters in unvereinbarem Widerspruch stehen sollte. Das Gericht stützt sich auf "eine sachverständige Begutachtung" (Art. 56 Abs. 3 StGB). Nach der Botschaft des Bundesrats vom 21. September 1998 zur Änderung des Schweizerischen Strafgesetzbuches wurde die Person des Gutachters nicht näher bestimmt. Angesichts der hohen Anforderungen, die ein Gutachten erfüllen muss, wird dieses jedoch in aller Regel von einem Psychiater erstellt werden müssen (BBl 1999 2072). Gemäss Bundesrecht ist entscheidend, dass der Gutachter über die notwendige fachliche Qualifikation verfügt. Die Kantone sind im Rahmen des Bundesrechts befugt, Anforderungen festzulegen (ausführlich Urteil 2C_121/2011 vom 9. August 2011 E. 4.4 mit Hinweisen). Die Zürcher Verordnung über psychiatrische und psychologische Gutachten in Straf- und Zivilverfahren vom 1./8. September 2010 (PPGV) wurde erst am 17. September 2010 im Amtsblatt des Kantons Zürich veröffentlicht. Gemäss § 17 PPGV können Aufträge ausnahmsweise an nicht im Sachverständigenverzeichnis eingetragene Personen erteilt werden (Urteil 2C_121/2011, a.a.O., Bst. A). Dass der Gutachter nicht über die notwendige fachliche Qualifikation verfügt hätte, legt der Beschwerdeführer nicht dar. Die Rüge ist unbegründet.
Für die Anordnung der stationären therapeutischen Massnahme stützt sich die Vorinstanz nicht nur auf das Gutachten, sondern zusätzlich auf die Erläuterungen des Gutachters vom 24. August 2010 (angefochtenes Urteil S. 37 ff. bzw. S. 39 f.). Wie der Beschwerdeführer vorbringt, war der Facharzttitel seit dem 3. August 2010 in der Schweiz auch formell anerkannt. Im Übrigen kann auf das angefochtene Urteil S. 40 ff. verwiesen werden. Die Beurteilung ist nicht willkürlich.
5. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege ist wegen Aussichtslosigkeit der Rechtsbegehren abzuweisen (Art. 64 BGG). Der finanziellen Lage des Beschwerdeführers (angefochtenes Urteil S. 44) ist mit herabgesetzten Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 und Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 18. April 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Briw