Sachverhalt:
A. A.a Das Obergericht des Kantons Schaffhausen sprach X._ am 15. November 2010 zweitinstanzlich schuldig unter anderem der Schändung, der einfachen Körperverletzung, des Diebstahls, des Betrugs, der mehrfachen sexuellen Handlungen mit Kindern, der mehrfachen sexuellen Handlungen mit einem Abhängigen, der Pornografie, des Erleichterns des rechtswidrigen Aufenthalts, der einfachen Verkehrsregelverletzung sowie der mehrfachen Widerhandlung gegen das Betäubungsmittelgesetz. Es widerrief den mit Urteil des Obergerichts des Kantons Schaffhausen vom 20. Februar 2009 für eine Freiheitsstrafe von 12 Monaten gewährten bedingten Vollzug (u.a. wegen mehrfacher sexueller Handlungen mit einem Kind) und erklärte diese Strafe für vollziehbar. Es widerrief ebenfalls den mit Urteil des Obergerichts des Kantons Schaffhausen vom 16. November 2007 für eine Geldstrafe von 15 Tagessätzen zu Fr. 70.-- gewährten bedingten Vollzug und änderte die Strafe in eine Freiheitsstrafe. Für die neue und die widerrufene Strafe gemäss Urteil vom 16. November 2007 sprach das Obergericht eine Gesamtstrafe von 30 Monaten Freiheitsstrafe (unter Anrechnung der Untersuchungshaft) und eine Busse von Fr. 2'000.-- aus, teilweise als Zusatzstrafe zu verschiedenen Strafentscheiden. Das Obergericht ordnete eine stationäre therapeutische Massnahme an. Den Vollzug der Freiheitsstrafe schob es zu Gunsten der Massnahme auf. Die an A.Y._ zu zahlende Zivilforderung setzte es auf Fr. 10'000.-- und die für B.Y._ auf Fr. 9'000.-- fest.
A.b Die dagegen eingereichte Beschwerde X._s hiess das Bundesgericht am 20. Juni 2011 in Bezug auf die Verurteilung wegen Art. 23 Abs. 2 ANAG und die Strafzumessung teilweise gut. Es hob das obergerichtliche Urteil vom 15. November 2010 im Sinne der Erwägungen auf und wies die Sache zu neuer Entscheidung an die Vorinstanz zurück. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat (Urteil 6B_151/2011 vom 20. Juni 2011).
A.c Am 22. August 2011 reichte X._ dem Obergericht des Kantons Schaffhausen ein Schreiben von B.Y._ ein, worin dieser seine früheren Aussagen betreffend die Anklagepunkte der Schändung und der sexuellen Handlungen mit Minderjährigen teilweise zurückzog. X._ beantragte, es sei dieses Schreiben als neues Beweismittel im Sinne eines Revisionsgrunds zu berücksichtigen, und er sei vom Vorwurf der Schändung und der sexuellen Handlungen mit einem Kind freizusprechen.
Mit Eingabe vom 31. August 2011 erklärte B.Y._, das am 22. August 2011 eingereichte Schreiben sei von X._ aufgesetzt worden. Die Erklärung entspreche nicht der Wahrheit. Er halte an seinen ursprünglichen Aussagen fest.
Am 27. September 2011 führte das Obergericht des Kantons Schaffhausen eine Beweisergänzungsverhandlung durch mit Befragungen von B.Y._ und X._. Am 21. und 31. Oktober bzw. am 7. November 2011 reichten die Parteien ihre Beweiswürdigungen hierzu ein. Das Obergericht stellte den Parteien diese Eingaben am 18. November 2011 zu mit dem Hinweis, ein weiterer Schriftenwechsel sei nicht vorgesehen. Der Rechtsvertreter X._s ersuchte mit Schreiben vom 22. November 2012 um Ansetzung einer Frist zur Stellungnahme zu den Beweiswürdigungen der Gegenparteien. Das Obergericht des Kantons Schaffhausen wies in seinem vom 25. November 2011 datierten und gleichentags versandten Antwortschreiben darauf hin, erneute Stellungnahmen seien grundsätzlich nicht erforderlich.
A.d Mit Urteil vom 9. Dezember 2011 wies das Obergericht des Kantons Schaffhausen die Berufung von X._ sowie das sinngemäss gestellte Revisionsbegehren ab. Entsprechend dem bundesgerichtlichen Rückweisungsurteil vom 20. Juni 2011 sprach es X._ vom Vorwurf des Erleichterns des rechtswidrigen Aufenthalts gemäss Art. 23 Abs. 2 ANAG frei. Im Übrigen erklärte es ihn wiederum derselben Delikte schuldig. Es widerrief den mit Urteil des Obergerichts des Kantons Schaffhausen vom 20. Februar 2009 für eine Freiheitsstrafe von 12 Monaten gewährten bedingten Vollzug (u.a. wegen mehrfacher sexueller Handlungen mit einem Kind) und erklärte die Strafe für vollziehbar. Zudem widerrief es den mit Urteil des Obergerichts des Kantons Schaffhausen vom 16. November 2007 für eine Geldstrafe von 15 Tagessätzen zu Fr. 70.-- gewährten bedingten Vollzug und änderte die Strafe in eine Freiheitsstrafe. Für die neue und die widerrufene Strafe gemäss Urteil vom 16. November 2007 fällte das Obergericht eine Gesamtstrafe von 28 Monaten Freiheitsstrafe (unter Anrechnung der Untersuchungshaft) und eine Busse von Fr. 2'000.-- aus, teilweise als Zusatzstrafe zum Urteil des Obergerichts des Kantons Schaffhausen vom 20. Februar 2009.
B. X._ erhebt Beschwerde in Strafsachen. Nebst diversen reformatorischen Rechtsbegehren beantragt er, das Urteil vom 9. Dezember 2011 aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
C. Das Obergericht und die Staatsanwaltschaft des Kantons Schaffhausen verzichten auf Vernehmlassung, wobei die Staatsanwaltschaft um Abweisung der Beschwerde ersucht. B.Y._ und A.Y._ beantragen, das obergerichtliche Urteil sei in den beiden Anklagepunkten der Schändung und der sexuellen Handlungen mit einem Kind zu bestätigen. Im Übrigen sei die Beschwerde in Bezug auf ihre Zivilforderungen abzuweisen, soweit darauf überhaupt einzutreten sei.
Erwägungen:
1. Der Beschwerdeführer macht eine Verletzung des rechtlichen Gehörs gemäss Art. 6 Ziff. 1 EMRK und Art. 29 Abs. 2 BV geltend. Er rügt eine Verweigerung des Rechts auf Stellungnahme resp. Replik zu den Beweiswürdigungseingaben der Gegenparteien vom 21. und 31. Oktober 2011. Die Vorinstanz habe den Schriftenwechsel am 18. November 2011 geschlossen und auf den Antrag der amtlichen Verteidigung, zu den Beweiswürdigungen innert anzusetzender Frist Stellung nehmen zu wollen, nicht mehr reagiert (Beschwerde, S. 12-14; insbesondere Ziff. 23 ff. und Ziff. 26).
1.1 Gemäss Art. 29 Abs. 2 BV und Art. 6 Ziff. 1 EMRK haben die Parteien eines Gerichtsverfahrens Anspruch auf rechtliches Gehör. Diese Garantie umfasst auch das Recht, von den beim Gericht eingereichten Stellungnahmen Kenntnis zu erhalten und sich dazu äussern zu können (BGE 133 I 98 E. 2.1 S. 99). Die Wahrnehmung des Replikrechts setzt voraus, dass die fragliche Eingabe der Partei zugestellt wird. Das Bundesgericht hat wiederholt festgehalten, dass den Verfahrensbeteiligten ein Anspruch auf Zustellung von Vernehmlassungen zusteht, unabhängig davon, ob diese Eingaben neue und erhebliche Gesichtspunkte enthalten. Das Gericht muss vor Ausfällung seines Urteils eingegangene Vernehmlassungen den Beteiligten zustellen, damit diese sich darüber schlüssig werden können, ob sie sich dazu äussern wollen oder nicht (BGE 137 I 195 E. 2.3.1 S. 197; 133 I 100 E. 4.5 S. 103 f. mit Hinweisen; 133 I 98 E. 2.2 S. 99; 138 I 154 E. 2.3.3; vgl. auch die Urteile des Europäischen Gerichtshofes für Menschenrechte Schaller-Bossert gegen Schweiz vom 28. Oktober 2010 § 39 f. und Nideröst-Huber gegen Schweiz vom 18. Februar 1997, Recueil CourEDH 1997-I S. 101 § 24).
1.2 Die Parteien haben ihre Standpunkte zu der vom Beschwerdeführer aufgesetzten Erklärung des Opfers in Bezug auf dessen frühere Aussagen zum sexuellen Missbrauch schriftlich dargelegt (kantonale Akten, act. 706 ff. sowie act. 711 ff). Die Vorinstanz hat daraufhin auf den 27. September 2011 eine Revisions- bzw. Beweisergänzungsverhandlung anberaumt, anlässlich welcher der Beschwerdeführer und das Opfer eingehend befragt wurden. Zusätzlich ordnete sie eine Auswertung des SMS-Verkehrs zwischen den Betroffenen an (kantonale Akten, act. 737-764). Am 11. Oktober 2011 gab die Vorinstanz den Parteien die Möglichkeit zur schriftlichen Beweiswürdigung (kantonale Akten, act. 799). Sie machten hievon Gebrauch (kantonale Akten, act. 820 ff.; act. 823 ff.; act. 831 ff.). Am 18. November 2011 stellte die Vorinstanz dem Beschwerdeführer die Beweiswürdigungen der Gegenparteien zu. Sie wies in ihrem Begleitschreiben darauf hin, dass ein weiterer Schriftenwechsel nicht vorgesehen sei und das Strafurteil in Kürze ergehe. Der Beschwerdeführer beantragte der Vorinstanz am 22. November 2011, es sei ihm Frist zur Stellungnahme zu den Eingaben der Gegenparteien anzusetzen. Die Vorinstanz reagierte darauf - entgegen der insoweit aktenwidrigen Behauptung in der Beschwerde - mit Schreiben vom 25. November 2011. Sie führte im Wesentlichen aus, die Parteien hätten sich zur Sache bereits ausführlich äussern können. Ihre letzten Eingaben seien allesamt Beweiswürdigungsschriften und enthielten keine neue Vorbringen. Zusätzliche Stellungnahmen schienen daher grundsätzlich nicht erforderlich.
1.3 Mit ihrem Schreiben vom 25. November 2011 relativierte die Vorinstanz ihre ursprünglichen Ausführungen vom 18. November 2011, wonach ein weiterer Schriftenwechsel nicht vorgesehen sei. Sie präzisierte, zusätzliche Stellungnahmen seien mangels neuer Vorbringen grundsätzlich nicht erforderlich. Damit brachte sie zum Ausdruck, dass ein zusätzlicher Schriftenwechsel aus ihrer Sicht zwar nicht mehr erforderlich, grundsätzlich aber nicht ausgeschlossen sei und es damit am Beschwerdeführer liege, ob er zu den Eingaben der Gegenparteien Stellung nehmen wolle. Dass die Vorinstanz hievon ausging, zeigt sich auch im Umstand, dass sie nach ihrem vom 25. November 2011 datierten und gleichentags mit A-Post versandten Schreiben nicht sogleich in der Sache entschied, sondern zuwartete und ihr Urteil erst am 9. Dezember 2011 respektive rund 14 Tage nach Zusendung ihres Antwortschreibens vom 25. November 2011 bzw. erst rund 20 Tage nach ihrem ersten Schreiben vom 18. November 2011 an den Rechtsvertreter des Beschwerdeführers fällte.
Der Beschwerdeführer hätte mithin - auch ohne förmliche Einladung zur Stellungnahme und ohne Fristansetzung - die Möglichkeit gehabt, sich innert angemessener Zeit spontan zu den Eingaben der Gegenparteien vernehmen zu lassen (BGE 133 I 98 E. 2.2; siehe auch André Moser, Michael Beusch, Lorenz Kneubühler, Prozessieren vor dem Bundesverwaltungsgericht, Basel 2008, S. 128 f., Rz 3.49). Das gilt umso mehr, als der Rechtsvertreter des Beschwerdeführers mit der Rechtsprechung des EGMR und des Bundesgerichts zum Recht auf Stellungnahme und Replik vertraut ist, was sich ohne weiteres aus der bei den Akten liegenden einschlägigen Korrespondenz zwischen Rechtsvertreter und Vorinstanz ergibt. Dieses Wissen des Rechtsvertreters muss sich der Beschwerdeführer anrechnen lassen. Ermöglichte die Vorinstanz diesem aber grundsätzlich, sich zu den Eingaben der Gegenparteien innert angemessener Zeit zu äussern, und wusste der anwaltlich vertretene Beschwerdeführer um diese Möglichkeit, erweisen sich das Recht auf Stellungnahme/Replik und der Anspruch auf rechtliches Gehör nicht als verletzt.
1.4 Die Beschwerde erweist sich in diesem Punkt als unbegründet.
2. Der Beschwerdeführer rügt, die Strafzumessung sei willkürlich und verletze Art. 47, 49 und 50 StGB. Dem angefochtenen Entscheid lasse sich nicht entnehmen, von welcher Einsatzstrafe die Vorinstanz (für das Delikt der Schändung) ausgehe, und wie sie zur hypothetischen Gesamtstrafe von 3 1⁄4 Jahren bzw. 39 Monate gelange. Insbesondere sei auch die Anwendung des Asperationsprinzips nicht nachvollziehbar (Beschwerde, S. 5 ff.).
2.1 Die Vorinstanz legt in ihrem Urteil die Grundsätze der Strafzumessung dar (Entscheid, S. 49). Darauf kann verwiesen werden.
Die Einsatzstrafe ist die Strafe für die schwerste Tat, die nach dem Asperationsprinzip zu erhöhen ist (Art. 68 Ziff. 1 aStGB bzw. Art. 49 Abs. 1 StGB; vgl. BGE 132 IV 102 E. 8.1). Bei der Strafzumessung im Rahmen der retrospektiven Konkurrenz (Art. 68 Ziff. 2 aStGB bzw. Art. 49 Abs. 2 StGB) hat das Gericht mittels Zahlenangaben offenzulegen, wie sich die von ihm zugemessene Strafe quotenmässig zusammensetzt (BGE 132 IV 102 E. 8.3 mit Hinweisen). Die Festsetzung einer zahlenmässigen Einsatzstrafe bei der Bildung der Gesamtstrafe in Anwendung von Art. 49 Abs. 1 StGB ist demgegenüber nicht unter allen Umständen zwingend, doch lässt sich die Gesamtstrafe damit besser nachvollziehen. Ausgehend von der hypothetischen Gesamtbewertung bemisst das Gericht anschliessend unter Beachtung der rechtskräftigen Grundstrafe die Zusatzstrafe. Die Zusatzstrafe ist die Differenz zwischen der hypothetischen Gesamtstrafe und der Grundstrafe (BGE 132 IV 102 E. 8.3).
2.1.1 Das Obergericht des Kantons Schaffhausen sprach den Beschwerdeführer am 20. Februar 2009 u.a. der mehrfachen sexuellen Handlungen mit einem Kind schuldig. Es erachtete das Verschulden des Beschwerdeführers insbesondere hinsichtlich der sexuellen Handlungen (achtmaliger Geschlechtsverkehr) mit einer 141⁄2-jährigen "Prostituierten" als nicht mehr leicht. Das Gericht berücksichtigte, dass die Schuldfähigkeit des Beschwerdeführers leicht bis mittelgradig eingeschränkt war. Die einschlägigen Vorstrafen stellte es straferhöhend in Rechnung. Es sprach eine zwölfmonatige Freiheitsstrafe aus.
2.1.2 Der Beschwerdeführer hat die vorliegend zu beurteilenden Taten teils vor und teils nach der Ausfällung des Urteils vom 20. Februar 2009 verübt. Vor diesem Zeitpunkt beging er namentlich die Schändung, mehrfache sexuelle Handlungen mit Kindern, sexuelle Handlungen mit einem Abhängigen, Pornografie sowie Betrug und Diebstahl. Nach der Verurteilung vom 20. Februar 2009 machte er sich insbesondere der einfachen Körperverletzung schuldig (Entscheid, S. 51). Die Vorinstanz erwägt zutreffend, dass die mit Zusatzstrafe zum Urteil vom 20. Februar 2009 zu ahnenden Delikte erheblich schwerer wiegen als die nach Ausfällung jenes Entscheids verübten Straftaten (vgl. Entscheid, S. 51).
2.1.3 Bei der Bemessung der Strafe geht die Vorinstanz von der auf Freiheitsstrafe bis zu zehn Jahren oder Geldstrafe lautenden Strafdrohung des Tatbestands der Schändung aus. Das Tatverschulden beurteilt sie insgesamt als schwer, insbesondere auch für die mehrfachen sexuellen Handlungen mit einem Abhängigen (B.Y._), die mehrfachen sexuellen Handlungen mit der im Tatzeitpunkt noch nicht zwölfjährigen A.Y._ und die Straftat der Kinderpornografie. Teilweise erheblich straferhöhend berücksichtigt sie die Deliktsmehrheit, die mehrfache Tatbegehung, die Beeinträchtigung hoher Rechtsgüter, die zahlreichen und teilweise einschlägigen Vorstrafen, die Delinquenz während der Probezeit und während laufender Untersuchungs- und Gerichtsverfahren sowie die Rücksichtslosigkeit des Beschwerdeführers. Die Vorinstanz hält eine Strafe im oberen Bereich des Strafrahmens für angemessen. Aufgrund der leichten bis mittleren Verminderung der Zurechnungsfähigkeit setzt sie das schwere Tatverschulden auf ein mittelschweres Verschulden herab und siedelt die Strafe im mittleren Bereich des Strafrahmens an. Strafmindernd berücksichtigt sie die teilweise Geständigkeit des Beschwerdeführers. Die Vorinstanz gelangt im Ergebnis zu einer hypothetischen Gesamtstrafe von 3 1⁄4 Jahren. Abzüglich der bereits ausgefällten Gefängnisstrafe von 12 Monaten gemäss Urteil vom 20. Februar 2009 (Grundstrafe) verbleibt eine Zusatzstrafe von 27 Monaten (Entscheid, S. 52-55).
Die einfache Körperverletzung, welche der Beschwerdeführer nach der Verurteilung vom 20. Februar 2009 verübte, veranschlagt die Vorinstanz unter Würdigung sämtlicher Tat- und Täterkomponenten mit einer Freiheitsstrafe von 30 Tagen. Sie reduziert diese Strafe auf 15 Tage, weil eine angemessene Erhöhung der Zusatzstrafe vorzunehmen sei und diese Erhöhung geringer ausfallen müsse als bei einer selbstständigen Beurteilung. Die Vorinstanz erachtet daher eine Freiheitsstrafe von insgesamt 27 1⁄2 Monaten als angemessen (Entscheid, S. 55).
2.2 Die Vorinstanz qualifiziert die Schändung zutreffend als schwerste Tat. Sie benennt zahlenmässig jedoch keine Einsatzstrafe. Aufgrund ihrer Erwägungen zur Strafzumessung lässt sich die Bemessung der Einsatzstrafe dennoch hinreichend nachvollziehen. Mit der Festsetzung einer Gesamtstrafe für sämtliche Delikte bei schwerem Verschulden im oberen Bereich des Strafrahmens und einer solchen im mittleren Bereich bei herabgesetztem Verschulden bringt die Vorinstanz zum Ausdruck, dass sie bei unbeeinträchtigter Schuldfähigkeit des Beschwerdeführers für die Schändung allein eine Einsatzstrafe von mehreren Jahren und bei verminderter Fähigkeit eine solche in der Grössenordnung von zwei Jahren ausgesprochen hätte. Dieses Strafmass korrespondiert denn auch mit demjenigen im (aufgehobenen) Urteil vom 15. November 2010. Die Vorinstanz ging bereits damals - und zwar explizit - von einer Einsatzstrafe für die Schändung von 24 Monaten aus. Aufgrund der vorinstanzlichen Strafzumessungserwägungen lassen sich auch die Anwendung des Asperationsprinzips gemäss Art. 49 StGB und die Bildung der Gesamtstrafe nachvollziehen. Die Vorinstanz zeigt im angefochtenen Entscheid die wesentlichen Tat- und Täterkomponenten auf. Sie begründet hinreichend, wie sie die einzelnen Strafzumessungsfaktoren gewichtet und gibt an, in welchem Umfang sie diese straferhöhend bzw. strafmindernd berücksichtigt. Damit legt sie insgesamt nachprüfbar dar, wie sie zur Gesamtstrafe für die früheren und die neuen Taten von 3 1⁄4 Jahren gelangt. Anhaltspunkte dafür, dass die Vorinstanz die Taten, welche am 20. Februar 2009 abgeurteilt wurden, mit einer Straferhöhung von 10 Monaten und die restlichen Delikten mit einer solchen von 5 1⁄2 Monaten sanktioniert, sind dem angefochtenen Entscheid nicht zu entnehmen (Beschwerde, S. 8-10). Die Straferhöhung ist massvoll. Eine Aufteilung nach Tatkomplexen erfolgt nicht. Die Vorinstanz betrachtet die neu zu beurteilenden Straftaten mit den bereits beurteilten als ein Ganzes und bewertet die Strafzumessungsfaktoren bei der Gesamtstrafenbildung nicht separat für Grund- und Zusatzstrafe, sondern gesamthaft. Die Ausführungen des Beschwerdeführers zeigen keine Bundesrechtswidrigkeit bei der Strafzumessung auf.
2.3 Die Gesamtstrafe von 3 1⁄4 Jahren erscheint in Anbetracht des Verschuldens des Beschwerdeführers und der Taten (Sexualdelikte, Betrug, Diebstahl etc.) im Ergebnis als eher mild. Eine tiefere Strafe käme nicht in Frage und verletzte Bundesrecht, zumal sich die leicht- bis mittelgradige Verminderung der Schuldfähigkeit nur auf die Sexualdelikte, nicht aber beispielsweise auf den Versicherungsbetrug oder den Diebstahl bezieht (Entscheid, S. 54; vgl. kantonale Akten, Gutachten vom 14. Oktober 2008; act. 833 ff.). Aus diesem Grund führt der Umstand, dass die Vorinstanz diverse, nur mit Busse zu ahnende Übertretungen bei der Gesamtstrafenbildung unzulässigerweise straferhöhend berücksichtigt (Entscheid, S. 52), nicht zur Aufhebung des angefochtenen Entscheids.
3. Die Anträge auf Reduktion der Strafe, Abweisung der Zivilforderungen sowie Neubeurteilung der Massnahmeart stellt der Beschwerdeführer einzig für den Fall, dass der angefochtene Entscheid wegen Verletzung des rechtlichen Gehörs aufgehoben wird und die anschliessende Gehörsgewährung zu Freisprüchen in den beantragten Punkten (Schändung, mehrfache sexuelle Handlungen mit einem Kind) führt (Beschwerde, S. 2, 3, 14). Da es bei den Verurteilungen bleibt, ist auf die Anträge nicht einzutreten.
4. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Der Beschwerdeführer trägt die Kosten vor Bundesgericht (Art. 66 Abs. 1 BGG). Dem Kanton Schaffhausen sind keine Gerichtskosten aufzuerlegen (Art. 66 Abs. 1 i.V.m. Abs. 4 BGG). Der Beschwerdeführer hat die Beschwerdegegner 2 für deren Kosten zu entschädigen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Rechtsanwalt der Beschwerdegegner 2, Dr. Beat Keller, mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Schaffhausen schriftlich mitgeteilt.
Lausanne, 11. September 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill