Sachverhalt:
A. X._ nahm eine Vielzahl von sexuellen Handlungen an seiner Tochter A._ und an deren Freundin B._, beide geb. 1983, vor. Zwischen dem 13. November 1990 und dem Frühjahr 1993 vollzog er einmal von hinten den Geschlechtsverkehr an seiner Tochter im Beisein von B._. Im Zeitraum von 1. September bzw. 1. Oktober 1992 mussten ihn die zwei Mädchen regelmässig bis zum Samenerguss befriedigen. Von B._ verlangte er auch oralen Verkehr, während er sich anal und oral an ihr verging. Bei beiden Mädchen streichelte er die Scheide und führte ihnen diverse Dinge (Finger, Barbiepuppe, Kugelschreiber, Bleistift, Kreide) vaginal oder anal ein. Er konsumierte mit ihnen pornographische Filme. Dabei mussten sie ihn sexuell befriedigen, wobei er ihnen teilweise zwischen die Beine griff.
Im Frühjahr 1993 stellte X._ seine Tochter A._ und B._ zwei erwachsenen Männern zum Geschlechtsverkehr zur Verfügung. Zu diesem Zweck wurden die Kinder im Keller der Familienwohnung X._ auf eine Matratze am Boden gefesselt. Die zwei Männer vollzogen nacheinander den Beischlaf an je einem Kind, dies in Gegenwart von X._, welcher sie zu den sexuellen Handlungen ermunterte. Über die verängstigte B._ machten sich die Täter lustig (die Angst in ihren Augen sei "richtig geil" und sie sei "eingeritten"). Die Kinder liessen sämtliche Taten unfreiwillig bzw. auf Anordnung von X._ über sich ergehen.
B. Das Kantonsgericht St. Gallen verurteilte X._ am 19. Juni 2009 wegen Vergewaltigung, mehrfacher qualifizierter Vergewaltigung, Inzests, mehrfacher sexueller Nötigung und mehrfacher sexueller Handlungen mit Kindern zu einer Freiheitsstrafe von 6 Jahren, als Zusatzstrafe zum Urteil des Obergerichts des Kantons Zürich vom 16. September 1997. Die von X._ gegen dieses Urteil gerichtete Beschwerde hiess das Bundesgericht am 22. März 2010 in Bezug auf die Verurteilung wegen sexueller Nötigung gut und wies die Sache zur Neubeurteilung an das Kantonsgericht zurück (Urteil 6B_875/2009 vom 22. März 2010). Am 5. Juli 2011 bestätigte das Kantonsgericht St. Gallen wiederum die Schuldsprüche und die Freiheitsstrafe von sechs Jahren.
C. Gegen dieses Urteil erhebt X._ Beschwerde in Strafsachen. Er beantragt, das angefochtene Urteil sei aufzuheben und zur neuen Entscheidung an die Vorinstanz zurückzuweisen. Es seien keine Kosten zu erheben, und es sei ihm eine angemessene Parteientschädigung zuzusprechen. X._ ersucht um unentgeltliche Rechtspflege und Verbeiständung.
D. Die Staatsanwaltschaft des Kantons St. Gallen beantragte mit Eingabe vom 20. Oktober 2001, die Beschwerde sei unter Kostenfolge abzuweisen. Das Kantonsgericht St. Gallen verzichtete auf eine Vernehmlassung.
Erwägungen:
1. Soweit der Beschwerdeführer rügt, die Vorinstanz setze sich nicht mit seinen Argumenten in Bezug auf die Strafzumessung auseinander, welche er seiner ersten Beschwerde an das Bundesgericht vorgebracht habe (Beschwerde S. 4), genügt er den Begründungsanforderungen nicht. Die Rügen müssen in der Rechtsschrift selbst vorgetragen und begründet werden. Ein Verweis auf andere Rechtsschriften reicht nicht aus (BGE 133 II 396 E. 3.1 S. 399 f. mit Hinweisen). Auf die pauschale Kritik am angefochtenen Urteil, welche der Beschwerdeführer in der Beschwerdeschrift nicht näher umschreibt, ist nicht einzutreten (Art. 106 Abs. 2 BGG).
2. 2.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe die von ihm beantragten Beweise hinsichtlich der zeitlichen Einordnung der Delikte nicht abgenommen (Beschwerde S. 6). Sinngemäss beruft er sich damit auf den Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV.
2.2 Die Frage nach den Tatzeitpunkten hat das Bundesgericht im Rückweisungsentscheid (Urteil 6B_875/2009 vom 22. März 2010 E. 4) abschliessend beantwortet. Aufgrund der Bindungswirkung des bundesgerichtlichen Entscheids können sich weder die kantonalen Instanzen noch das Bundesgericht erneut mit diesen Fragen auseinandersetzen (BGE 135 III 334 E. 2 und E. 2.1 S. 335 f. mit Hinweisen). Auf die Rüge ist nicht einzutreten.
3. 3.1 Der Beschwerdeführer rügt, die Strafzumessung verstosse in mehrfacher Hinsicht gegen Bundesrecht.
3.2 Gemäss Art. 47 Abs. 1 StGB misst das Gericht die Strafe nach dem Verschulden des Täters zu. Es berücksichtigt das Vorleben, die persönlichen Verhältnisse sowie die Wirkung der Strafe auf das Leben des Täters. Es liegt im Ermessen des Sachgerichts, in welchem Umfang es den verschiedenen Strafzumessungsfaktoren Rechnung trägt. Das Bundesgericht greift auf Beschwerde hin nur in die Strafzumessung ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist oder wesentliche Gesichtspunkte ausser Acht gelassen bzw. in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (BGE 136 IV 55 E. 5.6 S. 61 mit Hinweis).
Hat das Gericht eine Tat zu beurteilen, die der Täter begangen hat, bevor er wegen einer anderen Tat verurteilt worden ist, bestimmt es die Zusatzstrafe in der Weise, dass der Täter nicht schwerer bestraft wird, als wenn die strafbaren Handlungen gleichzeitig beurteilt worden wären. Art. 49 Abs. 2 StGB will im Wesentlichen das Asperationsprinzip (Art. 49 Abs. 1 StGB) auch bei retrospektiver Konkurrenz gewährleisten. Bei der Festsetzung der Zusatzstrafe zu einer ergangenen Grundstrafe hat sich das Gericht vorerst zu fragen, welche Strafe es bei gleichzeitiger Verurteilung in Beachtung des Asperationsprinzips ausgesprochen hätte. Die Zusatzstrafe für die neu zu beurteilende Straftat ergibt sich aus der Differenz zwischen der hypothetischen Gesamtstrafe und der Grundstrafe. Bei der retrospektiven Konkurrenz hat der Richter ausnahmsweise mittels Zahlenangaben offen zu legen, wie sich die von ihm zugemessene Strafe quotenmässig zusammensetzt (BGE 132 IV 102 E. 8.3 S. 105 mit Hinweisen).
Nach Art. 50 StGB hat der Richter die für die Zumessung der Strafe erheblichen Umstände und deren Gewichtung festzuhalten. Er muss die Überlegungen, die er bei der Bemessung der Strafe vorgenommen hat, in den Grundzügen wiedergeben, so dass die Strafzumessung nachvollziehbar ist. Besonders hohe Anforderungen an die Begründung der Strafzumessung werden unter anderem gestellt, wenn die ausgesprochene Strafe ungewöhnlich hoch oder auffallend milde ist (BGE 134 IV 17 E. 2.1 S. 20 mit Hinweisen).
3.3 3.3.1 Im Einzelnen rügt der Beschwerdeführer, die Vorinstanz stufe sein Verschulden zu Unrecht als schwerwiegend ein. Sie stelle in Verletzung von Art. 47 StGB auf bereits verjährte Delikte ab, indem sie ausführe, er habe die beiden Opfer seit dem frühen Kindesalter über Jahre hinweg missbraucht (Beschwerde S. 5 ff.).
3.3.2 Der Beschwerdeführer beging an zwei Mädchen im Alter von ungefähr zehn Jahren sexuelle Handlungen von ganz erheblicher Intensität und Häufigkeit (vgl. Sachverhalt lit. A). Dazu nutzte er seine Stellung als Familienvater bzw. als Vater einer Schulfreundin aus. Er schreckte nicht davor zurück, die erst zehnjährigen Kinder Drittpersonen zum Geschlechtsakt zur Verfügung zu stellen und sie dabei verbal zu demütigen. Obschon er zu Recht einwendet, die strafrechtlich relevanten Taten hätten sich weder "über Jahre hinweg" noch seit dem frühen Kindesalter der Opfer zugetragen, bedarf die Bewertung als schwerwiegendes Verschulden angesichts der dokumentierten Übergriffe keiner weiteren Erläuterung.
Entgegen der in der Beschwerde vertretenen Auffassung (Beschwerde S. 6 und S. 7) zieht die Vorinstanz keine im Kindesalter der beiden Opfer begangenen verjährten Handlungen zur Beurteilung des Vorlebens heran. Die Strafzumessung erfasst nur die fallbezogenen Schuldsprüche. Der getrübte Leumund findet bloss insoweit Eingang in die Strafzumessung, als der Beschwerdeführer vorbestraft ist (angefochtenes Urteil S. 7 f. mit Verweis auf das erste Urteil der Vorinstanz vom 19. Juni 2009 S. 16, act. P/10). Die Rüge, Art. 47 StGB und die Unschuldsvermutung nach Art. 6 Ziff. 2 EMRK seien dadurch verletzt, ist unbegründet.
3.4 Den Umstand, dass die Strafverfolgung kurz vor der Verjährung stand, berücksichtigt die Vorinstanz hinreichend (vgl. Beschwerde S. 8 unten). Sie senkt die für die neuen Taten als angemessen erachtete Strafe von zwölf auf acht Jahre (angefochtenes Urteil S. 7 f. mit Verweis auf das Urteil der Vorinstanz vom 19. Juni 2009 S. 16 f.). Diese Reduktion im Umfang von mehreren Jahren ist erheblich und liegt innerhalb des richterlichen Ermessens.
3.5 Die Rüge des Beschwerdeführers, das Beschleunigungsgebot sei verletzt (Beschwerde S. 8 f.), erweist sich als unbegründet. Nach den verbindlichen vorinstanzlichen Feststellungen verstrichen ab Einleitung des Verfahrens bis zu dessen Erledigung im Jahr 2011 fünf Jahre. Einzelne Lücken, in welchen das Verfahren stillgestanden wäre, sind keine auszumachen (angefochtenes Urteil S. 8). Angesichts des Umfangs der Sache und der Schwere der Vorwürfe durfte die Vorinstanz die Verfahrensdauer nicht als übermässig lang werten (vgl. BGE 130 IV 54 E. 3.3.1 S. 54 f. mit Hinweisen). Dass sie auf die Argumentation des Beschwerdeführers ungenügend eingegangen wäre, ist nicht ersichtlich.
Soweit der Beschwerdeführer den vorinstanzlichen Sachverhalt ergänzt, ohne Willkür hinsichtlich der tatsächlichen Feststellungen (etwa in Bezug auf die Dauer einzelner Verfahrensabschnitte) darzulegen oder näher zu begründen, verfällt er in appellatorische Kritik. Darauf ist nicht einzutreten (Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1 S. 68 f. mit Hinweisen).
Soweit der Beschwerdeführer den vorinstanzlichen Sachverhalt ergänzt, ohne Willkür hinsichtlich der tatsächlichen Feststellungen (etwa in Bezug auf die Dauer einzelner Verfahrensabschnitte) darzulegen oder näher zu begründen, verfällt er in appellatorische Kritik. Darauf ist nicht einzutreten (Art. 97 Abs. 1 und Art. 106 Abs. 2 BGG; BGE 136 I 65 E. 1.3.1 S. 68 f. mit Hinweisen).
3.6 3.6.1 Der Beschwerdeführer erachtet die Strafe im Ergebnis als zu hoch. Die Gesamtstrafe für die früheren und neuen Taten von siebzehn bis neunzehn Jahren sei unangemessen. Das vorinstanzliche Urteil genüge den Begründungsanforderungen nicht, namentlich soweit es sein Verhalten zur Befriedigung seiner sexuellen Bedürfnisse in pauschaler Weise als "schamlos" oder "niederträchtig" bezeichne und nicht an konkreten Sachverhalten anknüpfe.
3.6.2 Die Vorinstanz bezieht alle massgeblichen Kriterien in die Strafzumessung ein. Sie berücksichtigt namentlich die Tat- und Täterkomponenten, die kurz bevorstehende Verjährung und die retrospektive Konkurrenz. Hingegen ist es nicht erforderlich, in der Strafzumessung noch einmal alle Tatumstände zu wiederholen, welche sich aus den Erwägungen zu den einzelnen Delikten ergeben. Die Bezeichnung als "schamloses und niederträchtiges Verhalten" ist angesichts der Taten des Beschwerdeführers nicht zu beanstanden.
3.6.3 Das Obergericht des Kantons Zürich hat den Beschwerdeführer am 16. September 1997 wegen teilweise qualifizierten Betäubungsmitteldelikten, Raubes unter Mitführen einer Waffe, Vorbereitungshandlungen zu Raub, mehrfachen, teilweise unvollendet versuchten Diebstahls, der Gefährdung durch Sprengstoffe und giftiger Gase in verbrecherischer Absicht, der mehrfachen Sachbeschädigung schuldig gesprochen. Die Vorinstanz hätte unter Berücksichtigung der bereits abgeurteilten und der neuen Delikte eine Freiheitsstrafe von zwölf Jahren ausgesprochen (angefochtenes Urteil S. 7 f. mit Verweis auf das Urteil der Vorinstanz vom 19. Juni 2009 S. 16 f.). Abzüglich der bereits rechtskräftigen Strafe des Obergerichts des Kantons Zürich von sechs Jahren gelangt die Vorinstanz zu einer Zusatzstrafe von sechs Jahren.
3.6.4 Die Auffassung des Beschwerdeführers, die Gesamtstrafe belaufe sich auf siebzehn bis neunzehn Jahre, trifft nicht zu (vgl. E. 3.6.3). Angesichts der früheren sowie der aktuell zu beurteilenden Taten liegen die Gesamtstrafe von zwölf bzw. die Zusatzstrafe von sechs Jahren innerhalb des richterlichen Ermessensspielraums. Das angefochtene Urteil genügt auch hinsichtlich der Begründungsdichte den Anforderungen von Art. 50 StGB, um die ausgefällte Zusatzstrafe zu rechtfertigen. Selbst wenn aber die Begründung mangelhaft wäre, führte dies aufgrund der angemessenen Strafhöhe nicht zu einer Aufhebung des angefochtenen Urteils (BGE 127 IV 101 E. 2c S. 105 mit Hinweisen). Im Übrigen beanstandet der Beschwerdeführer die Vorgehensweise der Vorinstanz in Bezug auf die retrospektive Konkurrenz (Art. 49 Abs. 2 StGB) nicht. Dieser Punkt ist infolge der Begründungspflicht einer Beschwerde nicht von Amtes wegen zu prüfen (Art. 42 Abs. 2 BGG).
4. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Das Gesuch um unentgeltliche Rechtspflege ist ebenfalls abzuweisen, da die Beschwerde aussichtslos war (Art. 64 Abs. 1 BGG). Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Seiner angespannten finanziellen Situation ist bei der Bemessung der Gerichtskosten gebührend Rechnung zu tragen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'600.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 23. Februar 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Koch