Sachverhalt:
A. A.a Das Kreisgericht Werdenberg-Sargans verurteilte X._ am 22. August 2007 wegen schwerer Körperverletzung und versuchter vorsätzlicher Tötung zum Nachteil von Y._ zu einer Freiheitsstrafe von 5 Jahren. Das Kantonsgericht St. Gallen sprach X._ am 12. Juni 2008 auf dessen Berufung hin vom Vorwurf der versuchten vorsätzlichen Tötung frei und bestrafte ihn wegen schwerer Körperverletzung mit einer Freiheitsstrafe von 4 Jahren.
A.b Sowohl X._ als auch die Oberstaatsanwaltschaft des Kantons St. Gallen gelangten mit Beschwerde in Strafsachen an das Bundesgericht. Dieses wies die Beschwerde von X._ am 20. März 2009 ab, soweit es darauf eintrat (6B_781/2008). Es hiess hingegen diejenige der Oberstaatsanwaltschaft gut (6B_780/2008). Das Bundesgericht bezeichnete die Beweiswürdigung des Kantonsgerichts im Anklagepunkt der versuchten vorsätzlichen Tötung als einseitig. X._ habe zugegeben, mit dem Baseballschläger beidhändig auf den (Hinter-)Kopf von Y._ eingeschlagen zu haben. Er habe eingeräumt zu wissen, dass Schläge mit dem Baseballschläger auf den Kopf eines Menschen tödlich sein könnten. Er habe die Tat vorbereitet und sei im Tatzeitpunkt einsichtsfähig gewesen. Der kantonsgerichtliche Schluss, er habe sich keine Gedanken darüber gemacht, ob das Opfer infolge seines Tuns behindert werden oder gar sterben könnte, sei nicht haltbar. Unerheblich sei, dass er keine Schuss- oder Stichwaffe mit sich geführt habe. Massgebend sei der konkrete Einsatz des Baseballschlägers, der vorliegend zu lebensgefährlichen Verletzungen geführt habe. Das Bundesgericht wies die Angelegenheit zur neuen Beweiswürdigung an das Kantonsgericht zurück. Ausgehend davon werde dieses beurteilen müssen, ob auf eine eventualvorsätzliche versuchte Tötung zu schliessen sei (Urteil 6B_780/2008 vom 20. März 2009 E. 3.1.5 und E. 3.1.6).
A.c Am 15. Dezember 2009 sprach das Kantonsgericht St. Gallen X._ der versuchten vorsätzlichen Tötung und der schweren Körperverletzung schuldig. Über den Sanktionspunkt befand es nicht. Es holte zur Frage der Notwendigkeit und Zweckmässigkeit einer Massnahme ein Gutachten ein. Dieses erwies sich als derart mangelhaft, dass das Kantonsgericht am 6. April 2011 entschied, ein neues Gutachten einzuholen, welches Prof. Dr. A._, Institut für Konfliktmanagement (IKM) Zürich, am 27. September 2011 erstellte. Der Sachverständige äusserte sich darin sowie anlässlich seiner Befragung vor Kantonsgericht unter anderem zur Persönlichkeitsstruktur sowie zur Schuldfähigkeit von X._ (kantonale Akten, act. RW/65, act. RW/79).
A.d Am 23. Januar 2012 verurteilte das Kantonsgericht St. Gallen X._ wegen versuchter vorsätzlicher Tötung und schwerer Körperverletzung zu einer Freiheitsstrafe von 4 1⁄2 Jahren unter Anrechnung der Untersuchungshaft von 17 Tagen (Ziffer 1 des Urteilsdispositivs). Eine Massnahme im Sinne von <ref-law> ordnete es nicht an. Die Kosten des Berufungsverfahrens auferlegte es X._ zu vier Fünfteln (Ziffer 3 des Urteilsdispositivs).
B. Mit Beschwerde in Strafsachen beantragt X._, es seien Ziffer 1 und 3 des Dispositivs des Urteils des Kantonsgerichts St. Gallen vom 23. Januar 2012 aufzuheben und die Sache zur neuen Entscheidung an die Vorinstanz zurückzuweisen.
C. Das Kantonsgericht St. Gallen und die Oberstaatsanwaltschaft verzichten auf Vernehmlassungen.

Erwägungen:
1. Das Bundesgericht fällte den Rückweisungsentscheid 6B_780/2008 am 20. März 2009 und somit vor dem Inkrafttreten der eidgenössischen Strafprozessordnung am 1. Januar 2011 (StPO; SR 312.0). Auf das neue Verfahren ist nicht die StPO, sondern das bisherige, bis zum 31. Dezember 2010 geltende Strafprozessgesetz des Kantons St. Gallen anwendbar (vgl. Urteil 6B_425/2011 vom 10. April 2012 E. 2).
2. Der Beschwerdeführer macht eine Verletzung des Willkürverbots (<ref-law>) und des rechtlichen Gehörs (<ref-law>) geltend. Die Vorinstanz gehe vom Sachverhalt aus, wie er im Rückweisungsentscheid vorgegeben werde (Entscheid, S. 6 f.). Das Bundesgericht habe in diesem Zusammenhang festgestellt, dass der konkrete Einsatz des Baseballschlägers zu lebensgefährlichen Verletzungen geführt habe und er - der Beschwerdeführer - bei der Tatbegehung einsichtsfähig gewesen sei (Rückweisungsentscheid, S. 10 f.). Diese tatsächlichen Annahmen, woran sich die Vorinstanz gebunden fühle, stünden einerseits im Widerspruch zum Gutachten des Instituts für Rechtsmedizin vom 19. Juni 2006 und liessen sich andererseits angesichts der neuen gutachterlichen Erkenntnisse zur Frage seiner Schuldfähigkeit nicht aufrechterhalten. Sie seien für die rechtliche Qualifikation der Tat als versuchte vorsätzliche Tötung und die Strafzumessung relevant und nach <ref-law> zu korrigieren (Beschwerde, S. 8 ff.).
Der Beschwerdeführer beanstandet weiter die Strafzumessung (Art. 63 ff. aStGB bzw. <ref-law>). Bei der Frage der Schuldfähigkeit gehe es um die persönliche Vorwerfbarkeit der Tat. Die Vorinstanz halte an der ursprünglichen Beurteilung seiner Schuldfähigkeit fest, wonach er bei der Tatausführung uneingeschränkt einsichts- und steuerungsfähig gewesen sei. Auf das neue Gutachten gehe sie nicht ein. Nach der Einschätzung des neuen Gutachters sei er in seiner Schuldfähigkeit bei der Tatausführung mittel- bis schwergradig beeinträchtigt gewesen, was sich auf die Beurteilung seines Verschuldens und auf die Einsatzstrafe massgeblich auswirken müsse (Beschwerde, S. 11, S. 13 ff.). Weiter verkenne die Vorinstanz, dass die Tatbestände der Tötung und schweren Körperverletzung in unechter Konkurrenz stünden. Der Schuldspruch der schweren Körperverletzung könne sich nicht straferhöhend auswirken (Beschwerde, S. 16 f.). Die Vorinstanz trage auch dem Umstand, dass es beim Versuch geblieben sei, angesichts des effektiv verursachten Verletzungsbilds zu wenig Rechnung (Beschwerde, S. 18). Sie nehme überdies pauschale Strafminderungen vor, die sich jeder differenzierten Kritik entzögen (Beschwerde, S. 18 ff.), und stelle die lange Verfahrensdauer und sein Wohlverhalten (<ref-law>) ebenso wenig wie die Verletzung des Beschleunigungsgebots in Rechnung (Beschwerde, S. 20 ff.). Die Freiheitsstrafe von 4 1⁄2 Jahren sei im Vergleich zu den Mittätern, die mit Einschliessungsstrafen davongekommen seien, zu hoch (Beschwerde, S. 21 ff.).
3. Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 4.2 mit Hinweisen; zum Begriff der Willkür <ref-ruling> E. 7.1; <ref-ruling> E. 4, je mit Hinweisen). Eine entsprechende Rüge muss klar und substanziiert begründet werden (Art. 42 Abs. 2 und <ref-law>; <ref-ruling> E. 4.2.3; <ref-ruling> E. 1.3.1, je mit Hinweisen).
Im Falle eines Rückweisungsentscheids hat die mit der Neubeurteilung befasste kantonale Instanz die rechtliche Beurteilung, mit der die Rückweisung begründet wird, ihrer Entscheidung zugrunde zu legen. Diese Beurteilung bindet auch das Bundesgericht, falls ihm die Sache erneut unterbreitet wird. Wegen dieser Bindung der Gerichte ist es ihnen wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Beurteilung einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen worden sind (<ref-ruling> E. 2 und E. 2.1 S. 335 f.; Urteil 6B_35/2012 vom 30. März 2012 E. 2.2; je mit Hinweisen).
Die Grundsätze der Strafzumessung nach Art. 63 aStGB bzw. <ref-law> hat das Bundesgericht wiederholt dargelegt (<ref-ruling> E. 5.4 ff. mit Hinweisen). Es greift in die Strafzumessung nur ein, wenn die Vorinstanz den gesetzlichen Strafrahmen über- oder unterschritten hat, wenn sie von rechtlich nicht massgebenden Kriterien ausgegangen ist, wesentliche Gesichtspunkte ausser Acht gelassen bzw. in Überschreitung oder Missbrauch ihres Ermessens falsch gewichtet hat (<ref-ruling> E. 5.6 S. 61 mit Hinweis).
4. 4.1 Es steht fest, dass der Beschwerdeführer mit dem Baseballschläger wiederholt und "beidhändig" auf den (Hinter-)Kopf des wehrlos am Boden liegenden Opfers einschlug, welches seine Hände schützend vor den (Hinter-)Kopf hielt (Entscheid, S. 7, S. 9).
4.2 Mehrfache Schläge mit einem Baseballschläger gegen den Kopf eines Menschen sind geeignet, lebensgefährliche oder gar tödliche Verletzungen herbeizuführen. Die Wahrscheinlichkeit des Eintritts einer schweren Körperverletzung mit tödlichen Folgen ist gross. Das gilt auch, wenn das Opfer den Kopf mit seinen Händen zu schützen versucht. Der Beschwerdeführer war sich gemäss seinen eigenen Aussagen bewusst, dass Schläge mit einem Baseballschläger gegen den für schwerste Verletzungen anfälligen Kopf eines Menschen tödlich sein können (vgl. Entscheid, S. 7 mit Hinweis auf Einvernahmen).
4.3 Die Vorinstanz verfällt nicht in Willkür, wenn sie unter den gegebenen Umständen das Wissen um die Möglichkeit schwerer oder gar tödlicher Verletzungen bejaht und dem Beschwerdeführer vorwirft, er habe mit den Schlägen gegen den Kopf des Opfers tödliche Verletzungsfolgen für den Fall ihres Eintritts im Sinne von <ref-law> in Kauf genommen. Die Annahme eines eventualvorsätzlichen Tötungsversuchs verstösst nicht gegen Bundesrecht.
4.4 Ob die Schläge mit dem Baseballschläger konkret lebensgefährliche Verletzungen zur Folge hatten oder nicht und der Beschwerdeführer im Tatzeitpunkt einsichtsfähig war, ist für die rechtliche Qualifikation der Tat als eventualvorsätzliche Tötung und damit für den Ausgang des Verfahrens gemäss <ref-law> nicht massgeblich. Eine Sachverhaltskorrektur im Sinne von <ref-law>, wie sie der Beschwerdeführer hinsichtlich der beanstandeten Feststellungen fordert, entfällt. Die Beschwerde ist in diesem Punkt unbegründet.
5. 5.1 Das Bundesgericht beurteilte die Frage der Schuldfähigkeit des Beschwerdeführers im Rückweisungsentscheid nicht definitiv. Es stellte lediglich fest, die Vorinstanz habe in vorweggenommener Beweiswürdigung auf ein psychiatrisches Obergutachten verzichten dürfen (Rückweisungsentscheid 6B_780/2008, E. 2.3.3 S. 7). Die vom Beschwerdeführer als falsch beanstandete Äusserung, er sei bei der Tatbegehung einsichtsfähig gewesen (vgl. Rückweisungsentscheid 6B_780/2008, E. 3.1.5 S. 10), steht im Kontext mit den Erwägungen des Bundesgerichts zur Frage des Eventualvorsatzes in Bezug auf einen allfälligen Tötungsversuch. Sie bildet nicht das Ergebnis einer rechtlichen Prüfung der Schuldfähigkeitsfrage und entfaltet für das weitere Verfahren, insbesondere für die noch offene Strafzumessung, keine Verbindlichkeit. Davon ging (zu Recht) auch die Vorinstanz aus. Sie holte im Rückweisungsverfahren ein Zweitgutachten ein und befragte den Sachverständigen auch zur Schuldfähigkeit.
5.2 Der Sachverständige äussert sich im Zweitgutachten zur Persönlichkeitsstruktur des Beschwerdeführers. Auf ausdrückliche Frage hin diskutierte er die Diagnosestellung des ersten Gerichtsgutachters und die Zweifel, die bereits der Therapeut des Beschwerdeführers daran hatte (vgl. kantonale Akten, Gutachten, act. RW/65 S. 11 Ziff. 7.5). Diesen Punkt nahm der Sachverständige anlässlich der vorinstanzlichen Verhandlung auf ausdrückliche Fragen der Richter hin erneut auf. Er wies auf die Divergenzen zwischen der Beurteilung im Erstgutachten und seiner eigenen Einschätzung hin und nahm Stellung zur Frage, ob und in welchem Umfang der Beschwerdeführer in seiner Einsichts- und Steuerungsfähigkeit im Tatzeitpunkt eingeschränkt war. Im Unterschied zum Erstgutachten attestiert er dem im Jahre 1986 geborenen Beschwerdeführer eine Störung der Persönlichkeitsentwicklung mit einem Reifungsrückstand im Tatzeitpunkt von mehreren Jahren. Die früheren Gutachter hätten diesen Umstand nicht erkannt. Ihre Einschätzung, wonach der Beschwerdeführer namentlich in seiner Steuerungsfähigkeit im Tatzeitpunkt nicht beeinträchtigt bzw. voll schuldfähig gewesen sei, lasse sich nicht halten. Bei richtiger Diagnose hätten die früheren Gerichtsgutachter von einer mittel- bis schwergradigen Beeinträchtigung seiner Steuerungsfähigkeit ausgehen müssen (kantonale Akten, Gutachten und Befragungsprotokoll, act. RW/65, S. 10 f.; act. RW/79, S. 7 ff.).
5.3 Betreffend Diagnose und Beurteilung der Frage der Schuldfähigkeit stehen sich zwei Expertenmeinungen mit unterschiedlichen Erkenntnissen gegenüber. Die Divergenzen zwischen den beiden gerichtlichen Gutachten sind für die Beurteilung der vorliegenden Angelegenheit von Relevanz. Ob und in welchem Umfang der Beschwerdeführer im Tatzeitpunkt in seiner Schuldfähigkeit eingeschränkt war, ist für die vom Schuldprinzip beherrschte Strafzumessung wesentlich (<ref-ruling> E. 2a; siehe auch <ref-ruling>). Die Vorinstanz trägt dieser Problematik bzw. den diametral auseinandergehenden Beurteilungen der Sachverständigen keine Rechnung. Sie geht ohne Begründung davon aus, dass der Beschwerdeführer im Tatzeitpunkt uneingeschränkt einsichts- und steuerungsfähig war (Entscheid, S. 9). Sie verweist lediglich auf den erstinstanzlichen Entscheid, worin dem (vom Therapeuten attestierten) Reifungsrückstand des Beschwerdeführers keine über dessen junges Alter hinausgehende strafmildernde bzw. -mindernde Bedeutung beigemessen wurde (vgl. Entscheid, S. 9; erstinstanzlicher Entscheid, S. 15). Mit dem Zweitgutachten, welches diesbezüglich zu klar andern Erkenntnissen gelangt und insofern Zweifel an der Richtigkeit des Erstgutachtens begründet, befasst sie sich nicht. Mit ihrem Vorgehen setzt sich die Vorinstanz über die offensichtlichen Differenzen zwischen den Gutachten betreffend die Frage der Beeinträchtigung der Schuldfähigkeit des Beschwerdeführers im Tatzeitpunkt hinweg, ohne diese zu bereinigen und die abweichenden Schlussfolgerungen des Zweitgutachtens - allenfalls mit einem Obergutachten - überzeugend widerlegt zu haben. Sie handelt damit willkürlich (vgl. <ref-ruling> E. 5.4.2 S. 346; <ref-ruling> E. 4 S. 57 f.; <ref-ruling> E. 1c S. 146 f.). Die Beschwerde ist in diesem Punkt begründet. Die Vorinstanz wird die Frage der Schuldfähigkeit neu beurteilen müssen.
6. 6.1 Gemäss Art. 63 aStGB (bzw. <ref-law>) hat der Richter die Strafe nach dem Verschulden des Täters zu bemessen. Der Schuldvorwurf, der einem nur vermindert schuldfähigen Täter gemacht werden kann, ist verglichen mit dem Schuldvorwurf gegen einen voll schuldfähigen Täter geringer (<ref-ruling> E. 2 S. 4). Das Schuldprinzip verlangt deshalb, dass die Strafe für eine in verminderter Schuldfähigkeit begangene Tat niedriger sein muss, als wenn der Täter - unter sonst gleichen Umständen - voll schuldfähig gewesen wäre. Wer in seiner Einsichts- und/oder Steuerungsfähigkeit beeinträchtigt ist, trifft letztlich ein geringerer subjektiver Tatvorwurf, weshalb die Strafe tiefer auszufallen hat (vgl. <ref-ruling> E. 5.5; Urteil 6B_585/2008 vom 19. Juni 2009 E. 3.5). Die Vorinstanz nimmt an, der Beschwerdeführer sei voll schuldfähig gewesen. Sein Verschulden für die versuchte Tötung qualifiziert sie als erheblich. Sie setzt die Einsatzstrafe auf sechs Jahre fest (Entscheid, S. 9). Wäre indes den Schlussfolgerungen des Zweitgutachters zu folgen, der von einer mittel- bis schwergradigen Beeinträchtigung namentlich der Steuerungsfähigkeit des Beschwerdeführers im Tatzeitpunkt ausgeht, könnte an der vorinstanzlichen Verschuldensbewertung nicht festgehalten werden. Es wäre in diesem Fall von einem erheblich geringeren Verschulden des Beschwerdeführers und damit von einer deutlich niedrigeren Einsatzstrafe auszugehen.
6.2 Auf den im Tatzeitpunkt knapp 19 1⁄2 Jahre alten Beschwerdeführer ist das Erwachsenenstrafrecht anwendbar. Dieses folgt bei der Sanktionswahl anderen Grundprinzipien als das Jugendstrafrecht ("Vergeltung" versus "Bildung" und "Erziehung"). Aus dem Umstand, dass die damals noch nicht 18 Jahre alten Mittäter des Beschwerdeführers unter das Jugendstrafrecht fielen und daher lediglich zu Einschliessungsstrafen verurteilt wurden, kann der Beschwerdeführer gestützt auf den Grundsatz der Gleichmässigkeit der Strafen (vgl. <ref-ruling> E. 3.2 S. 194) nichts für sich ableiten. Allerdings hat der Richter den Entwicklungsstand und den Reifegrad eines Heranwachsenden, der wie der Beschwerdeführer aufgrund der starren Altersgrenze von 18 Jahren (gerade) nicht mehr unter das Jugendstrafrecht fällt (<ref-law>), besonders differenziert zu untersuchen und eine allfällige Unreife - sofern sie nicht die Schuldfähigkeit tangiert (siehe vorstehend E. 6.1) - bei der Bemessung der Strafe nach Art. 63 aStGB bzw. <ref-law> zu berücksichtigen (vgl. GÜNTER STRATENWERTH, Schweizerisches Strafrecht, Allgemeiner Teil II, Strafen und Massnahmen, 2. Aufl., § 6 S. 224). Die Vorinstanz weist in ihren Erwägungen auf die Retardierung des im Tatzeitpunkt noch sehr jungen Beschwerdeführers hin und trägt diesem Gesichtspunkt zusammen mit weiteren Umständen strafmindernd im Umfang von einem halben Jahr Rechnung (vgl. Entscheid, S. 10 mit Verweis auf erstinstanzliches Urteil, S. 15). Aus ihren Erwägungen ergibt sich nicht, wie erheblich der Entwicklungs- und Reifungsrückstand des Beschwerdeführers im Tatzeitpunkt war, wie er sich im Einzelnen auswirkte und in welchem Ausmass er sich auf das Verschulden niederschlägt. Die Strafzumessung ist insofern nicht überprüfbar (vgl. nachstehend auch E. 6.3).
6.3 Die Vorinstanz nennt die ihres Erachtens gegebenen Strafminderungsgründe (vgl. Entscheid, S. 10). Sie führt einerseits die Situation vor der Tat an, mit erlittenen Kränkungen und Demütigungen des Beschwerdeführers durch das spätere Opfer und seine damit einhergegangene emotionale Aufwühlung, die Gruppendynamik, das Opferverhalten und die Retardierung sowie andererseits die Situation nach der Tat mit der Geständnisbereitschaft des Beschwerdeführers, seine Unauffälligkeit, sein Wohlverhalten und Arbeitswille, seine freiwillige Therapie und die Reue. Sie zeigt jedoch nicht auf, in welchem Umfang ("leicht", "stark", etc.) sie die einzelnen Strafzumessungskriterien strafmindernd wertet. Sie begnügt sich damit, auf die Strafzumessungsfaktoren hinzuweisen, zwei Gruppen zu bilden und diese mit einer pauschalen Strafreduktion von je einem halben Jahr zu berücksichtigen. Im Urteil ist zwar nicht in absoluten Zahlen oder Prozenten anzugeben, wie bzw. in welchem Masse die einzelnen Strafzumessungskriterien bewertet werden (<ref-ruling> E. 2c S. 104 f. mit Hinweisen; vgl. auch Urteil 6B_401/2007 vom 8. November 2007 E. 4.2, nicht publ. in <ref-ruling> für die Gewichtung der im Gesetz genannten Strafschärfungs- und Strafmilderungsgründe). Die für die Zumessung der Strafe erheblichen Umstände und deren Gewichtung müssen jedoch im Hinblick auf eine transparente, in den Grundzügen nachvollziehbare und überprüfbare Strafzumessung aus dem Urteil hervorgehen. Diese Anforderungen erfüllt die Strafzumessung nicht.
6.4 Rechtlich unzutreffend ist die Strafzumessung nach der begründeten Auffassung des Beschwerdeführers auch insofern, als die Vorinstanz den Schuldspruch wegen schwerer Körperverletzung in der Annahme, es bestehe insoweit echte Konkurrenz (Entscheid, S. 8), im Umfang von einem Jahr straferhöhend berücksichtigt (Entscheid, S. 9). Nach der bundesgerichtlichen Rechtsprechung besteht zwischen der versuchten Tötung und der schweren Körperverletzung grundsätzlich unechte Konkurrenz. Die Körperverletzung wird durch die versuchte eventualvorsätzliche Tötung konsumiert, falls wie hier (siehe Entscheid, S. 9) der Körperverletzung nebst der versuchten Tötung keine selbstständige Bedeutung zukommt (vgl. <ref-ruling>13 E. 1.5). Dem Umstand, dass mit dem Tötungsversuch gleichzeitig eine Körperverletzung erfolgte, kann lediglich zusammen mit den übrigen Tatumständen Rechnung getragen werden (<ref-ruling>13 E. 1.4.2).
6.5 Unbegründet ist hingegen der Einwand des Beschwerdeführers, die Vorinstanz berücksichtige nur ungenügend, dass es beim Versuch geblieben sei (Beschwerde, S. 18). Es ist nicht dem Beschwerdeführer zuzurechnenden Umständen zu verdanken, dass das Opfer nicht gestorben ist. Die ihm wegen Versuchs zugestandene Strafmilderung um 1 1⁄2 Jahre (Entscheid, S. 9) ist nicht unhaltbar tief.
6.6 Ohne Erfolg bleibt auch das Vorbringen, die Vorinstanz stelle die lange Verfahrensdauer, die Verletzung des Beschleunigungsgebots und das Wohlverhalten des Beschwerdeführers zu Unrecht nicht strafmindernd in Rechnung (Beschwerde, S. 20 f.). Das Verfahren dauerte seit der Verfahrenseröffnung am 25. Mai 2006 bis zur Ausfällung des Urteils am 23. Januar 2012 etwas weniger als sechs Jahre. Von einer überlangen Verfahrensdauer kann noch nicht gesprochen werden, zumal dem Verfahren gewichtige Tatvorwürfe zugrunde liegen, mehrere Mittäter an der Tat beteiligt waren und verschiedene Gutachten einzuholen waren. Der Beschwerdeführer zeigt überdies nicht auf, weshalb die Verfahrensdauer übermässig sein sollte. Er befasst sich nicht mit dem konkreten Verfahrensgang und legt nicht dar, welche Verfahrensabschnitte zu lange gedauert haben sollen. Sein Vorbringen genügt den Begründungsanforderungen von <ref-law> nicht. Ebenso wenig liegt eine Verletzung von Art. 64 al. 8 aStGB bzw. <ref-law> vor, weil die Bestimmung nach der Rechtsprechung nur zwingend zu beachten ist, wenn zwei Drittel der Verjährungsfrist verstrichen sind (<ref-ruling> E. 6.2), was hier nicht der Fall ist.
6.7 Von einer Massnahme gemäss <ref-law> wurde nicht wegen gutachterlichen Versagens abgesehen (so Beschwerde, S. 22; vgl. aber Entscheid, S.10 ff.), sondern weil der Beschwerdeführer die diesbezüglichen Voraussetzungen nicht erfüllt(e). Strafzumessungsrechtlich kann er hieraus nichts für sich ableiten.
7. Die Beschwerde ist teilweise gutzuheissen. Die Vorinstanz wird die Frage der Schuldfähigkeit des Beschwerdeführers neu beurteilen und die Strafzumessung anders vornehmen müssen. Sie wird dabei <ref-law> zu beachten haben. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens rechtfertigt es sich, auf die Erhebung von Gerichtskosten vollständig zu verzichten (<ref-law>). Dem anwaltlich vertretenen und mehrheitlich obsiegenden Beschwerdeführer ist eine reduzierte Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen, das Urteil des Kantonsgerichts St. Gallen vom 23. Januar 2012 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben.
3. Der Kanton St. Gallen hat dem Rechtsvertreter des Beschwerdeführers, Dr. Bruno Steiner, für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'500.-- auszurichten.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 14. Januar 2013
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill