Sachverhalt:
A. Das Kantonsgericht St. Gallen verurteilte H._ am 11. Februar 2009 wegen Veruntreuung, versuchten Betrugs, mehrfachen Betrugs, Urkundenfälschung, Irreführung der Rechtspflege und Anstiftung dazu, einfacher Körperverletzung während der Ehe sowie mehrfacher Nötigung und mehrfachen Versuchs dazu zu einer Freiheitsstrafe von 36 Monaten, die Hälfte davon bedingt vollziehbar. Die Delikte gehen auf den Zeitraum Juni 2003 bis anfangs 2006 zurück.
B. Am 1. Dezember 2010 reichte H._ ein Wiederaufnahmebegehren ein.
Das Kantonsgericht wies das Begehren am 20. September 2011 ab.
C. H._ führt Beschwerde in Strafsachen und beantragt, der angefochtene Entscheid sei aufzuheben und die Sache zur Anordnung eines gerichtspsychiatrischen Gutachtens an die Vorinstanz zurückzuweisen.
Erwägungen:
1. Der Beschwerdeführer begründete sein Gesuch um Wiederaufnahme damit, er sei im Oktober 2010 erstmals psychiatrisch untersucht worden. Der Psychiater einer Privatklinik habe bei ihm eine schwere und komplexe posttraumatische Belastungsstörung mit dissoziativer und auch depressiver Komorbidität sowie Betroffensein von Katastrophen, Krieg und sonstigen Feindseligkeiten diagnostiziert. Diese psychische Störung - ausgelöst durch Erlebnisse in der Heimat - habe bereits zum Zeitpunkt der Delinquenz bestanden, sei jedoch nicht in die gerichtliche Beurteilung eingeflossen. Da sie Auswirkungen auf seine Schuldfähigkeit habe, sei das Verfahren wieder aufzunehmen.
2. Die Vorinstanz erwägt, der Bericht des Psychiaters beruhe auf nicht zutreffenden und erfundenen Angaben des Beschwerdeführers. Gemäss seinen Angaben im Asylverfahren treffe es nicht zu, dass er die gesamte Kindheit auf der Flucht vor dem Regime Saddam Husseins gewesen sei, habe er doch die ganze Schulzeit im gleichen Dorf verbracht. Ebenso wenig sei er sieben Jahre bzw. sieben Tage schwer gefoltert und geschlagen worden (im Asylverfahren hatte er noch angegeben, er sei nachts von Sicherheitsleuten verhaftet und während der Befragung geschlagen und stark gefoltert, am Morgen jedoch freigelassen worden).
Auffällig sei auch der Zeitpunkt, in dem der Beschwerdeführer seine psychische Erkrankung erkannt haben wolle. Das Bundesgericht habe den Widerruf seiner Niederlassungsbewilligung (erstinstanzlicher Entscheid: 15. April 2009) am 17. August 2010 bestätigt. Die Frist zur Ausreise lief bis 30. Oktober 2010. Im Anschluss an das Vorgespräch beim Psychiater vom 8. Oktober 2010 habe der Beschwerdeführer ein weiteres Asylgesuch eingereicht. Dieser Ablauf zeige, dass er durch Vorgabe eines langjährigen psychischen Leidens der Ausschaffung aus der Schweiz zu entgehen versuche.
Im Verlaufsbericht der Psychiatrischen Dienste Thurgau werde festgehalten, dass der Beschwerdeführer bis zu seiner Verhaftung im Jahre 2008 nie wegen psychischer Schwierigkeiten einen Arzt aufgesucht habe. In Pöschwies seien eine Anpassungsstörung und Enuresis (Einnässen) diagnostiziert worden, während in Saxerriet posttraumatische Störungen und in der Folge Depression notiert worden seien. Vordergründiges Thema seien dort die Ängste vor einer Ausschaffung in den Irak gewesen. Nach Auffassung der Psychiatrischen Dienste bestehe die Hauptbelastung beim Beschwerdeführer nach wie vor in der drohenden Ausschaffung.
Das Ambulatorium für Folter- und Kriegsopfer des Universitätsspitals Zürich habe eine posttraumatische Belastungsstörung diagnostiziert. Die Störung habe verzögert begonnen, nachdem der Beschwerdeführer in einem Schweizer Gefängnis retraumatisierende Erfahrungen gemacht habe. Das Ambulatorium gehe davon aus, dass die psychische Störung im Jahre 2007 oder 2008 begonnen habe, im massgeblichen Deliktszeitraum aber noch nicht aufgetreten sei (angefochtener Entscheid S. 4 ff. Ziff. 7).
3. Den vorinstanzlichen Erwägungen hat der Beschwerdeführer nichts Wesentliches entgegenzusetzen.
Die Feststellung, der Bericht des Psychiaters beruhe auf nicht zutreffenden und erfundenen Angaben des Beschwerdeführers, vermag der Beschwerdeführer nicht in Frage zu stellen. Entgegen seiner Ansicht ist die Diagnose einer posttraumatischen Störung insbesondere davon abhängig, was ein Proband erlebt hat. Dasselbe gilt für die Diagnose des Ambulatoriums, die offenbar auch auf nicht zutreffenden und erfundenen Angaben des Beschwerdeführers beruht.
Die sinngemässe Auffassung des Beschwerdeführers, selbst eine latente posttraumatische Störung hätte seine Zurechnungsfähigkeit einschränken können, ist nicht nachvollziehbar. Solange eine psychische Störung noch nicht begonnen hat, hat sie auch keine Auswirkungen.
Nachdem die psychische Störung des Beschwerdeführers im Deliktszeitraum noch nicht begonnen hatte, verneinte die Vorinstanz zu Recht neue erhebliche Tatsachen oder Beweismittel in dem Sinne, dass der Beschwerdeführer zur fraglichen Zeit an der geltend gemachten Belastungsstörung gelitten habe. Art. 385 StGB ist nicht verletzt.
4. Die Beschwerde ist abzuweisen.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege. Da seine Begehren von vornherein aussichtslos erschienen, ist das Gesuch abzuweisen (Art. 64 Abs. 1 BGG). Bei der Bemessung der Gerichtskosten ist jedoch seinen finanziellen Verhältnissen Rechnung zu tragen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. Mai 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Borner