Sachverhalt:
A. A.a Der 1971 geborene T._ meldete sich am 19. Mai 2003 unter Hinweis auf eine Nervenkrankheit zum Leistungsbezug bei der Invalidenversicherung an. Die neurologische Abklärung ergab einen diskreten, aus morphologischer Sicht unspezifischen Befund (Bericht der Frau Dr. med. S._, Spezialärztin für Neurologie FMH, vom 26. Mai 2003 und Bericht des Universitätsspitals X._, Neurologische Klinik und Poliklinik, vom 10. April 2003). Dr. med. M._, Facharzt für Psychiatrie und Psychotherapie FMH, gelangte in seinem von der IV-Stelle veranlassten Gutachten vom 30. Oktober 2003 zum Schluss, er sehe die heftigen Aggressionsausbrüche des Versicherten als Ausdruck akzentuierter Persönlichkeitszüge einer reizbaren Persönlichkeit mit eingeschränkter Fähigkeit zur Steuerung aggressiver Impulse (ICD-10 Z73.1). Die vorhandene Leistungsfähigkeit könne nicht umgesetzt werden, weshalb er arbeitsunfähig sei. Er empfahl ein Arbeitstraining mit begleiteter psychiatrischer/psychotherapeutischer Therapie und eine erneute Begutachtung nach einem halben Jahr. In einem weiteren Gutachten (vom 29. Juni 2005) gelangte die Psychiaterin Frau Dr. med. B._, Oberärztin am Psychiatrischen Zentrum W._, zum Schluss, wegen seiner möglichen Affektdurchbrüche sei der Versicherte einem Arbeitgeber nicht zumutbar. Es bestehe ein offensichtlicher Zusammenhang zwischen Benzodiazepineinnahme und Affektkontrollstörung, weshalb eine stationäre Entzugsbehandlung vorzunehmen sei. Der Versicherte begab sich stattdessen in eine ambulante psychiatrische Behandlung und unterzog sich einem hausärztlichen Drogenscreening. In einer Verlaufsbeurteilung hielt Dr. med. R._, Facharzt für Psychiatrie und Psychotherapie FMH, fest, es sei am ehesten von einer organischen affektiven Störung (ICD-10 F06.3) auszugehen. Er erachte den Versicherten in einer leidensadaptierten Tätigkeit unter Berücksichtigung der leichten neuropsychologisch nachgewiesenen Beeinträchtigung mit einer Leistungsminderung von 20 % als voll arbeitsfähig (Gutachten vom 5. Juni 2007). Mit Verfügung vom 11. Januar 2008 verneinte die IV-Stelle des Kantons St. Gallen einen Rentenanspruch bei einem ermittelten Invaliditätsgrad von 20 %. Die hiegegen geführte Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen teilweise gut und wies die Sache in Aufhebung der Verfügung vom 11. Januar 2008 zur Durchführung einer stationären psychiatrischen Begutachtung mit eingehender Fremdanamneseerhebung an die IV-Stelle zurück (Entscheid vom 2. März 2009).
A.b Die IV-Stelle liess daraufhin eine Expertise bei der Klinik P._ einholen, worin eine organisch affektive Störung (ICD-10 F06.3) in Zusammenhang mit zerebralen Mikroinfarkten sowie ein Status nach Abhängigkeitssyndrom durch multiplen Substanzgebrauch (Opioide, Benzodiazepine und Kokain) gegenwärtig abstinent (ICD-10 F19.2) mit anhaltenden kognitiven Beeinträchtigungen (ICD-10 F19.74) diagnostiziert und eine leidensangepasste Tätigkeit in der freien Wirtschaft als kaum realistisch angesehen wurde (Gutachten vom 16. August 2010). Die IV-Stelle holte zudem weitere fremdanamnestische Angaben ein, nachdem die Gutachter einzig mit dem Spital W._ und einem ehemaligen Arbeitgeber Kontakt aufgenommen hatten. Gestützt auf eine Aktenbeurteilung des RAD-Arztes Dr. med. H._, Facharzt für Allgemeine Innere Medizin FMH, vom 29. Juni 2011, welcher von einer vollschichtig verwertbaren Arbeitsfähigkeit für die angestammte Hilfsarbeitertätigkeit wie für weitere, den Fähigkeiten angepasste Tätigkeiten mit einem 20%-igen Abzug aufgrund von Impulsdurchbrüchen im Sinn einer durch die Drogenkarriere bedingten sekundären Persönlichkeitsänderung ausging, verneinte die IV-Stelle abermals einen Rentenanspruch (Verfügung vom 25. Oktober 2011).
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 18. Oktober 2012 ab.
C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und hauptsächlich beantragen, es seien ihm unter Aufhebung des angefochtenen Entscheids die gesetzlichen Leistungen, namentlich eine Invalidenrente ab 1. Februar 2004, zuzusprechen. Eventualiter sei die Sache zur Einholung eines Obergutachtens an die Vorinstanz zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Die Vorinstanz und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2. 2.1 Das trotz der gesundheitlichen Beeinträchtigung zumutbarerweise erzielbare Einkommen ist bezogen auf einen ausgeglichenen Arbeitsmarkt zu ermitteln. Dabei sind an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten keine übermässigen Anforderungen zu stellen (im Einzelnen: Urteil 9C_830/2007 vom 29. Juli 2008 E. 5.1 mit Hinweisen, publiziert in: SVR 2008 IV Nr. 62 S. 203). Persönliche und berufliche Gegebenheiten können dazu führen, dass die einer versicherten Person verbliebene Resterwerbsfähigkeit auf dem ausgeglichenen Arbeitsmarkt realistischerweise nicht mehr nachgefragt wird und ihr deren Verwertung auch gestützt auf die Selbsteingliederungspflicht nicht mehr zumutbar ist. Fehlt es an einer wirtschaftlich verwertbaren Resterwerbsfähigkeit, liegt eine vollständige Erwerbsunfähigkeit vor (Urteil I 831/05 vom 21. August 2006 E. 4.1.1 mit Hinweisen). Die Möglichkeit der Versicherten, das verbliebene Leistungsvermögen auf dem ausgeglichenen Arbeitsmarkt zu verwerten, lässt sich nicht nach einer allgemeinen Regel bemessen, sondern hängt von den Umständen des Einzelfalls ab. Massgebend können die Art und Beschaffenheit des Gesundheitsschadens und seiner Folgen, der absehbare Umstellungs- und Einarbeitungsaufwand und in diesem Zusammenhang auch die Persönlichkeitsstruktur, vorhandene Begabungen und Fertigkeiten, Ausbildung, beruflicher Werdegang oder Anwendbarkeit von Berufserfahrung aus dem angestammten Bereich sein (vgl. Urteil 9C_153/2011 vom 22. März 2012 E. 3 mit Hinweisen).
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
3.1 3.1.1 Die Vorinstanz hat in Würdigung der gesamten medizinischen Akten mit einlässlicher Begründung erkannt, aufgrund der diagnostizierten Leiden in Form einer organisch affektiven Störung (ICD-10 F06.3) und eines Status nach Abhängigkeitssyndrom durch multiplen Substanzgebrauch, gegenwärtig abstinent (ICD-10 F19.2) mit anhaltenden kognitiven Beeinträchtigungen (ICD-10 F19.74) sei der Versicherte aus medizinisch-theoretischer Sicht in einer leidensangepassten Tätigkeit zu 80 % arbeitsfähig.
3.1.2 Mit Blick auf die durch aggressives Verhalten infrage gestellte sozialpraktische Verwertbarkeit der 80%-igen Arbeitsfähigkeit trete das vom Beschwerdeführer geltend gemachte Benehmen im beruflichen Umfeld aktenkundig nicht zutage. Er sei in der Lage gewesen, vier Jahre lang ununterbrochen für die gleiche Arbeitgeberin tätig zu sein; ein weiteres, allerdings nur fünfmonatiges Arbeitsverhältnis, habe er auf eigenen Wunsch beendet. Bei einem von November 1990 bis Oktober 1991 dauernden Arbeitsverhältnis sei ihm ausdrücklich ein untadeliges Verhalten bescheinigt worden. Ein auffälliges Befragen sei auch sonst nicht dokumentiert, in der Öffentlichkeit sei es seit Jahren zu keinen Wutausbrüchen mehr gekommen, welche gemäss Angaben des Beschwerdeführers im häuslichen Bereich stattfinden würden. Auch im Rahmen der von Januar 2001 bis März 2002 ausgeübten selbstständigen Erwerbstätigkeit als Gastwirt seien laut Führungsbericht der Kantonspolizei St. Gallen (vom 7. August 2001) keine Interventionen nötig gewesen. Es sei daher nicht überwiegend wahrscheinlich, dass der Versicherte seine Restarbeitsfähigkeit bei einem verständnisvollen Arbeitgeber im Rahmen einer leidensangepassten Tätigkeit nicht mehr verwerten könne, zumal auch während der fünftägigen stationären, teilweise arbeitspraktischen Abklärung in der Klinik P._ keine aggressiven Verhaltensweisen hätten beobachtet werden können, was sich mit den Angaben von Schule und Sozialamt decke.
3.2 Der Beschwerdeführer wendet dagegen ein, in Verletzung des Untersuchungsgrundsatzes und der Regeln der freien Beweiswürdigung habe die Vorinstanz auf die Aktenbeurteilung des RAD-Arztes Dr. med. H._ anstatt auf das beweiskräftige Gutachten der Klinik P._ (vom 16. August 2010), worin der Versicherte einzig in einer adaptierten Tätigkeit in geschütztem Rahmen für zweimal zwei Stunden pro Tag arbeitsfähig geschätzt worden sei, abgestellt.
3.3 Die Vorinstanz hat insbesondere deswegen eine erneute Begutachtung angeordnet, weil sich die bisherigen drei Gutachten und die übrigen medizinischen Stellungnahmen, soweit sie die Verwertbarkeit der grundsätzlich attestierten Arbeitsfähigkeit wegen der vom Beschwerdeführer angegebenen, teilweise tätlichen, Impulsdurchbrüche in Zweifel zogen, auf seine Angaben, ohne objektive Anhaltspunkte und ohne entsprechende Fremdanamnese, stützten. Das kantonale Gericht erachtete das Einholen von Fremdauskünften aus seinem familiären und beruflichen Umfeld über Impulsstörungen und Gewaltausbrüche (neben einer Verhaltensbeobachtung in stationärem Rahmen) als wesentlich für die medizinische Beurteilung der Arbeitsfähigkeit und deren praktischen Verwertbarkeit. Dementsprechend verlangte es in seinem Rückweisungsentscheid vom 2. März 2009 eine eingehende Fremdanamnese (beispielsweise durch Befragung von Familie, Gemeinde- und Schulbehörden), welche, zusammen mit einer längeren stationären Beobachtungszeit, das ganze Verhalten und Beschwerdebild des Versicherten beurteilen liessen.
3.4 Das am 16. August 2010 erstattete Gutachten der Klinik P._ erachtete das kantonale Gericht insoweit nicht als schlüssig und nachvollziehbar, als die Verwertbarkeit der festgestellten 80%-igen Arbeitsfähigkeit wiederum - ohne umfassende fremdanamnestische Abklärungen - gestützt auf die subjektiven Angaben des Beschwerdeführers verneint wurde, obwohl während der stationären fünftägigen Abklärung keine pathologische Aggressivität erhoben werden konnte. Entgegen der Auffassung des Beschwerdeführers ist es daher nicht zu beanstanden, wenn die Vorinstanz die Darlegungen in der Expertise hinsichtlich der Frage der Verwertbarkeit der attestierten Restarbeitsfähigkeit als wenig plausibel erachtete und dementsprechend nicht darauf abstellte. Aufgrund einer Gesamtwürdigung aller Gutachten und der weiteren medizinischen Unterlagen hat das Versicherungsgericht nachvollziehbar dargelegt, dass die Verwertung der verbleibenden Restarbeitsfähigkeit von 80 % zumutbar ist.
3.5 Das kantonale Gericht hat den Sachverhalt nicht offensichtlich unrichtig festgestellt. Es liegt weder eine Verletzung des Untersuchungsgrundsatzes (Art. 61 lit. c ATSG) noch anderer bundesrechtlicher Beweisgrundsätze vor. Ist die vorinstanzliche Beweiswürdigung demnach nicht offensichtlich unrichtig oder sonstwie bundesrechtswidrig, bleibt sie für das Bundesgericht verbindlich (E. 1). Folglich hat das kantonale Gericht in zulässiger antizipierender Beweiswürdigung (vgl. BGE 137 V 64 E. 5.2 S. 69; 136 I 229 E. 5.3 S. 236; Urteil 8C_682/2011 E. 3.2.4) auf weitere Abklärungen verzichtet. Das letztinstanzlich erstmals eingereichte Schreiben des Dr. med. E._, Facharzt für Allgemeine Innere Medizin, Kirchberg, vom 26. November 2012, worin dieser einen im September 2012 in seiner Praxis erlebten Kontrollverlust des Versicherten beschrieb, ist als unzulässiges Novum (Art. 99 BGG) nicht zu berücksichtigen.
4. Gegen die konkrete Invaliditätsbemessung im angefochtenen Entscheid erhebt der Beschwerdeführer keine Einwände, weshalb es beim vorinstanzlich durch sog. Prozentvergleich (zu dessen Zulässigkeit: BGE 114 V 310 E. 3a S. 312; 104 V 135 E. 2b S. 137) ermittelten rentenausschliessenden Invaliditätsgrad von 32 % sein Bewenden hat.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Dieter Studer wird als unentgeltlicher Anwalt bestellt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. März 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Polla