Sachverhalt:
A. A._, geboren 1989, bezog schon in der Kindheit unter anderem wegen Dysgrammatismus und Dyslalie pädagogisch-therapeutische und Sonderschulmassnahmen von der Invalidenversicherung. Vom 24. Juli 2003 bis 26. Januar 2004 war er wegen einer Störung des Sozialverhaltens in der Klinik X._ für Psychiatrie und Psychotherapie hospitalisiert. Eine Lehre als Heizungsmonteur brach er nach knapp einem Monat ab. Am 9. Dezember 2009 meldete sich A._ bei der IV-Stelle des Kantons Thurgau erneut zum Leistungsbezug an. Er beantragte in der Folge neben beruflichen Massnahmen auch eine Invalidenrente sowie eine Hilflosenentschädigung. Gestützt auf die Ergebnisse eines psychiatrischen Gutachtens der Psychotherapiepraxis B._ vom 20. Dezember 2011 (nachfolgend: Gutachten B._) sowie nach weiteren Abklärungen verneinte die IV-Stelle mit zwei Verfügung vom 24. Mai 2012 sowohl einen Anspruch auf berufliche Massnahmen (Berufsberatung/Umschulung) wie auch einen Rentenanspruch, weil ihm die Ausübung einer einfachen Hilfsarbeitertätigkeit bei einer Arbeitsfähigkeit von 70 % bis 80 % zumutbar sei.
B. Die hiegegen erhobene Beschwerde des A._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 12. Dezember 2012 insofern ab, als es einen Rentenanspruch verneinte (Dispositiv-Ziffer 1). Hinsichtlich beruflicher Massnahmen hiess es die Beschwerde gut, hob die entsprechende Verfügung der IV-Stelle vom 24. Mai 2012 auf und wies die Sache diesbezüglich zur Durchführung der erforderlichen Abklärungen und Neuverfügung an die Vorinstanz zurück (Dispositiv-Ziffer 2).
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, Dispositiv-Ziffer 1 des angefochtenen Entscheids sei aufzuheben und ihm ab 1. Juni 2010 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zuzusprechen. Die IV-Stelle habe die ausgewiesenen Kosten für ein im kantonalen Verfahren eingereichtes psychiatrisches Privatgutachten vom 4. Juni 2012 und einen ergänzenden Bericht der Fachärztin FMH für Kinder- und Jugendpsychiatrie Dr. med. D._ (nachfolgend: Gutachten D._) zu übernehmen. Eventualiter sei die Sache zur weiteren medizinisch-psychiatrischen Abklärung und Neubeurteilung an die Vorinstanz oder IV-Stelle zurückzuweisen. Zudem lässt A._ um Gewährung der unentgeltlichen Prozessführung und Verbeiständung ersuchen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232). Die aufgrund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Tatfragen (BGE 132 V 393 E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils BGE 135 V 254, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_607/2011 vom 16. März 2012 E. 1).
2. Das kantonale Gericht hat die Grundlagen über die Erwerbsunfähigkeit (Art. 7 ATSG), die Invalidität (Art. 8 Abs. 1 ATSG; Art. 4 Abs. 1 IVG) und den Rentenanspruch (Art. 28 Abs. 1 und 2 IVG) richtig dargelegt. Gleiches gilt betreffend den Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 134 V 109 E. 9.5 S. 125) und den Beweiswert ärztlicher Unterlagen (E. 1 hievor). Darauf wird verwiesen.
3. Strittig ist der Anspruch auf eine Invalidenrente. Dabei ist einzig zu prüfen, ob die Vorinstanz Bundesrecht verletzte, indem sie nach umfassender Beweiswürdigung gestützt auf das Gutachten B._ auf eine trotz gewisser psychischer Beschwerden zumutbare Arbeitsfähigkeit von 70 % bis 80 % in einer einfachen angelernten Hilfsarbeitertätigkeit geschlossen hat.
4. 4.1 Soweit der Beschwerdeführer vorbringt, das Gutachten B._ könne "nicht als unbefangen und objektiv gelten", legt er keine Umstände dar, welche es aus formellen Gründen verbieten würden, auf dieses Gutachten abzustellen. Zudem wird dieser Einwand erstmals vor Bundesgericht erhoben, weshalb er prozessual unzulässig ist (SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 1 mit Hinweis; Urteil 8C_997/2010 vom 10. August 2011 E. 2.3).
4. 4.1 Soweit der Beschwerdeführer vorbringt, das Gutachten B._ könne "nicht als unbefangen und objektiv gelten", legt er keine Umstände dar, welche es aus formellen Gründen verbieten würden, auf dieses Gutachten abzustellen. Zudem wird dieser Einwand erstmals vor Bundesgericht erhoben, weshalb er prozessual unzulässig ist (SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 1 mit Hinweis; Urteil 8C_997/2010 vom 10. August 2011 E. 2.3).
4.2 4.2.1 Im Wesentlichen beanstandet der Versicherte, ausgehend von der Gleichwertigkeit des Gutachtens B._ und des Gutachtens D._ könne das Privatgutachten entgegen der Vorinstanz nicht unter Hinweis darauf entkräftet werden, dass es sich bei der Psychiaterin Dr. med. D._ - im Gegensatz zum Gutachten B._ - um eine "Fachärztin FMH für Kinder- und Jugendpsychiatrie/-psychotherapie" handle. Auch wenn der Beschwerdeführer im Zeitpunkt der beiden psychiatrischen Explorationen bereits 22 Jahre alt gewesen sei, ändere die fachärztliche Qualifikation als Kinder- und Jugendpsychiaterin nichts an der Beweiskraft des Gutachtens D._. Der Versicherte habe schliesslich schon seit jüngster Kindheit an massiven Anpassungs- und Sozialstörungen gelitten. Dr. med. D._ habe - anders als das Gutachten B._ - unmissverständlich ein ADHS (Aufmerksamkeitsdefizit-/ Hyperaktivitätsstörung) im Sinne von F90.0 nach ICD-10 diagnostiziert. Im Gutachten B._ habe man diese Diagnose "wie der Teufel das Weihwasser" vermieden. Basierend auf dieser - behaupteten - Fehlbeurteilung des Gutachtens B._ habe das kantonale Gericht verkannt, dass der Beschwerdeführer derzeit infolge einer Kombination von ADHS und Störung des Sozialverhaltens arbeits- und ausbildungsunfähig sei.
4.2.2 Dass die Vorinstanz den rechtserheblichen Sachverhalt offensichtlich unrichtig oder unvollständig festgestellt habe, rügt der Versicherte nicht. Das kantonale Gericht hat sich in eingehender und nicht zu beanstandender Beweiswürdigung mit der medizinischen Aktenlage befasst und insbesondere ausführlich dargelegt, dass das Gutachten B._ auch zu der teilweise in früheren Arztberichten erwähnten ADHS-Diagnose ausdrücklich Stellung genommen und nachvollziehbar begründet hat, weshalb zurzeit keine adulte ADHS diagnostiziert werden könne. Die Kritik des Beschwerdeführers am Gutachten B._ beruht letztlich auf seinem Standpunkt, wonach das private Gutachten D._ seine Gesundheitsstörung richtig diagnostiziert habe und demzufolge die Diagnose des Gutachtens B._ unzutreffend sei. Dass das Gutachten B._ nicht lege artis erstellt wurde, behauptet er nicht. In diesem Zusammenhang ist zu verdeutlichen, dass die psychiatrische Exploration von der Natur der Sache her nicht ermessensfrei erfolgen kann und dem begutachtenden Psychiater deshalb praktisch immer einen gewissen Spielraum eröffnet, innerhalb dessen verschiedene medizinisch-psychiatrische Interpretationen möglich, zulässig und zu respektieren sind, sofern der Experte lege artis vorgegangen ist (BGE 124 I 170 E. 4 S. 175; Urteil I 701/05 vom 5. Januar 2007 E. 2 in fine mit zahlreichen Hinweisen; vgl. auch Urteil 8C_997/2010 vom 10. August 2011 E. 3.2). Die Vorinstanz hat schliesslich unter Mitberücksichtigung der Beurteilung vom 6. Juli 2012 der Dr. med. G._, Fachärztin für Psychiatrie und Psychotherapie des Regionalen Ärztlichen Dienstes (RAD) der Invalidenversicherung, ohne Bundesrechtsverletzung überzeugend festgestellt, dass dem privaten Gutachten D._ im Vergleich zum Gutachten B._ keine neuen medizinischen Erkenntnisse zugrunde liegen, sondern die von einander abweichenden Aussagen der beiden Gutachten auf einer unterschiedlichen Schwerpunktsetzung in der Kinder- und Jugendpsychiatrie einerseits und in der Erwachsenenpsychiatrie andererseits beruhen. Im Übrigen ist dem Gutachten D._ keine nachvollziehbare und überzeugende Begründung dafür zu entnehmen, weshalb die Diagnosen des Gutachtens B._ offensichtlich unrichtig seien oder anderweitig gegen die Regeln der medizinischen Kunst verstossen würden. Das kantonale Gericht hat zu Recht auf das die praxisgemässen Anforderung von BGE 125 V 351 E. 3a S. 352 erfüllende Gutachten B._ abgestellt und unter den gegebenen Umständen ohne Bundesrecht zu verletzen in zulässiger antizipierter Beweiswürdigung (BGE 136 I 229 E. 5.3 S. 236; 124 V 90 E. 4b S. 94) auf weitere Abklärungen verzichtet.
4.3 Hat die Vorinstanz zutreffend erkannt, dass auf das voll beweiskräftige Gutachten B._ abzustellen ist, so ist die Berücksichtigung einer Arbeitsfähigkeit von 70 % bis 80 % hinsichtlich einer einfachen angelernten Hilfsarbeitertätigkeit gemäss angefochtenem Entscheid nicht zu beanstanden. Der Beschwerdeführer begnügt sich damit, der vorinstanzlichen Sachverhaltsfeststellung in appellatorischer Weise die Arbeitsunfähigkeitsschätzung der Parteigutachterin und des behandelnden Psychiaters gegenüberzustellen, ohne im Einzelnen konkret darzulegen, weshalb die Arbeitsfähigkeitsbeurteilung gemäss Gutachten B._, auf welche sich der angefochtene Entscheid abstützt, Bundesrecht verletze.
4.4 Bleibt es nach dem Gesagten bei der vorinstanzlich festgestellten, trotz psychischer Beschwerden zumutbarerweise in einer einfachen Hilfsarbeitertätigkeit verwertbaren Restarbeitsfähigkeit von 70 % bis 80 %, so erhebt der Versicherte gegen die daraus von Verwaltung und Vorinstanz gezogenen Schlussfolgerungen hinsichtlich eines rentenanspruchausschliessenden Invaliditätsgrades keine Einwände. Es hat demzufolge beim angefochtenen Entscheid sein Bewenden.
4.5 Dies gilt auch in Bezug auf die Kosten des Privatgutachtens der Dr. med. D._ vom 4. Juni 2012 mit Ergänzungen vom 30. Juli 2012. Ihre Ausführungen waren nach dem Gesagten für die Beurteilung des Streitgegenstandes weder erforderlich noch entscheidrelevant. Das kantonale Gericht hat daher den Antrag, die Kosten dieser Expertise seien der Verwaltung zu überbinden, zu Recht abgewiesen (Art. 61 lit. g ATSG; RKUV 2005 Nr. U 547 S. 221, U 85/04 E. 2.1 mit Hinweisen; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 113 zu Art. 61 ATSG; vgl. auch Art. 45 Abs. 1 ATSG; Urteil 8C_850/2012 vom 24. Januar 2013 E. 4).
5. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten sind vom unterliegenden Beschwerdeführer zu tragen (Art. 65 Abs. 4 lit. a in Verbindung mit Art. 66 Abs. 1 BGG).
Gemäss Art. 64 Abs. 1 BGG wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Die erhobenen Rügen vermochten den angefochtenen Entscheid nicht ernsthaft in Zweifel zu ziehen. Dem Gesuch um unentgeltliche Rechtspflege ist daher zufolge Aussichtslosigkeit der Beschwerde nicht zu entsprechen.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Mai 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Hochuli