Sachverhalt: A. A._, geboren 1989, bezog schon in der Kindheit unter anderem wegen Dysgrammatismus und Dyslalie pädagogisch-therapeutische und Sonderschulmassnahmen von der Invalidenversicherung. Vom 24. Juli 2003 bis 26. Januar 2004 war er wegen einer Störung des Sozialverhaltens in der Klinik X._ für Psychiatrie und Psychotherapie hospitalisiert. Eine Lehre als Heizungsmonteur brach er nach knapp einem Monat ab. Am 9. Dezember 2009 meldete sich A._ bei der IV-Stelle des Kantons Thurgau erneut zum Leistungsbezug an. Er beantragte in der Folge neben beruflichen Massnahmen auch eine Invalidenrente sowie eine Hilflosenentschädigung. Gestützt auf die Ergebnisse eines psychiatrischen Gutachtens der Psychotherapiepraxis B._ vom 20. Dezember 2011 (nachfolgend: Gutachten B._) sowie nach weiteren Abklärungen verneinte die IV-Stelle mit zwei Verfügung vom 24. Mai 2012 sowohl einen Anspruch auf berufliche Massnahmen (Berufsberatung/Umschulung) wie auch einen Rentenanspruch, weil ihm die Ausübung einer einfachen Hilfsarbeitertätigkeit bei einer Arbeitsfähigkeit von 70 % bis 80 % zumutbar sei. B. Die hiegegen erhobene Beschwerde des A._ wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 12. Dezember 2012 insofern ab, als es einen Rentenanspruch verneinte (Dispositiv-Ziffer 1). Hinsichtlich beruflicher Massnahmen hiess es die Beschwerde gut, hob die entsprechende Verfügung der IV-Stelle vom 24. Mai 2012 auf und wies die Sache diesbezüglich zur Durchführung der erforderlichen Abklärungen und Neuverfügung an die Vorinstanz zurück (Dispositiv-Ziffer 2). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, Dispositiv-Ziffer 1 des angefochtenen Entscheids sei aufzuheben und ihm ab 1. Juni 2010 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zuzusprechen. Die IV-Stelle habe die ausgewiesenen Kosten für ein im kantonalen Verfahren eingereichtes psychiatrisches Privatgutachten vom 4. Juni 2012 und einen ergänzenden Bericht der Fachärztin FMH für Kinder- und Jugendpsychiatrie Dr. med. D._ (nachfolgend: Gutachten D._) zu übernehmen. Eventualiter sei die Sache zur weiteren medizinisch-psychiatrischen Abklärung und Neubeurteilung an die Vorinstanz oder IV-Stelle zurückzuweisen. Zudem lässt A._ um Gewährung der unentgeltlichen Prozessführung und Verbeiständung ersuchen. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.