Sachverhalt:
A. Der 1955 geborene, selbstständigerwerbende C._ meldete sich am 1. Oktober 2010 bei der Invalidenversicherung zum Leistungsbezug an und verwies bezüglich Art der gesundheitlichen Beeinträchtigung auf zwei beigelegte Arztzeugnisse des Dr. med. R._ vom 5. Mai 2008 sowie vom 22. September 2010. Am 14. Februar 2011 wurde C._ ein künstliches Kniegelenk eingesetzt. Die IV-Stelle des Kantons Thurgau holte einen Bericht des Hausarztes Dr. med. R._ vom 25. Februar 2011 sowie eine Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 27. April 2011 sowie 31. Mai 2011 ein und klärte die erwerblichen Verhältnisse ab. Nach durchgeführtem Vorbescheidverfahren verneinte sie mit Verfügungen vom 24. Juni 2011 den Anspruch auf Umschulung wie auch auf eine Invalidenrente.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 9. November 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt C._ beantragen, unter Aufhebung des angefochtenen Entscheids sowie der Verfügungen der IV-Stelle vom 24. Juni 2011 sei ihm rückwirkend ab April 2011 bis nach Abschluss des Heilungsprozesses beider Knie eine ganze Invalidenrente zuzusprechen und danach eine Revision im Sinne einer Neubeurteilung vorzunehmen, eventualiter sei die Angelegenheit betreffend Invalidenrente an die IV-Stelle zurückzuweisen, damit sie weitere medizinische Abklärungen vornehme und neu verfüge, schliesslich sei die Angelegenheit betreffend berufliche Massnahmen an die IV-Stelle zurückzuweisen und es sei über eine Umschulung erst nach Abschluss des Heilungsprozesses zu verfügen. Er reicht einen Bericht des Spitals X._ vom 21. Juni 2011 und einen Bericht des Dr. med. H._ vom 3. November 2011 ein.
Die IV-Stelle und das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
C._ lässt an seinen Anträgen festhalten und ein Arztzeugnis des Dr. med. H._ vom 19. März 2012 nachreichen. Mit Eingabe vom 2. Mai 2012 lässt er nochmals zwei medizinische Berichte zu den Akten geben.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 Abs. 1 und 2 BGG).
2. 2.1 Das kantonale Gericht hat die massgeblichen Rechtsgrundlagen zutreffend dargelegt. Es betrifft dies insbesondere die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze zum Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und Erwerbsunfähigkeit (<ref-law>) sowie zum Anspruch auf Umschulung (<ref-law>) und auf eine Invalidenrente (<ref-law>). Ebenfalls richtig sind die Ausführungen zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 f.). Darauf wird verwiesen.
2.2 Sowohl das Verwaltungsverfahren wie auch der kantonale Sozialversicherungsprozess sind - wie die Vorinstanz dargelegt hat - vom Untersuchungsgrundsatz beherrscht (Art. 43 Abs. 1 und <ref-law>). Danach haben Verwaltung und Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht. Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich (<ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195, je mit Hinweisen) zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94).
2.3 Der Untersuchungsgrundsatz zählt zu den in <ref-law> erwähnten bundesrechtlichen Vorschriften. Die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigung nach <ref-law> ist eine Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>). Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke verletzt etwa dann Bundesrecht, wenn der festgestellte Sachverhalt unauflösbare Widersprüche enthält oder wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (vgl. Urteile 8C_392/2011 vom 19. September 2011 E. 2.2 f. und 9C_58/2011 vom 25. März 2011 E. 2.3, je mit Hinweisen).
3. Der Beschwerdeführer hat letztinstanzlich verschiedene Urkunden neu aufgelegt. Wie die nachfolgenden Erwägungen zeigen, sind sie für den Verfahrensausgang nicht relevant, weshalb offen bleiben kann, ob deren Einreichung gemäss <ref-law> zulässig ist.
4. 4.1 Die IV-Stelle und die Vorinstanz gelangten aufgrund der Einschätzung des RAD vom 27. April / 31. Mai 2011 zum Schluss, dass der Versicherte in einer die Knie nicht belastenden sitzenden Tätigkeit 100% arbeitsfähig sei, zumal in den Akten Hinweise auf eine ungewöhnliche Verzögerung des Heilungsverlaufs nach Einsetzen der Knieprothese oder auf eine Gonarthrose auf der rechten Seite fehlten.
4.2 Der Beschwerdeführer rügt eine Verletzung der Abklärungspflicht nach <ref-law>. Die Sachverhaltsfeststellung durch die Verwaltung - so der Versicherte - sei unvollständig gewesen. Die IV-Stelle habe bereits am 2. März 2011, somit zweieinhalb Wochen nach Einsetzen der Knie-Totalprothese, Vorbescheide betreffend Invalidenrente sowie berufliche Massnahmen erlassen. Daran habe sie nach ungenügenden eigenen Abklärungen mit Verfügungen vom 24. Juni 2011 festgehalten, obschon er in Nachachtung seiner Mitwirkungspflicht fortlaufend medizinische Berichte eingereicht habe und für die IV-Stelle daraus ersichtlich gewesen sei, dass der Heilungsverlauf keineswegs komplikationslos verlaufen und bis zum Verfügungszeitpunkt nicht abgeschlossen gewesen sei.
5. 5.1 Die medizinische Aktenlage präsentiert sich wie folgt:
5.1.1 In der Anmeldung bei der Invalidenversicherung vom 1. Oktober 2010 verwies der Beschwerdeführer auf zwei Atteste des Dr. med. R._. Der Hausarzt hatte im Zeugnis vom 5. Mai 2008 bestätigt, der Versicherte leide an starken arthrotischen Veränderungen an den Intervertebralgelenken L4/L5 und es sei nachvollziehbar, dass er schwere körperliche Arbeiten nur noch zu 80% verrichte. Im Attest vom 22. September 2010 hatte Dr. med. R._ sodann eine schwere mediale und retropatellare Gonarthrose links diagnostiziert und festgehalten, nach erfolgreicher Implantation eines künstlichen Kniegelenks sei eine leichte Arbeit denkbar, wohingegen eine schwere körperliche Arbeit auch bei günstigem Verlauf nicht möglich sei.
5.1.2 Am 14. Februar 2011 wurde dem Beschwerdeführer ein künstliches Kniegelenk eingesetzt. Dazu war er vom 13. bis 21. Februar 2011 im Spital X._ hospitalisiert.
5.1.3 Vor Erlass der beiden Vorbescheide vom 2. März 2011 holte die IV-Stelle ein Zeugnis des Dr. med. R._ vom 25. Februar 2011 ein. Darin hielt der Hausarzt fest, der Beschwerdeführer sei seit 22. April 2010 100% arbeitsunfähig gewesen, sei in seiner bisherigen Tätigkeit nicht mehr einsatzfähig und mit der Wiederaufnahme einer angepassten beruflichen Tätigkeit zu ca. 50% könne ab ca. Juni 2011 gerechnet werden, wobei er von einer günstigen Prognose nach der Operation ausgehe.
5.1.4 Mit Einwand gegen den Vorbescheid betreffend Umschulung machte der Versicherte am 16. März 2011 geltend, seine Arbeitsfähigkeit könne nach der Operation noch nicht mit Sicherheit festgestellt werden; der Genesungsprozess bezüglich des linken Knies sei nicht abgeschlossen und das rechte Knie weise dieselben Symptome auf. Er ersuchte um Zuwarten mit dem Entscheid und legte namentlich den Kurzaustrittsbericht des Spitals X._ vom 21. Februar 2011, ein Röntgenbild vom 16. Februar 2011 sowie die Arztzeugnisse des Dr. med. R._ vom 5. Mai 2008 und 22. September 2010 bei. Am 18. März 2011 erhob der Beschwerdeführer mit gleicher Begründung Einwand gegen den Vorbescheid betreffend Invalidenrente. Im April 2011 reichte er weitere Röntgenbilder ein und informierte die IV-Stelle über anstehende Arzttermine im Mai / Juni 2011. Auf Nachfrage hin teilte der Versicherte der IV-Stelle mit, er habe nach der Knieoperation keine Reha absolviert, sondern sei bei der Physiotherapie Y._ in Therapie. Im Mai 2011 informierte der Beschwerdeführer die IV-Stelle über Arzttermine im Juni / Juli und reichte die neue Physiotherapieverordnung vom 16. Mai 2011 ein. Am 12. Mai 2011 gab die Physiotherapie Y._ einen Zwischenbericht zur Behandlungsdauer vom 28. Februar bis 10. Mai 2011 ab und hielt fest, es bestehe immer noch eine Schwellung am Knie, welche vor allem nach Belastung zunehme. Das Treppenabsteigen löse Schmerzen aus, die Knieextension sei noch nicht enggradig frei und es zeige sich noch immer ein deutliches Defizit der Kniestabilität, vor allem im Seitenvergleich.
5.1.5 Die IV-Stelle holte im Rahmen des Case Reports schliesslich eine Stellungnahme des RAD ein. Dr. med. M._ hielt den Versicherten für eine die Knie nicht belastende Tätigkeit für 100% arbeitsfähig. Nach Abschwellung sei ihm hauptsächlich eine sitzende Tätigkeit 100% zumutbar; eigentlich könne er aber jetzt schon 100% eine sitzende Tätigkeit ausüben, da er zu Hause wohl auch hauptsächlich sitzen werde und die Physiotherapie nicht acht Stunden täglich, fünf Tage wöchentlich gemacht werde (Einträge im Case Report vom 27. April und 31. Mai 2011.
5.2 Damit liegen diverse Atteste und Berichte des Hausarztes, des Spitals X._ und der Physiotherapie Y._ sowie zwei Protokolleinträge des RAD vor. Sie sind indessen sehr knapp und äussern sich - wenn überhaupt - nur rudimentär zur Arbeitsfähigkeit. Eine 100%ige Arbeitsfähigkeit in einer adaptierten Tätigkeit zum Verfügungszeitpunkt attestiert dem Beschwerdeführer lediglich Dr. med. M._ vom RAD, dies jedoch ohne schlüssige Begründung und im Wissen darum, dass der Heilungsprozess noch nicht abgeschlossen war. Dr. med. M._ ist Facharzt für Allgemeine Innere Medizin und hat den Versicherten nie gesehen. Er hat eine andere Einschätzung der Arbeitsfähigkeit abgegeben, ohne sich mit den übrigen medizinischen Berichten auseinanderzusetzen.
5.3 Zusammenfassend ist festzustellen, dass die knapp gehaltenen ärztlichen Stellungnahmen den Anforderungen an eine beweiskräftige medizinische Entscheidungsgrundlage nicht genügen. Die erörterten Berichte können weder je für sich allein betrachtet noch in der Gesamtheit als schlüssig bezeichnet werden. Die Widersprüchlichkeiten lassen sich auch nicht ohne Weiteres ausräumen, zumal es den jeweiligen Einschätzungen an einlässlichen Begründungen fehlt. Die Verwaltung hätte sich nicht mit der auf einer Aktenbeurteilung beruhenden (Kurz-)Stellungnahme des RAD begnügen dürfen, sondern hätte mit Blick auf die dürftige, unklare medizinische Aktenlage weitere Abklärungen tätigen müssen. Indem die Vorinstanz dieses Vorgehen schützte, hat sie Bundesrecht verletzt (<ref-law>). Die Sache ist unter den gegebenen Umständen an die IV-Stelle zurückzuweisen, damit sie ergänzende Abklärungen vornehme und anschliessend über die Leistungsbegehren neu verfüge.
6. In erwerblicher Hinsicht (hierzu: <ref-ruling> E. 3.3. S. 399) ist das vorinstanzlich ermittelte Valideneinkommen des Versicherten unbestritten, weshalb es damit sein Bewenden hat. Über das von ihm erzielbare Invalideneinkommen kann erst nach rechtsgenüglicher Klärung seiner Arbeitsfähigkeit befunden werden (vgl. Urteil 8C_304/2011 vom 6. Juli 2011 E. 7).
7. Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>). Diese hat dem obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 9. November 2011 und die Verfügungen der IV-Stelle des Kantons Thurgau vom 24. Juni 2011 werden aufgehoben. Die Sache wird an die IV-Stelle des Kantons Thurgau zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Leistungsansprüche des Beschwerdeführers neu verfüge. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Thurgau zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Mai 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch