Sachverhalt:
A. X._, geboren 1964, meldete sich am 13. Oktober 2003 zum Bezug von Leistungen der Invalidenversicherung an. Mit Verfügung vom 28. Mai 2004 lehnte die IV-Stelle des Kantons Freiburg den Anspruch auf eine Rente ab, gewährte hingegen Arbeitsvermittlung. Mit Einspracheentscheid vom 20. Dezember 2004 hob die IV-Stelle ihre Verfügung auf und ordnete weitere Abklärungen an; den Anspruch auf unentgeltliche Rechtspflege für das Einspracheverfahren lehnte sie ab. Dieser Einspracheentscheid erwuchs unangefochten in Rechtskraft. Die IV-Stelle holte fachärztliche Gutachten bei Dr. med. H._, Facharzt für Neurologie, und bei Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, ein. X._ war am 30. Mai 2006 in einen Auffahrunfall verwickelt. Mit Verfügung vom 24. Juli 2007 lehnte die IV-Stelle einen Anspruch auf eine Invalidenrente gestützt auf den ermittelten Invaliditätsgrad von 24 % sowie auf unentgeltliche Rechtspflege für das Verwaltungsverfahren ab. Der Sozialversicherungsgerichtshof des Kantons Freiburg wies die dagegen erhobene Beschwerde unter Beizug der Akten des Unfallversicherers am 23. Dezember 2009 ab. Das Bundesgericht hob diesen Entscheid mit Urteil 8C_143/2010 vom 30. Juni 2010 auf und wies die Sache zur Durchführung einer öffentlichen Verhandlung an die Vorinstanz zurück.
B. Der Sozialversicherungsgerichtshof führte am 10. Dezember 2010 eine öffentliche Verhandlung durch und wies die Beschwerde des X._ mit Entscheid vom 25. Februar 2011 erneut ab.
C. X._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, ihm eine Rente auf der Basis von 100 % zu bezahlen, und es sei ihm für die beiden Verfahren vor dem Kantonsgericht eine Summe von Fr. 4'852.80 zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zu erneuter Beurteilung zurückzuweisen. Zudem ersucht er um einen zweiten Schriftenwechsel sowie um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2. Aus <ref-law> folgt e contrario, dass es im Verfahren vor Bundesgericht in der Regel bei einem einfachen Schriftenwechsel sein Bewenden hat (ULRICH MEYER/JOHANNA DORMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 19 zu <ref-law>) und nur ausnahmsweise ein zweiter Schriftenwechsel eröffnet wird (<ref-ruling> E. 2.2 S. 99). Der Versicherte legt nicht dar, worin mit Blick auf den angefochtenen Entscheid eine besondere "Komplexität des Falles" besteht, welche ausnahmsweise die Durchführung eines zweiten Schriftenwechsels rechtfertigen soll (Urteil 8C_124/2011 vom 27. Juni 2011 E. 2). Von der Durchführung des beantragten zweiten Schriftenwechsels ist demnach abzusehen, enthält doch die Vernehmlassung der IV-Stelle weder für den Verfahrensausgang wesentliche neue Aspekte, zu denen der Versicherte vor der Entscheidfällung angehört werden müsste, noch dient ein zweiter Schriftenwechsel dazu, Anträge und Rügen vorzubringen, die bereits in der Beschwerde selbst hätten gestellt oder vorgebracht werden können und müssen (<ref-law>; Urteil 8C_761/2008 vom 27. März 2009 E. 1 mit Hinweis).
3. Die Vorinstanz hat die Bestimmungen und Grundsätze über den Anspruch auf rechtliches Gehör (<ref-law>), Ausstands- und Ablehnungsgründe sowie deren rechtzeitige Geltendmachung (<ref-law>; <ref-ruling> E. 7.4.2 S. 112), den Anspruch auf eine Rente der Invalidenversicherung (<ref-law> in der bis 31. Dezember 2003 sowie in der von 1. Januar 2004 bis 31. Dezember 2007 geltenden Fassung), den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law> in der seit 1. Januar 2003 geltenden Fassung), insbesondere bei psychischen Gesundheitsschäden (<ref-ruling>, 130 V 352, 130 V 396, je mit Hinweisen), und die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling>, 128 V 29 E. 1 S. 30 mit Hinweis) zutreffend dargelegt. Dasselbe gilt für die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352), die antizipierte Beweiswürdigung (<ref-ruling> E. 5.3 S. 236) und den Anspruch auf Umschulung (<ref-law>; <ref-ruling> E. 2 S. 109). Darauf wird verwiesen.
4. Die Vorinstanz hat in für das Bundesgericht verbindlicher Weise (E. 1) festgestellt, dass der medizinische Sachverhalt hinreichend abgeklärt ist, dem Versicherten gestützt auf die Gutachten des Dr. med. H._ vom 7. Februar 2005 und des Dr. med. E._ vom 23. Januar 2006 sowie die Berichte der Rehaklinik C._ vom 23. Mai 2003, des Kreisarztes Dr. med. K._, Facharzt für Chirurgie, vom 15. Januar und 2. Oktober 2003, des Kreisarztes Dr. med. W._ vom 13. November 2002, des Kreisarztes Dr. med. G._ vom 13. September 2002, des Dr. med. O._, Facharzt für orthopädische Chirurgie, Spital Y._, vom 18. August 2004, sowie der Ärzte der interdisziplinären Sprechstunde, Spital Z._, vom 21. April 2004 dem Versicherten die angestammte Tätigkeit als Maurer nicht mehr, wohl aber eine leichte körperliche Tätigkeit voll zumutbar ist, und dass auf die abweichende Beurteilung durch Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie, der Frau Dr. med. M._, Fachärztin für Allgemeine Medizin, und des Dr. med. S._, Facharzt für Allgemeine Medizin, nicht abgestellt werden kann. Gestützt darauf hat die Vorinstanz einen rentenausschliessenden Invaliditätsgrad von 25 % ermittelt und einen Anspruch auf Umschulung abgelehnt.
Daran vermögen die erhobenen Einwände des Versicherten nichts zu ändern. Namentlich liegt selbst unter Berücksichtigung des kürzlich ergangenen <ref-ruling> keine Verletzung des Anspruchs auf rechtliches Gehör (<ref-law>) vor. Denn dem Versicherten wurden vorgängig zur jeweiligen Begutachtung sowohl die Namen als auch die dem Sachverständigen unterbreiteten Fragen zur Stellungnahme zugestellt. Weiter legt der Versicherte nicht dar, inwiefern die Sachverhaltsfeststellung willkürlich sein soll. Soweit der Versicherte rügen lässt, es liege eine Verletzung des Untersuchungsgrundsatzes (Art. 43 resp. <ref-law>) vor, kann ihm nicht gefolgt werden. Der medizinische Sachverhalt wurde sowohl in somatischer wie auch psychischer Hinsicht eingehend abgeklärt. Ebenso wenig ist sein Anspruch auf eine öffentliche Verhandlung verletzt. Diese wurde durchgeführt. Dass seinem kurzfristig und unter den gegebenen Umständen vom Gericht als unnötig qualifizierten Antrag auf Bestellung eines Dolmetschers nicht entsprochen wurde, ist nicht zu beanstanden. Auch die im Rahmen der grundsätzlich zulässigen antizipierten Beweiswürdigung erfolgte Ablehnung der beantragten Einvernahmen gibt keinen Anlass für ein Einschreiten, da mit der Vorinstanz festzuhalten ist, dass die angerufenen Ärzte sich bereits schriftlich zum Sachverhalt geäussert haben und eine Befragung des Versicherten lediglich seine subjektive, für die hier zu beantwortenden Fragen jedoch nicht massgebliche Aussage ergeben hätte. Weiter ist die Ermittlung des Invaliditätsgrades nicht zu beanstanden; insbesondere ist nicht ersichtlich, inwiefern der gewährte behinderungsbedingte Abzug von 10 % beim Invalideneinkommen einen Ermessensmissbrauch darstellen soll. Zudem würde selbst bei (unzulässiger) Mitberücksichtigung der Nebenerwerbstätigkeit nur beim Valideneinkommen kein rentenbegründender Invaliditätsgrad resultieren. Bezüglich der übrigen geltend gemachten Verletzungen des Art. 6 Ziff. 1 EMRK (fehlende Waffengleichheit, fehlende Unabhängigkeit des Sachverständigen, etc.) wird vollumfänglich auf <ref-ruling> verwiesen. Im Übrigen hat die Vorinstanz zu Recht gestützt auf die mehrfach ausgewiesene fehlende Motivation des Versicherten einen Anspruch auf Umschulung abgelehnt. Schliesslich legt der Versicherte bezüglich des Vorwurfs, die Rechtsprechung zu den somatoformen Schmerzstörungen verletze Art. 8 in Verbindung mit Art. 14 EMRK nicht dar, inwiefern der Schutzbereich von Art. 8 EMRK überhaupt tangiert sein soll (vgl. <ref-law>).
5. Der Beschwerdeführer beantragt, es sei ihm eine höhere Parteientschädigung für den Aufwand des unentgeltlichen Rechtsvertreters zuzusprechen.
Nach konstanter Rechtsprechung (vgl. zur Rechtsprechung unter der Herrschaft des Bundesgesetzes vom 16. Dezember 1943 über die Organisation der Bundesrechtspflege [OG] SVR 2008 MV Nr. 2 S. 3 E. 5.3.3 [M 2/06] oder SVR 1995 AlV Nr. 42 S. 117 E. 4) steht die Beschwerdelegitimation bezüglich der Höhe der im Rahmen der unentgeltlichen Rechtspflege zugesprochenen Entschädigung (Bemessung der Entschädigung) nicht der rechtsuchenden Person, sondern ihrem Rechtsvertreter zu (<ref-ruling> E. 1 S. 155; SVR 2009 IV Nr. 48 S. 144 E. 2.2.1 [9C_991/2008]; vgl. auch Urteil 5D_88/2008 vom 14. August 2008 E. 1).
Der Rechtsvertreter des Versicherten hielt zu Beginn der Beschwerde fest: "Namens und im Auftrage meines Klienten unterbreite ich Ihnen nachstehende Rechtsbegehren: (...) Es sei Ziffer III des kantonsgerichtlichen Urteils aufzuheben und dem Beschwerdeführer für die beiden Verfahren vor dem Kantonsgericht Freiburg mindestens die Summe von sFr. 4'852.80 zuzusprechen." Der entsprechende Antrag wurde somit im Namen des Versicherten erhoben, so dass darauf mangels Beschwerdelegitimation des Versicherten nicht eingetreten werden kann.
6. 6.1 Die unentgeltliche Rechtspflege kann nur gewährt werden, wenn die Rechtsvorkehr nicht aussichtslos ist. Als aussichtslos sind nach der bundesgerichtlichen Rechtsprechung Prozessbegehren anzusehen, bei denen die Gewinnaussichten (ex ante betrachtet) beträchtlich geringer sind als die Verlustgefahren und die deshalb kaum als ernsthaft bezeichnet werden können. Dagegen gilt ein Begehren nicht als aussichtslos, wenn sich Gewinnaussichten und Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer sind als diese. Massgebend ist, ob eine Partei, die über die nötigen finanziellen Mittel verfügt, sich bei vernünftiger Überlegung zu einem Prozess entschliessen würde; eine Partei soll einen Prozess, den sie auf eigene Rechnung und Gefahr nicht führen würde, nicht deshalb anstrengen können, weil er sie nichts kostet (<ref-ruling> E. 5 S. 616 mit Hinweisen).
Die vom Versicherten geltend gemachten formalrechtlichen Rügen hat sein Anwalt bereits im Verfahren 8C_216/2009 erhoben, welche das Bundesgericht mit <ref-ruling> verworfen hat. Bei dieser Ausgangslage musste dem Rechtsvertreter bewusst sein, dass die hier geltend gemachten Einwände aussichtslos sind. Ist ein Begehren aussichtslos, kann dem Gesuch um unentgeltliche Rechtspflege aber nicht entsprochen werden.
6.2 Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Kantonsgericht Freiburg, Sozialversicherungsgerichtshof, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Oktober 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Riedi Hunold