Sachverhalt: A. X._, geboren 1964, meldete sich am 13. Oktober 2003 zum Bezug von Leistungen der Invalidenversicherung an. Mit Verfügung vom 28. Mai 2004 lehnte die IV-Stelle des Kantons Freiburg den Anspruch auf eine Rente ab, gewährte hingegen Arbeitsvermittlung. Mit Einspracheentscheid vom 20. Dezember 2004 hob die IV-Stelle ihre Verfügung auf und ordnete weitere Abklärungen an; den Anspruch auf unentgeltliche Rechtspflege für das Einspracheverfahren lehnte sie ab. Dieser Einspracheentscheid erwuchs unangefochten in Rechtskraft. Die IV-Stelle holte fachärztliche Gutachten bei Dr. med. H._, Facharzt für Neurologie, und bei Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, ein. X._ war am 30. Mai 2006 in einen Auffahrunfall verwickelt. Mit Verfügung vom 24. Juli 2007 lehnte die IV-Stelle einen Anspruch auf eine Invalidenrente gestützt auf den ermittelten Invaliditätsgrad von 24 % sowie auf unentgeltliche Rechtspflege für das Verwaltungsverfahren ab. Der Sozialversicherungsgerichtshof des Kantons Freiburg wies die dagegen erhobene Beschwerde unter Beizug der Akten des Unfallversicherers am 23. Dezember 2009 ab. Das Bundesgericht hob diesen Entscheid mit Urteil 8C_143/2010 vom 30. Juni 2010 auf und wies die Sache zur Durchführung einer öffentlichen Verhandlung an die Vorinstanz zurück. B. Der Sozialversicherungsgerichtshof führte am 10. Dezember 2010 eine öffentliche Verhandlung durch und wies die Beschwerde des X._ mit Entscheid vom 25. Februar 2011 erneut ab. C. X._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheids sei die IV-Stelle zu verpflichten, ihm eine Rente auf der Basis von 100 % zu bezahlen, und es sei ihm für die beiden Verfahren vor dem Kantonsgericht eine Summe von Fr. 4'852.80 zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zu erneuter Beurteilung zurückzuweisen. Zudem ersucht er um einen zweiten Schriftenwechsel sowie um unentgeltliche Rechtspflege. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.