Sachverhalt: A. A._, geboren 1981, meldete sich im April 2013 bei der Invalidenversicherung zum Leistungsbezug an. Der behandelnde Psychiater, med. pract. B._, Facharzt für Psychiatrie und Psychotherapie, diagnostizierte am 9. Oktober 2013 eine paranoide Schizophrenie (ICD-10: F 20.0). Die Psychiatrie C._ konnte am 4. November 2013 die Diagnose hingegen nicht bestätigen und verwies auf den Bericht der Neurologischen Praxis, Spital D._, vom 30. Oktober 2013. Mit Verfügung vom 10. September 2014 wies die IV-Stelle des Kantons Solothurn das Leistungsgesuch ab, da keine medizinische Diagnose vorliege, welche eine länger andauernde Arbeitsunfähigkeit zu begründen vermöge. B. Das Versicherungsgericht des Kantons Solothurn wies die dagegen erhobene Beschwerde gestützt auf das Gerichtsgutachten der Frau Dr. med. E._, Fachärztin für Psychiatrie und Psychotherapie, vom 13. November 2015 am 17. Februar 2016 ab (Ziff. 1), auferlegte der IV-Stelle die Kosten des Gerichtsgutachtens (Ziff. 4) sowie A._ die Gerichtskosten (Ziff. 3) und verzichtete auf die Zusprechung einer Parteientschädigung (Ziff. 2). C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid bezüglich Ziff. 2 und 3 aufzuheben, der IV-Stelle die Kosten des kantonalen Verfahrens aufzuerlegen und ihm eine Parteientschädigung in der Höhe von mindestens Fr. 3'474.35 zu Lasten der IV-Stelle zuzusprechen. Eventualiter sei die Sache an die Vorinstanz zur Festlegung der Höhe der Parteientschädigung und Kostenverteilung zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.