Sachverhalt: A. A._, geboren 1963, meldete sich im Dezember 2011 bei der Invalidenversicherung zum Leistungsbezug an. An gesundheitlichen Problemen gab er u.a. einen angeborenen grauen Star in Kombination mit einer Sehschwäche an. Die IV-Stelle des Kantons Solothurn forderte ihn am 26. April 2013 auf, sich einer Kataraktoperation zu unterziehen, und drohte im Unterlassungsfall die Leistungsverweigerung an. Da A._ sich geweigert hatte, diese Operation vornehmen zu lassen, verfügte die IV-Stelle am 12. September 2014 die Abweisung des Leistungsbegehrens. B. Nachdem A._ dagegen hatte Beschwerde erheben lassen, holte das Versicherungsgericht des Kantons Solothurn bei Dr. med. B._, Fachärztin für Ophthalmologie, MEDAS Bern, ein Gutachten vom 30. Juli 2015 ein und wies die Beschwerde am 21. März 2016 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der kantonale Entscheid aufzuheben, ihm ab 1. Oktober 2012 die gesetzlichen Leistungen zuzusprechen sowie die Sache an die Vorinstanz zur Neuverlegung der Kosten zurückzuweisen. Eventualiter sei der kantonale Entscheid aufzuheben und die Sache zur Anordnung eines rheumatologischen Gutachtens mit Konsensbesprechung und anschliessender Neubeurteilung seines Anspruchs ab 1. Oktober 2012 sowie zur Neuverlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückzuweisen. Subeventualiter sei der kantonale Entscheid insofern im Kostenpunkt aufzuheben, als die Sache zur Zusprechung einer Parteientschädigung an die Vorinstanz zurückgewiesen werde. Zudem ersucht er um unentgeltliche Rechtspflege. Ein Schriftenwechsel wird nicht durchgeführt.