Sachverhalt:
A.
A._, geboren 1963, meldete sich im Dezember 2011 bei der Invalidenversicherung zum Leistungsbezug an. An gesundheitlichen Problemen gab er u.a. einen angeborenen grauen Star in Kombination mit einer Sehschwäche an. Die IV-Stelle des Kantons Solothurn forderte ihn am 26. April 2013 auf, sich einer Kataraktoperation zu unterziehen, und drohte im Unterlassungsfall die Leistungsverweigerung an. Da A._ sich geweigert hatte, diese Operation vornehmen zu lassen, verfügte die IV-Stelle am 12. September 2014 die Abweisung des Leistungsbegehrens.
B.
Nachdem A._ dagegen hatte Beschwerde erheben lassen, holte das Versicherungsgericht des Kantons Solothurn bei Dr. med. B._, Fachärztin für Ophthalmologie, MEDAS Bern, ein Gutachten vom 30. Juli 2015 ein und wies die Beschwerde am 21. März 2016 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der kantonale Entscheid aufzuheben, ihm ab 1. Oktober 2012 die gesetzlichen Leistungen zuzusprechen sowie die Sache an die Vorinstanz zur Neuverlegung der Kosten zurückzuweisen. Eventualiter sei der kantonale Entscheid aufzuheben und die Sache zur Anordnung eines rheumatologischen Gutachtens mit Konsensbesprechung und anschliessender Neubeurteilung seines Anspruchs ab 1. Oktober 2012 sowie zur Neuverlegung der Kosten des kantonalen Verfahrens an die Vorinstanz zurückzuweisen. Subeventualiter sei der kantonale Entscheid insofern im Kostenpunkt aufzuheben, als die Sache zur Zusprechung einer Parteientschädigung an die Vorinstanz zurückgewiesen werde. Zudem ersucht er um unentgeltliche Rechtspflege.
Ein Schriftenwechsel wird nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig ist der Anspruch auf eine Invalidenrente sowie der Anspruch auf eine Parteientschädigung im kantonalen Verfahren.
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze über das zeitlich massgebende Recht und den zeitlich massgebenden Sachverhalt (<ref-ruling> E. 3.1.1 S. 220 mit Hinweisen), den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und der Arbeitsunfähigkeit (<ref-law>), den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG; <ref-law>) sowie die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>; <ref-ruling> E. 3.4 S. 348; <ref-ruling> E. 1 S. 30) zutreffend dargelegt. Dasselbe gilt für die Richtlinien hinsichtlich Beweiswürdigung eines ärztlichen Berichts (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352), namentlich eines gerichtlich eingeholten Gutachtens (BGE <ref-ruling> E. 3b/aa S. 352), und den Untersuchungsgrundsatz (Art. 43 Abs. 1 und Art. 61 lit. c ATSG; <ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195). Darauf wird verwiesen.
4.
4.1. Die Vorinstanz hat nach Berücksichtigung der gesamten medizinischen Aktenlage erkannt, dass dem Beschwerdeführer auch ohne Kataraktoperation eine angepasste Tätigkeit aus ophthalmologischer und rheumatologischer Sicht voll zumutbar sei. Im Anschluss hat sie den Anspruch auf eine Invalidenrente nach Durchführung eines Einkommensvergleichs verneint. Die erwähnte Einschätzung der Arbeitsfähigkeit gründet im Wesentlichen auf den Berichten des Dr. med. C._, Facharzt für Rheumatologie und Innere Medizin, Klinik D._, vom 6. Mai 2012 und der beruflichen Abklärungsstelle E._ vom 19. November 2012 sowie dem Gerichtsgutachten der Frau Dr. med. B._ vom 30. Juli 2015. Dabei handelt es sich um eine Feststellung tatsächlicher Art (vgl. <ref-ruling> E. 3.2 S. 398), an die das Bundesgericht grundsätzlich gebunden ist (E. 1.2).
4.2. Was der Beschwerdeführer dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen:
Der Versicherte rügt einen unrichtig bzw. unvollständig festgestellten Sachverhalt, da es an einer Abstimmung der attestierten Restarbeitsfähigkeit aus ophthalmologischen und rheumatologischen Gründen fehle; zudem seien die rheumatologischen Berichte veraltet, so dass eine neue bidisziplinäre Begutachtung notwendig sei. Er legt in seiner Beschwerde vor Bundesgericht jedoch nicht dar, inwiefern die rheumatologischen Einschätzungen nicht den im massgebenden Zeitpunkt (12. September 2014) vorgelegenen Gesundheitszustand wiedergeben sollen. Damit fehlt es an einer substanziierten Begründung, inwiefern eine Ausnahme von <ref-law> gegeben sein soll (E. 1.2). Ebenso wenig ist nachvollziehbar, inwiefern die Umschreibung der zumutbaren Tätigkeit unter Berücksichtigung aller von den Experten geäusserten Einschränkungen unzutreffend sein soll.
Weiter macht der Versicherte eine Verletzung von Bundesrecht geltend, da die Vorinstanz die mögliche Verwertung seiner Restarbeitsfähigkeit nicht wirklich geprüft habe; so setze sie sich nicht mit seinem fortgeschrittenen Alter und der langen Abwesenheit vom Arbeitsmarkt auseinander. Zudem habe sie auch nicht begründet, weshalb er gute Chancen auf Erhalt eines Nischenarbeitsplatzes haben soll. Dabei verkennt er, dass die Anforderungen an die Umschreibung der noch zumutbaren Tätigkeiten nicht gross sind und Vorinstanz und Verwaltung im Rahmen des Einkommensvergleichs keine konkreten Arbeitsstellen nachzuweisen haben, sondern vielmehr von einem ausgeglichenen Arbeitsmarkt ausgegangen wird (vgl. SVR 2008 IV Nr. 62 S. 203 E. 5.1, 9C_830/2007, oder Urteil 9C_124/2010 vom 21. September 2010 E. 2.2). D.h. die IV-Stelle (resp. die Vorinstanz) hat nicht zu prüfen, ob der Versicherte tatsächlich eine entsprechende Arbeitsstelle erhält oder erhalten kann; es reicht aus, dass solche auf dem Arbeitsmarkt vorhanden und nicht bloss theoretischer Natur sind (vgl. etwa Urteil 8C_589/2008 vom 5. Februar 2009 E. 5.2 mit weiteren Hinweisen). Schliesslich sprechen weder das Alter des Versicherten (51 Jahre bei Erlass der Verfügung vom 12. September 2014) noch die Abwesenheit vom Arbeitsmarkt (knapp drei Jahre) gegen die objektive Zumutbarkeit einer Verweisungstätigkeit (<ref-law>). Dies gilt angesichts der umfassenden Abklärungen in beruflicher Hinsicht (vgl. BEFAS-Bericht vom 19. November 2012) umso mehr.
4.3. Nach dem Gesagten ist nicht zu beanstanden, dass die Vorinstanz im Verfügungszeitpunkt von einer zumutbaren Arbeitsfähigkeit von 100 % in einer angepassten Tätigkeit ausgegangen ist. Da der Versicherte keine Einwände gegen den Einkommensvergleich erhebt und keine Anhaltspunkte ersichtlich sind, wonach dieser offensichtlich unzutreffend wäre, hat es bei der vorinstanzlichen Verneinung des Anspruchs auf eine Invalidenrente sein Bewenden.
5.
Der Versicherte macht geltend, er habe im kantonalen Verfahren zu einem nicht unerheblichen Teil obsiegt, weil die IV-Stelle ihn ohne fundierte Abklärungen zur Vornahme einer Augenoperation angehalten habe. Die Vorinstanz sei seinem Verfahrensantrag gefolgt und habe ein Gerichtsgutachten eingeholt; sie hätte aber auch die Verfügung der IV-Stelle aufheben und die Sache zu weiteren Abklärungen an diese zurückweisen können. Deshalb habe er vor Vorinstanz zumindest teilweise obsiegt und somit Anspruch auf eine Parteientschädigung.
Mit Urteil 8C_194/2016 vom 14. Juni 2016, welches ebenfalls den Kanton Solothurn betraf, hat das Bundesgericht die Rechtsprechung bestätigt, wonach kein Anspruch auf eine Parteientschädigung im Sinne von <ref-law> besteht, wenn das kantonale Gericht nach <ref-ruling> E. 4.4.1 S. 263 gehalten ist, die Sache nicht an die Verwaltung zur weiteren Abklärung zurückzuweisen, sondern ein Gerichtsgutachten einzuholen, und sich im Ergebnis die Rechtsstellung der versicherten Person nicht verbessert.
Dies gilt auch im hier strittigen Fall: Die Rechtsstellung des Beschwerdeführers hat sich mit Entscheid der Vorinstanz im Vergleich zu jener bei Erlass der Verwaltungsverfügung vom 12. September 2014 nicht verbessert; beide Male wurde sein Anspruch auf eine Invalidenrente verneint. Auch war die Vorinstanz nach der genannten Rechtsprechung verpflichtet, selbst ein Gutachten einzuholen. Somit hat der Versicherte keinen Anspruch auf eine (teilweise) Parteientschädigung für das kantonale Verfahren.
6.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (<ref-law>). Ihm ist indessen die unentgeltliche Rechtspflege zu gewähren (<ref-law>), weil die Bedürftigkeit aktenkundig und die Beschwerde nicht als aussichtslos zu bezeichnen ist sowie die anwaltliche Vertretung geboten war. Es ist indessen auf <ref-law> hinzuweisen, wonach der Gerichtskasse Ersatz zu leisten sein wird, wenn dies später möglich sein sollte.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Advokat Simon Gass wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Juli 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Ursprung
Die Gerichtsschreiberin: Riedi Hunold