Sachverhalt:
A. Der 1964 geborene K._ ist bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug angemeldet. Im Nachgang zu dem im Auftrag der IV-Stelle am 16. März 2011 erstellten Gutachten des medizinischen Zentrums X._ reichte K._ diverse neue Arztberichte ein. Die IV-Stelle liess diese zusammen mit Fragen des RAD-Arztes den Gutachtern zukommen. worauf diese zu deren Beantwortung eine Nachbegutachtung von K._ für erforderlich erachteten. K._ verlangte, dass diese Begutachtung bei einer anderen Stelle als dem medizinischen Zentrum X._ durchgeführt werde. Mit Verfügung vom 2. Dezember 2012 hielt die IV-Stelle an der Nachbegutachtung durch das medizinische Zentrum X._ fest.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 10. Januar 2013 ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung der Verfügung vom 2. Dezember 2012 und des vorinstanzlichen Entscheids sei eine Neubegutachtung durch eine Drittstelle anzuordnen. Verfahrensmässig lässt er u.a. um Durchführung einer öffentlichen Verhandlung nach Art. 6 Ziff. 1 EMRK mit Publikums- und Presseanwesenheit sowie mit zusätzlicher Parteibefragung und der Erteilung der unentgeltlichen Rechtspflege ersuchen.

Erwägungen:
1. Nach <ref-ruling> sind kantonale Entscheide und solche des Bundesverwaltungsgerichts über Beschwerden gegen Verfügungen der IV-Stellen betreffend die Einholung von medizinischen Gutachten nicht an das Bundesgericht weiterziehbar, ausser es stehen formelle Ausstandsgründe zur Diskussion (<ref-ruling> E. 4 S. 280; vgl. auch statt vieler: 8C_555/2012 vom 18. September 2012 und 8C_894/2012 vom 29. November 2012).
Es stellt sich dergestalt vorab die Frage, inwieweit der vorinstanzliche Entscheid vor Bundesgericht überhaupt anfechtbar ist. Wird der vorinstanzlichen Auffassung gefolgt, wonach nicht die erstmalige Einsetzung der Experten Streitgegenstand ist, sondern diese bereits eingesetzt sind und nur die ihnen gestellten Zusatzfragen beantworten sollen, verbleibt kaum noch Raum für die (nochmalige) Überprüfung formeller Ausstandsgründe. Soweit die Vorbringen Art und Umfang der Begutachtung betreffen, sind diese vielmehr erst mit dem Entscheid in der Sache im Rahmen der Beweiswürdigung (Qualität des Gutachtens) zu behandeln (<ref-ruling> E. 6.5 S. 108 f.). Insoweit kann auf die Beschwerde daher nicht eingetreten werden.
2. Die Vorinstanz erachtete in tatsächlicher Hinsicht die angeordnete Nachbegutachtung beim medizinischen Zentrum X._ als auf die Beantwortung der vom RAD-Arzt am 6. Oktober 2011 gestellte Frage beschränkt. Gleichzeitig wertete sie diese als durch neuere Arztberichte bedingte Ergänzungsfragen zur Entwicklung des Beschwerdebildes einerseits und zur Klärung offener Fragen zum bereits erstellten Gutachten vom 16. März 2011 andererseits. Eine umfassende Neubegutachtung, in deren Rahmen die Gutachter sich mit der Schlüssigkeit ihres eigenen Erstgutachtens befassen müssten, läge nicht vor.
Inwiefern diese Beurteilung als offensichtlich unrichtig oder sonst rechtswidrig im Sinne von <ref-law> sein soll, wird weder nachvollziehbar dargetan noch ist dies sonst wie ersichtlich. Vielmehr stützen die Akten, namentlich die Inhalte der Korrespondenz zwischen der Verwaltung und dem medizinischen Zentrum X._, die Erwägungen des kantonalen Gerichts.
3. In einem zweiten Schritt schloss das kantonale Gericht in Nennung dazu ergangener Rechtsprechung (<ref-ruling> E. 6.1 S. 266 f.; <ref-ruling> E. 7 S. 109 ff.; Urteile 9C_726/2012 vom 31. Oktober 2012 E. 1; 8C_282/2012 vom 11. Mai 2012 E. 5; 8C_119/2011 vom 26. April 2011 E. 4 ; 9C_134/2011 vom 6. Juni 2011 E. 2.2; 9C_1032/2010 vom 1. September 2011 E. 4.1; 9C_273/2009 vom 14. September 2009 E. 3.4) auf das Fehlen von formellen Ausstands- oder Ablehnungsgründen gegen die Gutachter des medizinischen Zentrums X._ und erachtete die angeordnete Nachbegutachtung als zulässig. Darauf kann vorbehaltslos verwiesen werden, zumal die dort vorgenommene rechtliche Würdigung des Sachverhalts den Grundsätzen vollumfänglich Rechnung trägt, welche die Rechtsprechung zum Anschein der Befangenheit infolge Vorbefasstheit des Experten und zum sich daraus ergebenden Ausstandsgrund erarbeitet hat.
4. Soweit der Beschwerdeführer schliesslich Art. 6 Ziff. 1 EMRK als im vorinstanzlichen Verfahren verletzt betrachtet, weil keine öffentliche Verhandlung durchgeführt worden sei, ist ihm mit der Vorinstanz entgegenzuhalten, dass Prozessentscheide über den Ausstand nicht in den Anwendungsbereich von Art. 6 Ziff. 1 EMRK fallen (dazu: Urteile 9C_795/2007 vom 21. Dezember 2007 und 1P.428/2001 vom 14. Dezember 2001 E. 2 mit Hinweisen; zuletzt bestätigt in Urteil 5A_680/2009 vom 27. Januar 2010 E. 3.2.2). Aus demselben Grund ist ebenso das letztinstanzlich gestellte Gesuch um Durchführung einer öffentlichen Verhandlung nach Art. 6 Ziff. 1 EMRK abzuweisen. Auch sonst sind keine Gründe zur Durchführung einer öffentlichen Parteiverhandlung ersichtlich (<ref-law>).
5. Insgesamt erweist sich die Beschwerde als offensichtlich unbegründet, weshalb sie im vereinfachten Verfahren nach <ref-law> erledigt wird. Aus demselben Grund ist in Anwendung von <ref-law> das Gesuch um unentgeltliche Rechtspflege abzuweisen.
6. Die Gerichtskosten sind ausgangsgemäss dem Beschwerdeführer zu überbinden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Das Gesuch um Durchführung einer öffentlichen Verhandlung wird abgewiesen.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
4. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. März 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Grünvogel