Sachverhalt:
A.
A._, geboren 1964, stammt aus X._ und reiste am 19. August 1998 in die Schweiz ein. Vom 19. April bis 31. Oktober 1999 arbeitete er bei der C._ AG. Am 5. November 1999 erlitt er einen ischämischen paramedianen Ponsinfarkt und ersuchte im Juli 2000 um Leistungen der Invalidenversicherung. Mit Verfügung vom 17. Oktober 2000 verneinte die IV-Stelle des Kantons Zürich einen Anspruch mangels Erfüllung der einjährigen Mindestbeitragszeit. Im Oktober 2001 meldete sich A._ erneut zum Leistungsbezug an, was die IV-Stelle am 20. November 2001 unter Verweis auf die Verfügung vom 17. Oktober 2000 ablehnte.
Mit Schreiben vom 3. März 2008 liess A._ das Gesuch um Abklärung seines IV-Grades stellen, da dessen Kenntnis notwendig sei für den Bezug von Zusatzleistungen. Die IV-Stelle holte daraufhin Berichte bei den behandelnden Ärzten sowie ein neurologisch-psychiatrisches Gutachten bei Frau Dr. med. B._, Fachärztin für Neurologie sowie für Psychiatrie und Psychotherapie vom 2. September 2008 ein. Mit Schreiben vom 13. März 2009 teilte die IV-Stelle dem Amt für Zusatzleistungen mit, der Invaliditätsgrad betrage 60 % ab 1. März 2001. Im Dezember 2009 ersuchte A._ wiederum um eine Rente der Invalidenversicherung. Auf die Aufforderung der IV-Stelle, Unterlagen zum Beleg der veränderten tatsächlichen Verhältnisse seit Erlass der letzten Verfügung beizubringen, widersetzte er sich anfänglich, liess in der Folge aber Berichte der behandelnden Ärzte einreichen. Mit Verfügung vom 7. September 2010 lehnte die IV-Stelle das Leistungsgesuch erneut ab, da die Versicherungsvoraussetzungen bei Eintritt der Invalidität erfüllt sein müssten, was vorliegend nicht gegeben sei, und eine erneute Anmeldung keinen neuen Versicherungsfall begründe. Nachdem A._ dagegen Beschwerde erhoben hatte, wies das Sozialversicherungsgericht des Kantons Zürich die Sache mit Entscheid vom 2. Mai 2012 an die IV-Stelle zurück mit der Feststellung, die versicherungsmässigen Voraussetzungen nach <ref-law> seien erfüllt und die Verwaltung habe den Anspruch auf eine allfällige Invalidenrente für die Zeit nach November 2009 abzuklären und neu zu verfügen. Die IV-Stelle holte einen Verlaufsbericht bei der Hausärztin ein und ordnete mit Mitteilung vom 16. Januar 2013 eine polydisziplinäre medizinische Untersuchung an, wobei die Gutachterstelle bekannt gegeben werde, sobald sie bestimmt sei. Nachdem sich A._ einer polydisziplinären Untersuchung widersetzte, erliess die IV-Stelle am 5. Februar 2013 eine entsprechende Verfügung.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde am 31. Oktober 2013 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung der Dispositivziffer 1 des vorinstanzlichen Entscheids sei ihm eine Rente bei einem Invaliditätsgrad von 100 % zuzusprechen; eventualiter sei der kantonale Entscheid aufzuheben und die Vorinstanz anzuweisen, ein Einigungsverfahren für ein bi- oder monodisziplinäres Gutachten durchzuführen. Zudem ersucht er um Durchführung eines zweiten Schriftenwechsels sowie um unentgeltliche Rechtspflege.

Erwägungen:
1.
1.1. Der vorinstanzliche Entscheid lautet gemäss Dispositiv auf Abweisung der Beschwerde. In der Tat geht die Sache aber an die Verwaltung zurück, damit diese gemäss ihrer von der Vorinstanz für richtig befundenen Anordnung eines polydisziplinären Verfahrens weiterfahre und die Gutachterstelle bestimme. Somit beendet der vorliegend angefochtene Entscheid das Verfahren nicht, sondern es handelt sich um einen Zwischenentscheid im Sinne von <ref-law>.
1.2. Nach <ref-ruling> ist eine Zwischenverfügung, in welcher keine Gutachterstelle benannt wird, sondern nur die Bestimmung einer solchen in Anwendung des Zuweisungssystems " SuisseMED@P" angekündigt wird, weder im erstinstanzlichen Verfahren noch vor Bundesgericht anfechtbar. Denn unter diesen Umständen ist nicht ersichtlich, worin der Nachteil des Versicherten bestehen sollte, wenn er die Gutachtensanordnung nicht anfechten kann, bevor auch die Gutachterstelle feststeht (<ref-ruling> E. 4.5 S. 343). An diesem Ergebnis vermag auch das Kreisschreiben über das Verfahren in der Invalidenversicherung (KSVI) nichts zu ändern, könnte doch eine Zweiteilung des Verfahrens lediglich mittels einer Gesetzesänderung eingeführt werden (<ref-ruling> E. 4.6 S. 343).
Nach dem Gesagten hätte die Vorinstanz auf die Beschwerde des Versicherten nicht eintreten dürfen, kann doch der entsprechende Grundsatzentscheid des Bundesgerichts vom 5. Juni 2013, welcher am 19. September 2013 in der Amtlichen Sammlung publiziert wurde, bei Erlass des kantonalen Entscheids am 31. Oktober 2013 als bekannt vorausgesetzt werden. Auch das Bundesgericht tritt auf eine entsprechende Beschwerde mangels nicht wieder gutzumachendem Nachteil nicht ein (vgl. dazu bereits <ref-ruling>; vgl. auch <ref-ruling>).
1.3. Der Versicherte lässt weiter ein Eintreten gestützt auf <ref-law> beantragen, da er einen Ausstandsgrund geltend mache, weil sämtliche in der SuisseMED@P geführten Stellen wirtschaftlich vom Bundesamt für Sozialversicherungen (BSV) resp. der IV abhängig seien.
Die strittige Zwischenverfügung vom 5. Februar 2013 ordnet lediglich eine polydisziplinäre Abklärung an, ohne jedoch bereits die Durchführungsstelle zu nennen. Da demnach die Gutachterstelle noch nicht bestimmt ist, können auch keine konkreten Ausstandsgründe gegen die mit der Abklärung beauftragten Ärzte vorgebracht werden; abstrakte Einwände und erst noch gegen Institutionen stellen jedoch keine Gründe im Sinne von <ref-law> dar. Auf die Beschwerde ist auch in diesem Punkt nicht einzutreten.
1.4. Schliesslich stützt der Versicherte das Eintreten auf <ref-law> und macht Rechtsverweigerung der Vorinstanz geltend, da diese ihm nicht direkt eine Rente zugesprochen habe.
Angesichts des Umstandes, dass die Vorinstanz auf die Beschwerde des Versicherten vom 7. März 2013 gar nicht hätte eintreten dürfen (vgl. oben E. 1.2), steht auch keine Rechtsverweigerung zur Diskussion. Ein Eintreten auf die Beschwerde vor Bundesgericht ist demnach auch nach <ref-law> ausgeschlossen.
2.
Da die Beschwerde als aussichtslos zu bezeichnen ist, wird sie ohne Durchführung eines Schriftenwechsels erledigt.
3.
Da die Beschwerde als aussichtslos zu bezeichnen ist, ist das Gesuch um unentgeltliche Rechtspflege abzuweisen (<ref-law>).
Das Verfahren ist kostenpflichtig. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Juli 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold