Sachverhalt:
A.
A._, geboren 1964, stammt aus X._ und reiste am 19. August 1998 in die Schweiz ein. Vom 19. April bis 31. Oktober 1999 arbeitete er bei der F._ AG. Am 5. November 1999 erlitt er einen ischämischen paramedianen Ponsinfarkt und ersuchte im Juli 2000 um Leistungen der Invalidenversicherung. Mit Verfügung vom 17. Oktober 2000 verneinte die IV-Stelle des Kantons Zürich einen Anspruch mangels Erfüllung der einjährigen Mindestbeitragszeit. Im Oktober 2001 meldete sich A._ erneut zum Leistungsbezug an, was die IV-Stelle am 20. November 2001 unter Verweis auf die Verfügung vom 17. Oktober 2000 ablehnte.
Mit Schreiben vom 3. März 2008 liess A._ das Gesuch um Abklärung seines IV-Grades stellen, da dessen Kenntnis notwendig sei für den Bezug von Zusatzleistungen. Die IV-Stelle holte daraufhin Berichte bei den behandelnden Ärzten sowie ein neurologisch-psychiatrisches Gutachten bei Frau Dr. med. B._, Fachärztin für Neurologie sowie für Psychiatrie und Psychotherapie, vom 2. September 2008 ein. Mit Schreiben vom 13. März 2009 teilte die IV-Stelle dem Amt für Zusatzleistungen mit, der Invaliditätsgrad betrage 60 % ab 1. März 2001. Im Dezember 2009 ersuchte A._ wiederum um eine Rente der Invalidenversicherung. Auf die Aufforderung der IV-Stelle, Unterlagen zum Beleg der veränderten tatsächlichen Verhältnisse seit Erlass der letzten Verfügung einzureichen, widersetzte er sich anfänglich, liess in der Folge aber Berichte der behandelnden Ärzte einreichen. Mit Verfügung vom 7. September 2010 lehnte die IV-Stelle das Leistungsgesuch erneut ab, da die Versicherungsvoraussetzungen bei Eintritt der Invalidität erfüllt sein müssten, was vorliegend nicht gegeben sei, und eine erneute Anmeldung keinen neuen Versicherungsfall begründe. Am 29. November 2011 liess A._ das Gesuch um Hilflosenentschädigung stellen. Die IV-Stelle erstellte einen Abklärungsbericht vom 16. Februar 2012. Mit Entscheid vom 2. Mai 2012 hiess das Sozialversicherungsgericht des Kantons Zürich die gegen die Verfügung vom 7. September 2010 erhobene Beschwerde in dem Sinne gut, dass es die Sache an die IV-Stelle zurückwies mit der Feststellung, die versicherungsmässigen Voraussetzungen nach <ref-law> seien erfüllt und die Verwaltung habe den Anspruch auf eine allfällige Invalidenrente für die Zeit nach November 2009 abzuklären und neu zu verfügen. Am 28. Juni 2012 wies die IV-Stelle den Anspruch auf eine Hilflosenentschädigung ab.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde am 20. Dezember 2013 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung der Dispositivziffer 1 des vorinstanzlichen Entscheids sei ihm eine Hilflosenentschädigung zuzusprechen; eventualiter sei Dispositivziffer 1 des kantonalen Entscheids aufzuheben und die Sache an die Vorinstanz zu weiteren Abklärungen zurückzuweisen. Zudem ersucht er um Durchführung eines zweiten Schriftenwechsels und um unentgeltliche Rechtspflege.

Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2.
Von der Durchführung des beantragten zweiten Schriftenwechsels ist abzusehen, da keine Vernehmlassung der IV-Stelle eingeholt wurde, so dass weder prozessual zulässige, für den Verfahrensausgang wesentliche neue Aspekte, zu denen der Versicherte vor der Entscheidfällung angehört werden müsste, vorliegen, noch dient ein zweiter Schriftenwechsel dazu, Anträge und Rügen vorzubringen, die bereits in der Beschwerde selbst hätten gestellt oder vorgebracht werden können und müssen (<ref-law>; vgl. Urteil 8C_173/2012 vom 8. Juni 2012 E. 2 mit Hinweis).
3.
Die Vorinstanz hat die Bestimmungen über den Anspruch auf eine Hilflosenentschädigung (<ref-law>; Art. 42 Abs. 1-3 IVG; Art. 37 Abs. 3 sowie Art. 38 Abs. 1 und 2 IVV) und die dazu ergangene Rechtsprechung (<ref-ruling>; <ref-ruling> E. 3 S. 90; <ref-ruling> E. 2 S. 148) zutreffend dargelegt. Streitig und zu prüfen ist, ob sie zu Recht die Verfügung der IV-Stelle, mit welcher der Anspruch auf eine Hilflosenentschädigung verneint wurde, bestätigt hat.
4.
Die Vorinstanz hat gestützt auf die Berichte der Frau Dr. med. C._, Fachärztin für Allgemeine Medizin, vom 3. und 21. April 2008, der Frau Dr. med. D._, Fachärztin für Physikalische Medizin und Rehabilitation, vom 5. Februar 2010, des Dr. med. E._, Facharzt für Neurologie, vom 16. Februar 2010, des Spitals G._ vom 12. März 2010 und vom 28. April 2010, das Gutachten der Frau Dr. med. B._ vom 2. September 2008 sowie den Abklärungsbericht vom 16. Februar 2012 in für das Bundesgericht verbindlicher Weise (E. 1.2) festgestellt, dass der Versicherte in keiner der massgebenden Lebensverrichtungen regelmässig und in erheblicher Weise auf Dritthilfe angewiesen ist und auch keiner lebenspraktischen Begleitung bedarf, weshalb kein Anspruch auf eine Hilflosenentschädigung besteht.
Daran ändern auch die Einwände des Versicherten nichts. Soweit er geltend machen lässt, die Vorinstanz habe den Sachverhalt willkürlich festgestellt, weil sie mit dem Abklärungsbericht von lediglich 9 statt der tatsächlichen 20 Stunden Hausarbeit der Ehefrau ausging, ist er darauf hinzuweisen, dass die Abklärungsperson bei den 9 Stunden explizit die Zeit für das Kochen und Wäsche waschen ausklammerte. Ebenso unbehelflich ist die Rüge der Missachtung der Abklärungspflicht nach <ref-law>. Einerseits liegen ärztliche Einschätzungen aus den verschiedensten Fachrichtungen und über den Verlauf von zwei Jahren vor, welche einen mehr oder weniger stationären Gesundheitszustand ausweisen; andererseits ist der Abklärungsbericht vom 16. Februar 2012 überzeugend und nachvollziehbar begründet. In diesem Zusammenhang ist namentlich nicht zu beanstanden, dass die Abklärungsperson im Rahmen der im ganzen Sozialversicherungsbereich geltenden Schadenminderungspflicht (<ref-ruling> E. 4.2 S. 463 mit Hinweis; vgl. auch Kieser, ATSG-Kommentar, 2. Aufl. 2009, N. 48 zu Vorbemerkungen und N. 7 zu <ref-law> ) bei verschiedenen Lebensverrichtungen darauf hinwies, dass durch den Einsatz einfacher Hilfsmittel die Selbstständigkeit des Versicherten erheblich erhöht werden könnte. Die von ihr vorgeschlagenen Massnahmen stellen denn auch weder einzeln noch in ihrer Gesamtheit eine Unzumutbarkeit dar. Schliesslich muss die geltend gemachte Verletzung von Art. 3 EMRK im Sinne einer erniedrigenden Behandlung nicht weiter geprüft werden, genügt diese Rüge doch den Anforderungen von <ref-law> nicht.
5.
Dem Verfahrensausgang entsprechend sind die Gerichtskosten vom Beschwerdeführer als unterliegender Partei zu tragen (<ref-law>). Ihm ist indessen die unentgeltliche Rechtspflege zu gewähren (<ref-law>), weil die Bedürftigkeit aktenkundig und die Beschwerde nicht als aussichtslos zu bezeichnen ist sowie die anwaltliche Vertretung geboten war. Es ist indessen auf <ref-law> hinzuweisen, wonach der Gerichtskasse Ersatz zu leisten sein wird, wenn dies später möglich sein sollte.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Philip Stolkin wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Juli 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold