Sachverhalt: A. A._, geboren 1964, stammt aus X._ und reiste am 19. August 1998 in die Schweiz ein. Vom 19. April bis 31. Oktober 1999 arbeitete er bei der F._ AG. Am 5. November 1999 erlitt er einen ischämischen paramedianen Ponsinfarkt und ersuchte im Juli 2000 um Leistungen der Invalidenversicherung. Mit Verfügung vom 17. Oktober 2000 verneinte die IV-Stelle des Kantons Zürich einen Anspruch mangels Erfüllung der einjährigen Mindestbeitragszeit. Im Oktober 2001 meldete sich A._ erneut zum Leistungsbezug an, was die IV-Stelle am 20. November 2001 unter Verweis auf die Verfügung vom 17. Oktober 2000 ablehnte. Mit Schreiben vom 3. März 2008 liess A._ das Gesuch um Abklärung seines IV-Grades stellen, da dessen Kenntnis notwendig sei für den Bezug von Zusatzleistungen. Die IV-Stelle holte daraufhin Berichte bei den behandelnden Ärzten sowie ein neurologisch-psychiatrisches Gutachten bei Frau Dr. med. B._, Fachärztin für Neurologie sowie für Psychiatrie und Psychotherapie, vom 2. September 2008 ein. Mit Schreiben vom 13. März 2009 teilte die IV-Stelle dem Amt für Zusatzleistungen mit, der Invaliditätsgrad betrage 60 % ab 1. März 2001. Im Dezember 2009 ersuchte A._ wiederum um eine Rente der Invalidenversicherung. Auf die Aufforderung der IV-Stelle, Unterlagen zum Beleg der veränderten tatsächlichen Verhältnisse seit Erlass der letzten Verfügung einzureichen, widersetzte er sich anfänglich, liess in der Folge aber Berichte der behandelnden Ärzte einreichen. Mit Verfügung vom 7. September 2010 lehnte die IV-Stelle das Leistungsgesuch erneut ab, da die Versicherungsvoraussetzungen bei Eintritt der Invalidität erfüllt sein müssten, was vorliegend nicht gegeben sei, und eine erneute Anmeldung keinen neuen Versicherungsfall begründe. Am 29. November 2011 liess A._ das Gesuch um Hilflosenentschädigung stellen. Die IV-Stelle erstellte einen Abklärungsbericht vom 16. Februar 2012. Mit Entscheid vom 2. Mai 2012 hiess das Sozialversicherungsgericht des Kantons Zürich die gegen die Verfügung vom 7. September 2010 erhobene Beschwerde in dem Sinne gut, dass es die Sache an die IV-Stelle zurückwies mit der Feststellung, die versicherungsmässigen Voraussetzungen nach Art. 6 Abs. 2 IVG seien erfüllt und die Verwaltung habe den Anspruch auf eine allfällige Invalidenrente für die Zeit nach November 2009 abzuklären und neu zu verfügen. Am 28. Juni 2012 wies die IV-Stelle den Anspruch auf eine Hilflosenentschädigung ab. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde am 20. Dezember 2013 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung der Dispositivziffer 1 des vorinstanzlichen Entscheids sei ihm eine Hilflosenentschädigung zuzusprechen; eventualiter sei Dispositivziffer 1 des kantonalen Entscheids aufzuheben und die Sache an die Vorinstanz zu weiteren Abklärungen zurückzuweisen. Zudem ersucht er um Durchführung eines zweiten Schriftenwechsels und um unentgeltliche Rechtspflege.