Sachverhalt: A. A._, geboren 1967, meldete sich am 15. November 2007 bei der Invalidenversicherung zum Leistungsbezug an. Gemäss Bericht seines Hausarztes Dr. med. B._ vom 15. Dezember 2007 litt er an einer Persönlichkeitsstörung. Die IV-Stelle Bern liess A._ durch Dr. med. C._, Psychiatrie und Psychotherapie FMH, untersuchen (Gutachten vom 16. Juni 2008) und lehnte den Anspruch auf eine Invalidenrente am 17. Februar 2010 ab. Das Verwaltungsgericht des Kantons Bern hob diese Verfügung mit Entscheid vom 19. August 2010 auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Gestützt auf das Gutachten des Dr. med. C._ sowie des Dr. med. D._, Neurologie FMH, vom 20. August 2012 lehnte die IV-Stelle den Anspruch auf eine Invalidenrente mit Verfügung vom 31. Oktober 2012 erneut ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Januar 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei ihm (eventualiter nach weiteren Abklärungen für die Zeit ab dem 1. September 2012) eine halbe Invalidenrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.