Sachverhalt:
A.
A._, geboren 1967, meldete sich am 15. November 2007 bei der Invalidenversicherung zum Leistungsbezug an. Gemäss Bericht seines Hausarztes Dr. med. B._ vom 15. Dezember 2007 litt er an einer Persönlichkeitsstörung. Die IV-Stelle Bern liess A._ durch Dr. med. C._, Psychiatrie und Psychotherapie FMH, untersuchen (Gutachten vom 16. Juni 2008) und lehnte den Anspruch auf eine Invalidenrente am 17. Februar 2010 ab. Das Verwaltungsgericht des Kantons Bern hob diese Verfügung mit Entscheid vom 19. August 2010 auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück.
Gestützt auf das Gutachten des Dr. med. C._ sowie des Dr. med. D._, Neurologie FMH, vom 20. August 2012 lehnte die IV-Stelle den Anspruch auf eine Invalidenrente mit Verfügung vom 31. Oktober 2012 erneut ab.
B.
Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 13. Januar 2014 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei ihm (eventualiter nach weiteren Abklärungen für die Zeit ab dem 1. September 2012) eine halbe Invalidenrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f.; <ref-ruling> E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen).
2.
Das kantonale Gericht hat die für den Rentenanspruch massgeblichen Bestimmungen und Grundsätze zutreffend dargelegt. Es wird darauf verwiesen.
3.
3.1. Nach den vorinstanzlichen Feststellungen ist gestützt auf das Gutachten der Dres. med. D._ und C._ mit Rücksicht auf eine Persönlichkeitsstörung vom schizoid-narzisstischen Typ und rezidivierend auftretende depressive Störungen eine eingeschränkte Arbeitsfähigkeit von 70% ausgewiesen. Der Beschwerdeführer beruft sich auf eine mangelhafte Schlüssigkeit dieser Einschätzung.
3.2. Die bundesgerichtliche Überprüfung der vorinstanzlichen Beweiswürdigung hat sich darauf zu beschränken, ob mit Blick auf die vorgebrachten Rügen die Sachverhaltsfeststellung im angefochtenen Entscheid offensichtlich unrichtig ist oder eine Rechtsverletzung, namentlich hinsichtlich der Regeln über den Beweiswert von ärztlichen Berichten, vorliegt (vgl. E. 1). Zu beachten ist hier der Grundsatz, dass das Gericht Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach <ref-law> eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, vollen Beweiswert zuerkennen darf, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227; <ref-ruling> E. 4.4 S. 470; <ref-ruling> E. 3b/bb S. 353).
3.3. Beschwerdeweise wird gerügt, das Verwaltungsgericht habe übersehen, dass die Einschätzung der Arbeitsfähigkeit auf 70% durch die Gutachter nicht retrospektiv, sondern pro futuro erfolgt sei. Dem kann gestützt auf die gutachtlichen Ausführungen nicht beigepflichtet werden. So erachtete es Dr. med. C._ am 16. Juni 2008 als ausgesprochen schwierig, eine definitive Einschätzung abzugeben, zumal es nicht an der Leistungsfähigkeit des Beschwerdeführers an sich fehle; es sei vielmehr ausschlaggebend, wie er - namentlich zufolge von Frustrationsintoleranz und schneller Kränkbarkeit - die soziale Umgebung am Arbeitsplatz zu tolerieren vermöge. Der Gutachter empfahl damals denn auch eine erneute Evaluierung nach zwei Jahren, und die Vorinstanz erachtete in ihrem Entscheid vom 19. August 2010 weitere Abkärungen ebenfalls als unerlässlich. Anlässlich der zweiten Begutachtung ergab sich für Dr. med. C._ aufgrund des zwischenzeitlichen Verlaufs mit weiteren medizinischen und beruflichen Erkenntnissen ein differenzierteres Bild und er gelangte mit eingehender Begründung zur Einschätzung einer 70%igen Arbeitsfähigkeit. Ausschlaggebend ist diesbezüglich, dass (sinngemäss zusammengefasst) die geklagten Symptome, namentlich ein Vermeidungsverhalten beziehungsweise ein Unvermögen aus Sicht des Beschwerdeführers, sich in den Arbeitsalltag (mit der erforderlichen Anpassung an Regeln und Routinen, Planung, Strukturierung, Selbstbehauptung in der Gruppe) zu integrieren, psychiatrisch psychodynamisch nicht nachzuvollziehen seien. Der Beschwerdeführer beruft sich auf Dr. med. E._ vom Regionalen Ärztlichen Dienst der IV-Stelle (RAD), welcher sich zur Arbeitsfähigkeit jedoch nicht näher äusserte, sondern am 5. April 2011 auf Anfrage der IV-Stelle nach dem weiteren Vorgehen gestützt auf die vorinstanzliche Rückweisung eine Verlaufsbegutachtung bei Dr. med. C._ empfahl.
3.4. Der Beschwerdeführer macht geltend, dass die gutachtlich diagnostizierte Persönlichkeitsstörung gemäss einschlägigen Leitlinien (Nr. 038/15, Persönlichkeitsstörungen) eine Minderung der Erwerbsfähigkeit von 80-100% bewirke. Soweit ersichtlich handelt es sich dabei um die Leitlinie "Persönlichkeitsstörungen", herausgegeben unter anderem von der Deutschen Gesellschaft für Psychiatrie, Psychotherapie und Nervenheilkunde, gültig gewesen bis Mai 2013 (abrufbar unter: www.arztbibliothek.de). Die dort aufgeführten Beeinträchtigungen (namentlich "schwere Störungen mit schweren sozialen Anpassungsschwierigkeiten 80-100") betreffen jedoch den "Grad der Behinderung" nach deutschem Versorgungs- und Schwerbehindertenrecht und haben gemäss den Erläuterungen in der Leitlinie zunächst keinen Zusammenhang mit dem Arbeits- und Berufsleben; insofern sei der Grad der Behinderung irrelevant beispielsweise für eine Rente. Eine mangelnde Schlüssigkeit des von der IV-Stelle eingeholten Gutachtens und der dort genannten Einschätzung der Arbeitsfähigkeit lässt sich damit deshalb nicht begründen. Der Gutachter äussert sich im Übrigen ausführlich dahingehend, dass der Beschwerdeführer aufgrund der diagnostizierten Störung zwar wenig flexibel, team- und kontaktfähig, intellektuell jedoch in der Lage sei, sich den (oben geschilderten) Anforderungen des Arbeitsalltags anzupassen, und daher eine Tätigkeit zu verrichten vermöchte, in der er allein, möglichst selbstständig, ohne Kundenkontakt und ohne grössere Verantwortung arbeiten könne. Der Einwand des Beschwerdeführers, dass es ihm nicht zuzumuten sei, das psychische Leiden willentlich zu überwinden, findet in den Ausführungen des Gutachters keine Stütze.
3.5. Dem Gutachten ist des Weiteren zu entnehmen, dass es zu depressiven Stimmungslagen kommen könne, die Arbeits- und Leistungsfähigkeit massgeblich aber nicht dadurch, sondern durch die Persönlichkeitsstörung eingeschränkt sei. Der Einwand des Beschwerdeführers, dass die depressiven Störungen unberücksichtigt geblieben seien, trifft damit nicht zu.
3.6. Der Beschwerdeführer macht schliesslich Ängste vor Panikattacken geltend. Der psychiatrische Gutachter konnte indessen keine generalisierte Angststörung diagnostizieren und es wird auch in der Konsensbesprechung zusammen mit dem Neurologen ausdrücklich festgestellt, dass sich aus der anamnestisch bekannten Panikstörung kein Einfluss auf die Arbeitsfähigkeit ergebe.
3.7. Zusammengefasst vermögen die letztinstanzlich erhobenen Einwände insgesamt keine offensichtliche Unrichtigkeit oder Rechtsverletzung hinsichtlich der diesbezüglichen vorinstanzlichen Feststellungen zu begründen und ist mit dem kantonalen Gericht von einer 70%igen Arbeitsfähigkeit auszugehen.
4.
Hinsichtlich der erwerblichen Auswirkungen beanstandet der Beschwerdeführer, dass die Vorinstanz auf Seiten des Invalideneinkommens zu Unrecht und entgegen der Auffassung der IV-Stelle einen leidensbedingten Abzug vom Tabellenlohn (<ref-ruling> E. 4.2.3 S. 481; <ref-ruling> E. 5 S. 78 ff.) als nicht gerechtfertigt erachtet habe. Der Einwand des Beschwerdeführers, dass auch bei Attestierung einer reduzierten 70%igen Arbeitsfähigkeit zufolge der gravierenden Persönlichkeitsstörung und allfälliger depressiver Stimmungslagen mit Schwankungen in der Leistungsfähigkeit zu rechnen sei, ist nicht ausser Acht zu lassen. Indessen resultiert aus dem Vergleich der vom gleichen statistischen Durchschnittslohn ausgehenden Validen- und Invalideneinkommen auch unter Berücksichtigung der von der IV-Stelle gewährten und letztinstanzlich wiederum beantragten Reduktion des Invalidenlohns für ein 70%-Pensum um 10% ein rentenausschliessender Invaliditätsgrad von 37%.
5.
Das Verfahren ist kostenpflichtig (<ref-law>). Dem unterliegenden Versicherten werden die Gerichtskosten auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung, <ref-law>) kann gewährt werden, weil die Bedürftigkeit aktenkundig ist und die Vertretung durch einen Rechtsanwalt oder eine Rechtsanwältin geboten war. Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Beatrice Gurzeler vom Rechtsdienst Integration Handicap wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 1500.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Juni 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Durizzo