Sachverhalt:
A. S._, geboren 1963, arbeitete als Pflegeassistent im Pflegeheim X._. Nach verschiedenen krankheitsbedingten Absenzen, unter anderem zufolge Hospitalisation auf der Interventionsstation des Spitals Y._, wurde ihm die Stelle per 30. April 2004 gekündigt, weil er die geforderte Kontinuität in der Arbeitsleistung nicht habe erbringen können. Am 8. November 2005 meldete sich S._ unter Hinweis auf sein psychisches Leiden bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern holte einen Bericht des Spitals Y._, Zentrum für Psychiatrie und Psychotherapie, vom 8. Februar 2006 ein, wo der Versicherte im Oktober/November 2003 stationär und seither ambulant betreut worden war, ein Gutachten des Dr. med. B._, Psychiatrie und Psychotherapie FMH, vom 18. September 2006, einen ärztlichen Zwischenbericht des behandelnden Psychiaters Dr. med. A._, vom 5. Juni 2007 sowie eine Stellungnahme und einen Untersuchungsbericht ihres Regionalen Ärztlichen Dienstes (RAD), Dr. med. B._ (vom 24. Januar bzw. vom 19. Februar 2008). Gestützt darauf stellte sie S._ mit Vorbescheid vom 4. März 2008 in Aussicht, dass ab dem 1. November 2004 Anspruch auf eine halbe, ab dem 1. Februar 2006 eine ganze und ab dem 1. Juni 2007 wiederum eine halbe, bis zum 30. September 2007 befristete Invalidenrente bestehe. Nachdem Dr. med. A._ am 18. März 2008 über den Verlauf der Therapie berichtet hatte, liess die IV-Stelle den Versicherten vom 23. Oktober 2008 bis zum 2. Juni 2009 in der Werkstätte Z._ abklären und schliesslich erneut durch ihren RAD, Dr. med. C._, untersuchen (Bericht vom 8. Oktober 2009). Gestützt darauf lehnte sie den Anspruch auf eine Invalidenrente nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 3. Juni 2010 ab mit der Begründung, dass S._ die Ausübung einer leidensangepassten Tätigkeit ganztags zumutbar sei.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. November 2010 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine Invalidenrente zuzusprechen. Des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (Art. 99 Abs. 2 BGG).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
1.3 Bei der Beurteilung der Arbeits(un)fähigkeit der versicherten Person hat sich das Gericht auf schlüssige medizinische Berichte zu stützen. Sofern solche nicht vorliegen oder widersprüchlich sind, sind weitere Abklärungen unabdingbar, ansonsten der Untersuchungsgrundsatz verletzt wird (Art. 43 Abs. 1, Art. 61 lit. c ATSG; <ref-ruling> E. 2 S. 195; <ref-ruling> E. 1a S. 158; <ref-ruling> E. 3.2 S. 183). Dieser zählt zu den in Art. 95 BGG erwähnten bundesrechtlichen Vorschriften (E. 1.1). Hat das kantonale Gericht die rechtserheblichen tatsächlichen Feststellungen in Verletzung des Untersuchungsgrundsatzes getroffen, sind sie für das Bundesgericht nicht verbindlich (Urteile I 828/06 vom 5. September 2007 E. 3.2.3; 8C_364/2007 vom 19. November 2007 E. 3.3).
1.4 Soweit die Vermittelbarkeit auf dem ausgeglichenen Arbeitsmarkt nach der allgemeinen Lebenserfahrung beantwortet wird, handelt es sich um eine vom Bundesgericht frei überprüfbare Rechtsfrage (<ref-ruling> E. 3.3 S. 399; Urteil 8C_657/2010 vom 19. November 2010 E. 5.2.2).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Begriff der Invalidität (Art. 8 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 16 ATSG) sowie zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc) zutreffend dargelegt. Darauf wird verwiesen.
3. Der Beschwerdeführer macht sinngemäss im Wesentlichen geltend, dass die Verwertung seiner Restarbeitsfähigkeit auf dem ausgeglichenen Arbeitsmarkt gemäss Einschätzung des Dr. med. C._ sozial-praktisch kaum zumutbar sei, was die Vorinstanz jedoch unberücksichtigt gelassen habe.
4. Das kantonale Gericht hat erwogen, dass der RAD-Bericht des Dr. med. C._ den für den Beweiswert von Arztberichten massgebenden Anforderungen in jeder Hinsicht genüge, erkannte ihm daher vollen Beweiswert zu und stellte darauf ab. In einer angepassten Tätigkeit ohne Kontakt zu Menschen sei der Versicherte zu 100% arbeits- und leistungsfähig. Dazu wurde bei der Würdigung des Berichts ausgeführt, dass der Beschwerdeführer unter einer nicht näher bezeichneten abnormen Gewohnheit und Störung der Impulskontrolle (ICD 10 F63.9) sowie einer emotional instabilen Persönlichkeitsstörung vom Borderline-Typus (ICD 10 F60.31) leide. Er sei vor allem wegen der Impulskontrollstörung kaum einem Arbeitgeber zumutbar, auch in einer geschützten Arbeitsstätte. Zudem würden wegen der Persönlichkeitsstörung immer wieder zwischenmenschliche Probleme auftreten. Innerhalb der durch die beiden Erkrankungen bestehenden qualitativen Einschränkungen bestehe eine 100%ige Arbeits- und Leistungsfähigkeit.
5. 5.1 Mit Blick auf die zitierten Ausführungen des Dr. med. C._ und die diesbezüglichen Erwägungen der Vorinstanz wird beschwerdeweise zu Recht gerügt, dass sich das kantonale Gericht zur Frage der Vermittelbarkeit des Versicherten auf dem allgemeinen Arbeitsmarkt nicht geäussert hat, zumal der Arzt auf die "qualitativen Einschränkungen" des Versicherten beziehungsweise die mangelhafte sozial-praktische Zumutbarkeit ausdrücklich hingewiesen hat und es zudem ausgesprochen fraglich scheint, welche "Tätigkeit ohne Kontakt zu Menschen" als Verweistätigkeit überhaupt in Betracht fällt.
5.2 Zu prüfen ist zunächst, ob auf die Stellungnahme des Dr. med. C._ überhaupt abgestellt werden kann.
5.3 Wie das Bundesgericht in <ref-ruling> erkannt hat, haben Versicherungsträger und Sozialversicherungsrichter die Beweise frei, d.h. ohne Bindung an förmliche Beweisregeln, sowie umfassend und pflichtgemäss zu würdigen. Für das Beschwerdeverfahren bedeutet dies, dass das Sozialversicherungsgericht alle Beweismittel, unabhängig davon, von wem sie stammen, objektiv zu prüfen und danach zu entscheiden hat, ob die verfügbaren Unterlagen eine zuverlässige Beurteilung des streitigen Rechtsanspruches gestatten. Insbesondere darf es bei einander widersprechenden medizinischen Berichten den Prozess nicht erledigen, ohne das gesamte Beweismaterial zu würdigen und die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob der Bericht für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge und in der Beurteilung der medizinischen Situation einleuchtet und ob die Schlussfolgerungen des Experten begründet sind. Ausschlaggebend für den Beweiswert ist grundsätzlich somit weder die Herkunft eines Beweismittels noch die Bezeichnung der eingereichten oder in Auftrag gegebenen Stellungnahme als Bericht oder Gutachten (<ref-ruling> E. 3a S. 352).
In <ref-ruling> hat das Bundesgericht erwogen, dass Berichten versicherungsinterner medizinischer Fachpersonen zwar stets Beweiswert zuerkannt worden sei, ihnen jedoch praxisgemäss nicht dieselbe Beweiskraft zukomme wie einem gerichtlichen oder einem im Verfahren nach Art. 44 ATSG vom Versicherungsträger in Auftrag gegebenen Gutachten. So soll bei Gerichtsgutachten "nicht ohne zwingende Gründe" von den Einschätzungen des medizinischen Experten abgewichen werden; Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach Art. 44 ATSG eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, darf das Gericht vollen Beweiswert zuerkennen, solange "nicht konkrete Indizien gegen die Zuverlässigkeit" der Expertise sprechen (<ref-ruling> E. 4.4 S. 469 f.).
5.4 Dr. med. B._ diagnostizierte in seinem (von der IV-Stelle im Verfahren nach Art. 44 ATSG eingeholten) Gutachten vom 18. September 2006 eine bipolare affektive Störung, gegenwärtig leichte depressive Episode, mit somatischem Syndrom (ICD 10 F31.31) sowie sonstige abnorme Gewohnheiten und Störung der Impulskontrolle (Stalking; ICD 10 F 63.8) und erachtete eine Erwerbstätigkeit zur Zeit als unzumutbar. Er schlug eine psychotherapeutische Behandlung sowie eine Psychopharmakotherapie vor, deren Erfolg frühestens im November (2006) beurteilt werden könne.
In der Folge bestätigte Dr. med. A._ am 5. Juni 2007, dass die genannten Behandlungen aufgenommen worden seien. Indessen diagnostizierte er eine emotional instabile Persönlichkeitsstörung vom Borderline-Typ (ICD 10 F60.31) sowie eine Aufmerksamkeitsdefizitstörung. Seiner Einschätzung nach bestand weiterhin eine 100%ige Arbeitsunfähigkeit.
Dr. med. B._ kam, nunmehr als Regionalarzt, in seinen Stellungnahmen vom 24. Januar und vom 19. Februar 2008 nach der Untersuchung des Versicherten am 9. Oktober 2007 zum Schluss, dass seine damalige Prognose insofern nicht zugetroffen habe, als der Versicherte im November/Dezember 2006 erneut eine depressive Episode durchgemacht habe. Indessen sei es im Laufe des Jahres 2007 wiederum zu einer Verbesserung gekommen und müsse davon ausgegangen werden, dass die bipolare affektive Störung derzeit remittiert sei und seit Januar (2008) eine 100%ige Arbeitsfähigkeit bestehe.
Dr. med. A._ hielt hingegen am 18. März 2008 an den von ihm gestellten Diagnosen fest. Zum Wesen der emotional instabilen Persönlichkeitsstörung vom Borderline-Typ gehörten Phasen von relativer Stabilität, gefolgt von starken Gefühlsschwankungen, wobei sich jeweils auch die Konzentrations- und Aufmerksamkeitsstörung massiv verschlechtere. Mehrere Versuche, die komplexe Pharmakotherapie adäquater einzustellen, hätten fehlgeschlagen. Mit oder ohne Antidepressiva sei es zu Phasen mit starker Deprimiertheit und Suizidgedanken gekommen. Zusätzlich werde der Versicherte psychisch stark absorbiert durch ein obsessives Stalkingverhalten. Nach Einschätzung des Dr. med. A._ war aufgrund der beschriebenen psychischen Auffälligkeiten und Schwierigkeiten auch nach Aufnahme der Behandlung im Oktober 2006 hinsichtlich der Arbeitsfähigkeit keine Verbesserung eingetreten und hätten Arbeitsversuche zufolge extremer psychischer Instabilität wohl jeweils innerhalb von ein bis zwei Wochen abgebrochen werden müssen.
In der Werkstätte Z._ liess die IV-Stelle den Versicherten ab Oktober 2008 zunächst ein Aufbautraining absolvieren, das indessen nach sechs Monaten zugunsten einer Grundabklärung abgebrochen wurde (Bericht vom 23. März 2009). Am 4. Juni 2009 wurde von massiven Einschränkungen berichtet zufolge mangelnder Konzentrationsfähigkeit und grosser Ablenkbarkeit, mangelndem Qualitätsbewusstsein sowie wegen des Sozialverhaltens des Versicherten. Die Leistungen hätten bei einfachen seriellen Tätigkeiten während einer reduzierten Präsenzzeit von siebeneinhalb Stunden bei 40-50% gelegen, wobei der Versicherte die geforderte Qualität nur teilweise habe erbringen können.
Auf den RAD-Bericht des Dr. med. C._ wurde bereits eingegangen. Er verwarf die Diagnosen des behandelnden Arztes, ging indessen davon aus, dass der Versicherte zwar grundsätzlich arbeitsfähig, zufolge einer Impulskontrollstörung und wegen der durch die emotional instabile Persönlichkeitsstörung vom Borderline-Typus bedingten zwischenmenschlichen Probleme kaum einem Arbeitgeber zuzumuten sei.
5.5 Wie sich aus den dargelegten ärztlichen Stellungnahmen ergibt, besteht nicht nur Uneinigkeit hinsichtlich der Diagnosestellung beim Versicherten, sondern ergibt sich auch kein schlüssiges Bild bezüglich der Arbeitsfähigkeit. Während Dr. med. B._ als Gutachter eine 100%ige Arbeitsunfähigkeit attestierte und die weitere Prognose vom Erfolg der psychiatrischen Behandlung abhängig machte, ging er in seinen RAD-Berichten trotz den Stellungnahmen des behandelnden Arztes, wonach sich ein solcher nicht eingestellt hatte, von einer Verbesserung des Gesundheitszustandes aus. Dr. med. C._ nimmt eine 100%ige Arbeitsfähigkeit an, zweifelt aber an deren Verwertbarkeit (unter Hinweis auf "qualitative Einschränkungen") beziehungsweise an der sozial-praktischen Zumutbarkeit.
5.6 Rechtsprechungsgemäss ist bei psychischen Beeinträchtigungen zu prüfen, ob eine seelische Abwegigkeit mit Krankheitswert besteht, welche die versicherte Person auch bei Aufbietung allen guten Willens daran hindert, ein rentenausschliessendes Erwerbseinkommen zu erzielen (<ref-ruling> E. 4.2.1 S. 70 f.; <ref-ruling> E. 1.2 S. 50; <ref-ruling> E. 2.2.1 S. 353; <ref-ruling> E. 5.3.2 S. 398 f.). Es ist nach einem weitgehend objektivierten Massstab zu beurteilen, ob und inwiefern ihr trotz ihres Leidens die Verwertung ihrer Restarbeitsfähigkeit auf dem ihr nach ihren Fähigkeiten offen stehenden ausgeglichenen Arbeitsmarkt noch sozial-praktisch zumutbar und für die Gesellschaft tragbar sei (<ref-ruling> E. 3.2.1 S. 281; <ref-ruling> E. 4c S. 298; <ref-ruling> E. 4b S. 276; ZAK 1991 S. 318 E. 3b S. 320).
5.7 Aufgrund der dargelegten Widersprüchlichkeiten sowohl bei der Diagnosestellung als auch bei der Einschätzung der Arbeitsfähigkeit bleibt ungeklärt, ob es sich bei den unbestrittenerweise bestehenden psychischen Beeinträchtigungen um eine seelische Abwegigkeit mit Krankheitswert handelt, welche den Beschwerdeführer auch bei Aufbietung allen guten Willens daran hindert, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Es ist nach den vorinstanzlichen Feststellungen offen geblieben, ob die vorhandenen psychischen Störungen, die sich in Gefühlsschwankungen mit Depressivität, Aufmerksamkeitsdefiziten mit obsessivem Stalkingverhalten sowie Impulsivität zeigen, mit zumutbarer Willensanstrengung überwindbar sind, was indessen für die Beurteilung der Invalidität entscheidwesentlich ist.
5.8 Das kantonale Gericht hat im Rahmen der Würdigung der dargelegten Stellungnahmen bei der sich widersprechenden medizinischen Ausgangslage im Streitfall den Anspruch auf eine Invalidenrente allein gestützt auf die Angabe des RAD-Arztes Dr. med. C._ verneint, wonach der Versicherte zu 100% arbeitsfähig sei. Zu der von ihm angezweifelten Verwertbarkeit und sozial-praktischen Zumutbarkeit hat sie sich nicht geäussert. Die versicherungsinternen medizinischen Fachpersonen sind in ihren Einschätzungen - soweit überhaupt eine uneingeschränkte Arbeitsfähigkeit attestiert wird - von dem im Verfahren nach Art. 44 ATSG vom Versicherungsträger in Auftrag gegebenen Gutachten abgewichen, ohne dass sich daraus ein schlüssiges Bild ergeben würde. Auch auf diese Diskrepanz ist die Vorinstanz nicht eingegangen. Damit hat sie den rechtserheblichen Sachverhalt in Verletzung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit. c ATSG) unvollständig festgestellt (<ref-ruling> E. 4.5 S. 470 f.) und Bundesrecht verletzt.
Der angefochtene Entscheid ist daher aufzuheben und die Sache ist zu weiteren Abklärungen und zur Neubeurteilung des Rentenanspruchs an die IV-Stelle zurückzuweisen.
6. Es wird schliesslich zu Recht gerügt, dass Verwaltung und Vorinstanz zur Invaliditätsbemessung ohne Begründung die gemischte Methode angewendet haben.
Alleinstehende Personen werden bei einer freiwilligen Herabsetzung des Beschäftigungsgrades nicht gleichsam automatisch zu Teilerwerbstätigen mit einem Aufgabenbereich Haushalt neben der Berufsausübung (Art. 28a Abs. 3 IVG und Art. 27bis IVV in Verbindung mit Art. 28a Abs. 1 und 2 IVG, Art. 16 ATSG und Art. 27 IVV; <ref-ruling> E. 6.3 S. 486 f., 504 E. 3.3 S. 507 f.; <ref-ruling> E. 3.3 S. 395 f.; <ref-ruling> E. 2c S. 150; Urteil 9C_49/2008 vom 28. Juli 2008 E. 3.1 - 3.4). Zu prüfen ist, ob eine versicherte Person gesundheitlich in der Lage wäre, voll erwerbstätig zu sein, das Arbeitspensum aber aus freien Stücken reduziert, insbesondere um mehr Freizeit (für Hobbys etc.) zu haben. In diesem Fall hat die Einkommensvergleichsmethode zur Anwendung zu gelangen (<ref-ruling>; <ref-ruling>, insb. E. 7.3.4 S. 13). Das Valideneinkommen ist nach Massgabe der ohne Gesundheitsschaden ausgeübten Teilerwerbstätigkeit festzulegen (<ref-ruling> E. 5.1.2 S. 53).
Die IV-Stelle wird sich bei der Neubeurteilung des Rentenanspruchs insbesondere auch dazu äussern müssen, wie es sich damit im vorliegenden Fall verhält.
7. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem Prozessausgang entsprechend der Beschwerdegegnerin auferlegt (Art. 66 Abs. 1 Satz 1 BGG); des Weiteren hat sie dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten und Verbeiständung) ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 4. November 2010 und die Verfügung der IV-Stelle Bern vom 3. Juni 2010 aufgehoben werden und die Sache an die IV-Stelle Bern zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf eine Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Durizzo